Мэтт Каттс: программы, Google и оптимизация поисковых систем
Ха! Я написал эту чрезвычайно длинную статью, а потом оттащил в
сторону одного из работников Google и спросил его: «Дэн, что ты думаешь
об этой статье?». После нескольких полезных комментариев он заявил мне
нечто вроде: «И еще тебе, хм, э-э-э, надо бы включить сюда еще один
абзац на понятном для всех английском языке».
Это было сказано достаточно честно. Некоторые люди не любят читать
огромные и крайне скучные статьи, от которых у них начинают слипаться
глаза. Для таких людей мое краткое изложение этой статьи стало бы
двойным благом. Во-первых, я считаю, что у тех, кто занимается
индексированием сайтов и обеспечением работы поисковых пауков, конечно
же, есть достаточно много компьютеров, благодаря которым они могут
выполнять свою работу, и поэтому мы не теряем какие-то документы из-за
того, что нам «не хватило места на жестком диске». Второе соображение
касается того, что мы продолжаем поддерживать обратную связь с
веб-мастерами, чтобы улучшить нашу методику поиска. Мы уже обратились к
решению тех проблем, которые заметили, но мы продолжаем читать свою
электронную почту и использовать обратную связь, чтобы найти другие
способы, благодаря которым мы могли бы улучшить свою методику.
Люди постоянно спрашивают меня о подробностях того, каким образом
«страницы выбрасываются из каталога поисковой системы», так что я
подумал, что надо бы собрать воедино все, что я об этом знаю, чтобы вся
информация хранилась в одном месте. Имейте в виду, что ниже
представлены мои лучшие воспоминания, так что я не буду утверждать, что
они идеальны.
Bigdaddy: выполнено к марту.
В декабре группа людей, которые занимаются индексированием сайтов и
обеспечением работы поисковых пауков, была готова к тому, чтобы
состоялся дебют программы Bigdaddy, это наше специальное программное
обновление для методики поиска сайтов в сети и частично для методики
занесения в наш каталог.
В начале января я принялся за дело и написал обучающее руководство по
созданию стандартного URL, рассказывая о системе «inurl: operator» и о
редиректе 302. Затем я сообщил людям о том информационном центре, в
котором работал Bigdaddy, и попросил их об обратной связи.
В феврале было довольно спокойно, поскольку Bigdaddy в это время
начинал работу с большим количеством информационных центров.
В марте некоторые люди на сайте WebmasterWorld начали жаловаться, что
они не увидели ни одну из своих страниц, проиндексированных в
информационных центрах Bigdaddy, и хотели бы видеть более ощутимые
результаты.
13 марта парень из Google сообщил ребятам из WebmasterWorld, чтобы они
указали ссылки на свои сайты, которые они приводили в качестве примера
неудачного индексирования.
После того, как я посмотрел на сайты, приведенные в качестве примера,
я мог сказать, в чем проблема, уже через несколько минут. Сайты,
которые соответствовали критерию «отсутствие страницы в Bigdaddy», были
сайтами, где наши алгоритмы обсчитывали очень низкий уровень доверия к
входящим и исходящим ссылкам этих сайтов. Среди этих сайтов могли быть
такие, в которых присутствовали чрезмерные взаимные ссылки, ссылки на
спаммерские сайты в Интернете или ссылки, которые покупались или
продавались. Обновление Bigdaddy является независимым от наших
добавочных результатов, так что когда Bigdaddy не выбирает определенные
страницы с сайта, для этого сайта предоставляются свои дополнительные
результаты.
Я сотрудничал с командой, работающей над индексированием сайтов и
обеспечением работы поисковых пауков, и мы настроили фильтры таким
образом, чтобы мы могли осмотреть поисковыми пауками больше страниц с
такого рода сайтов.
К 22 марта я написал новое сообщение, чтобы люди узнали, что мы
провели индексацию большого количества страниц такого рода. Через
какое-то время мы продолжили увеличивать количество проиндексированных
страниц, и этот процесс шел еще быстрее, чем прежде.
К 29 марта Bigdaddy был запущен на полную мощность, а старая система
была отключена. С тех пор Bigdaddy был включен в нашу систему поиска.
Учитывая количество программного кода, который был изменен, я считаю,
что Bigdaddy оказался довольно успешным обновлением. Я заметил только
два недостатка. Первый недостаток – это тот, о котором я уже упоминал,
это когда мы не проиндексировали страницы сайтов, на которых находились
ссылки, не вызывающие доверия у нашей поисковой машины. Однако мы
смогли вовремя отреагировать и начали довольно быстро индексировать
страницы таких сайтов.
Другой недостаток, о котором я услышал, заключался в том, что
страницы, по которым ползали поисковые пауки AdSense, начинали
показываться в нашем сетевом каталоге. Тот факт, что Bigdaddy обеспечил
поиск, результаты которого остаются в кэше, стал давно задуманным
усовершенствованием системы, и я был просто счастлив описать при помощи
PowerPoint то, как эта система работает, в своем блоге и на сайте
WebmasterWorld в Бостоне.
Ладно, теперь поговорим о Bigdaddy. Это обновление является более
всеобъемлющим, система была доступна для просмотра еще в декабре, а в
марте стала функционировать на все сто процентов. Итак, из-за чего же
все так орали еще совсем недавно? Что ж, теперь, когда Bigdaddy хорошо
работает, мы направили фокус своего внимания на обновление своих
добавочных результатов. Я снова поделюсь с вами всем, что помню об этом
времени. Примерно в то же время появилось предположение, что наши
компьютеры переполнены. С моей личной точки зрения, поскольку я
нахожусь в группе экспертов, я могу заметить, что у нас есть достаточно
много компьютеров, которые помогают поисковым паукам ползать по сети,
индексировать сайты и выводить результаты поиска. Фактически новая
система Bigdaddy является более всеохватной, чем наша старая система.
Здесь было бы нелишним сослаться на то, что я хочу напомнить тем, кто
читает эту статью, что это только моя личная точка зрения.
Обновление добавочных результатов.
Ну что ж, двигаемся дальше. Как я уже упоминал прежде, как только
Bigdaddy был полностью включен в работу, мы начали работать над
обновлением добавочных результатов. Вот последовательность событий того
времени.
В начале апреля мы стали показывать некоторые обновленные добавочные
результаты поиска своим пользователям.
13 апреля кто-то из пользователей начал на форуме WebmasterWorld одну
из тем, где спросил о причинах меньшего, чем прежде, количества
проиндексированных страниц.
24 апреля веб-мастер из Google дал возможность желающим опубликовать
конкретные названия сайтов (поскольку форум WebmasterWorld, как и
большинство форумов веб-мастеров, не позволяет людям свободно указывать
конкретные названия сайтов).
Я просмотрел электронную почту и другие возможности обратной связи и
не заметил никаких особенностей в функционировании сайтов. В течение
следующей недели я показал эти приведенные в пример сайты специалистам,
которые работают над индексированием сайтов и обеспечением работы
поисковых пауков. Они тоже не обнаружили там никаких специфических
особенностей. Команда, занимающаяся навигацией сайта, также исследовали
эти сайты, пока не удостоверилась, что происходящее не имеет никакого
отношения и к навигации по сайту.
Команда специалистов, занимающаяся обновлением наших добавочных
результатов, проверила нашу обратную связь, и пятого мая они
обнаружили, что запрос, сделанный по типу «site:», не получает
выведения добавочных результатов. Я думаю, что они исправили эту
проблему в тот же день. Позже они заявили, что различные неувязки в
программе синтаксического анализа при запросе по типу «site:» не
позволяют работать с доменами, у которых название пишется через дефис.
Я думаю, что они очень быстро исправили потом эту ошибку, и на этой
неделе полностью настроили поиск по типу «site:» для доменов с дефисами
в названии, которые выводятся в качестве добавочных результатов.
8 мая на сайте WebmasterWorld специалист Google перестал выводить
информацию по статусу поиска «site:» и начал получать информацию,
которой люди хотели поделиться.
Чтение электронной почты в настоящее время.
Выше я рассказывал о проблемах с добавочными результатами, о которых
слышал я лично, и эти проблемы были полностью решены. Теперь поговорим
о людях, которые все еще задают вопросы о том, что им сообщается о
меньшем количестве страниц, которые есть на их сайтах. Хотя эта статья
и так уже достаточно длинна, я приведу несколько электронных писем,
пришедших ко мне, и объясню все решения, которые я посоветовал принять.
Первый сайт – это сайт .tv о недвижимом имуществе, расположенном за
границей. Третьего мая владелец сайта заявил, что в его списке
перечислено около двух тысяч видов недвижимости, но добавил, что на
сайте не индексируется около трехсот страниц. Когда я проверил его
слова, запрос «site:» показал, что к настоящему моменту
проиндексировано 31 тысяча 200 страниц, а приводящийся в пример URL, о
котором упоминалось выше, находится в этом списке. Я предполагаю, что
это домен сейчас должен себя чувствовать просто прекрасно.
Ладно, теперь давайте почитаем письмо от 11 мая. Владелец сайта послал
мне только URL, без всякого текста или какого-либо пояснения, так что
давайте-ка проверим его. Это тоже сайт по торговле недвижимостью, в
этот раз торговля идет в одной из стран Восточной Европы. Я вижу, что в
настоящий момент проиндексировано 387 страниц. Ага! Посмотрев вниз
страницы, я обнаружил следующее.
Указываются ссылки на сайт с бесплатными мелодиями для мобильника, на
фирму по оптимизации поисковых систем и на сайт, где продается рыбий
жир Omega 3. Я думаю, что обнаружил, в чем ваша проблема. Мне кажется,
вам следует подумать о качестве ваших ссылок, если вы хотите, чтобы
поисковые пауки индексировали больше ваших страниц. Поскольку вы
обнаружили изменения в каталоге, вы понимаете теперь, каким образом мы
обходимся с перекрестными ссылками и с ссылками, которые покупают и
продают.
Идем дальше. Вот еще одно письмо, пришедшее четвертого мая. Это еще
один сайт по торговле недвижимостью. Владелец сайта говорит, что у них
обычно индексировалось около тысячи страниц, а теперь почему-то только
восемьдесят. Я проверил и этот сайт. Ага!
В этот раз я вижу ссылки на сайты-ломбарды, сайты, предоставляющие
кредиты, и сайты, предлагающие спортивное оборудование. Я думаю, что
проблема здесь та же самая, о которой я говорил выше. Если раньше
индексировалось много ваших страниц, а потом вы стали торговать
перекрестными ссылками оптом, не удивляйтесь тому, что у нового
поискового паука иные приоритеты анализа вашего сайта, чем у прежнего,
и он теперь ползает по вашему сайту совсем не так, как раньше.
Кто-то из написавших мне послал меня в один из разделов сайта
здравоохранения. Этот сайт выглядел очень хорошо, и у него не было ни
одной ссылки на сайты всяких придурков. Но один этот сайт имеет шесть
ссылок на общий домен. С учетом этих нескольких ссылок я могу
предположить, что эти ссылки помешают сайту быть проиндексированным, и
в каталоге окажется меньше страниц, чем предполагалось. Держитесь,
сейчас мы закопаемся еще глубже. Ага, владелец сообщил, что он хотел
уничтожить www-версию этих страниц, так что они использовали инструмент
для удаления URL на своем собственном сайте. Я вижу, что с 10 октября
2005 года по 8 апреля 2006 года вы удалили шестнадцать своих самых
важных каталогов на сайте. Я, кстати, уже говорил на эту тему еще в
январе 2006 года.
Вопрос. Если я хочу избавиться от domain.com, но сохранить
www.domain.com, должен ли я использовать устройство для удаления URL,
чтобы удалить domain.com?
Ответ. Нет, вам вовсе незачем это делать. Если вы удаляете одно из
www-имен, чтобы оставить имя без использования www, то этот процесс
может закончиться тем, что весь ваш домен будет удален на срок минимум
шесть месяцев. Ни в коем случае не делайте этого. Если вы все-таки
использовали инструмент для удаления URL и удалили полностью ваш домен,
когда вы всего лишь хотели удалить версию www вашего домена, то
сделайте запрос на переподключение и сообщите специалистам, что вы
удалили свой общий домен, случайно воспользовавшись инструментом для
удаления URL, и что вы хотели бы повторного подключения.
Вы не удалили целиком ваш домен, но вы удалили все важные подкаталоги.
Сроки этого самовольного удаления истекли несколько недель назад. Это
означает, что у вашего сайта очень мало ссылок, указывающих на вас.
Наличие нескольких более подходящих для вас ссылок дало бы нам понять,
что нужно больше и чаще ползать по страницам вашего сайта.
Ладно, давайте прочитаем еще одно письмо.
Один из пользователей пишет о своем любимом сайте, который продает
футболки. На сайте есть около ста страниц, но теперь Google показывает
только пять из них. Взглянув на сайт, я обнаружил первую проблему, и
она состояла в том, что только один или два домена обладали ссылками на
ваш сайт. Автор говорит, что у каждой страницы был свой оригинальный
контент, но каждая ссылка, по которой я кликал, была всего лишь
присоединенной ссылкой, которая отсылала на сайт, который в
действительности и продавал эти футболки.
И тот отрывок текста, который я случайно заметил, был также взят с
того сайта, на котором в действительности и продавали эти футболки. У
сайта есть блог, который я в обычных обстоятельствах рекомендовал бы
вам как хороший способ получить ссылки, но надо помнить, что каждая
ссылка в блоге – это всего лишь присоединенная ссылка. Первые несколько
сообщений в блоге даже не имели никакого текста, и когда я нашел вход,
который действительно работал, я обнаружил, что текст в этом блоге был
скопирован откуда-то еще. Так что я не думаю, что снижение количества
страниц для этого домена обязательно указывает на проблему со стороны
Google. Вопрос, который мне на самом деле хотелось бы вам задать,
следующий: почему пользователь должен выбирать ваш любимый сайт и
заходить на него вместо того, чтобы зайти на сайт, который
непосредственно и продает эти футболки?
Несколько мыслей в заключение.
Ладно, мне пора закругляться (это самая длинная моя статья за все
времена). Однако я хотел бы поделиться с людьми тем необычным чувством,
которое я испытал, проверяя электронную почту в последние несколько
дней. Вообще же те некоторые домены, которые я проверил, получили в эти
дни больше страниц в нашем каталоге, чем раньше (ведь, в конце концов,
Bigdaddy – это гораздо более всеобъемлющая система, чем наш предыдущий
каталог). Кроме того, некоторые люди, которые использовали на своем
сайте много перекрестных ссылок, могли бы увидеть на странице
результатов поиска еще меньше своих страниц, чем ожидали.
Если ваш сайт имеет мало ссылок и вы находились на том краю Интернета,
когда вас почти не индексировали, будет относительно нормальным то, что
изменения в принципе поиска в сети могут повлиять и на то, сколько
ваших страниц мы индексируем. И если вы – хозяин сайта, который
присоединился к другому сайту, следует думать о том значении, которое
приобретает ваш сайт. Вам необходимо предложить людям достаточно
разумную причину того, почему пользователи должны предпочесть ваш сайт,
а не сайт, на который указывают ссылки с вашего сайта.
В марте я был в состоянии читать электронную почту и устанавливать
причину проблемы, а соответственно, и устранять саму проблему на
протяжении четырех-пяти минут. Если вспомнить недавно пришедшую почту,
мы нашли пару способов, с помощью которых мы могли помочь сделать
запрос «site:» более точным. При этом, несмотря на наличие нескольких
команд специалистов (группа экспертов, навигации по сайту и
специалистов, занимающихся индексированием сайтов и обеспечением работы
поисковых пауков), которые продолжают читать оставшуюся почту, мы можем
наблюдать увеличенную отдачу от обратной связи с пользователями по
данной проблеме, и эта отдача больше, чем по любой другой проблеме,
обсуждавшейся раньше.
Чтобы все стало понятно, скажу еще раз. Я не утверждаю, что мы не
будем искать другие способы улучшить механизм работы поисковой системы.
Например, Адам читает и отвечает на электронные письма, а также
собирает для меня названия доменов, в которых надо порыться. Но я
просто хотел дать понять людям, с чем мы столкнулись, когда
анализировали приходящую в наш адрес электронную почту.
Источник — http://www.mattcutts.com/blog/indexing-timeline/
Еще по этой теме:
- Не найдено