Индексация ссылок, закрытых в noindex, поисковым роботом Яндекса

Цель

Проверить попадают ли страницы сайта в индекс поисковой машины Яндекс, если ссылки на них закрыты в тег

Предположение

Ссылки закрытые в тег не индексируются роботом Яндекса. И в поиск страницы, размещенные по этим ссылкам не попадают.

Если на сайте разместить новые страницы, на которые не будет ссылок ни откуда, кроме как с главной, и на главной они будут закрыты в тег , то такие ссылки в индекс поисковой системы попадать не должны.

Предположение основывается на документации Яндекс:

Из нее не следует явно, будут ли страницы попадать в индекс, если на них ссылаются закрытые от индекса ссылки.

Подготовка к эксперименту.

Доменное имя logikal-cards.ru зарегистрировано более года, старое содержимое удалено.

04.04.2012 сайт закрыт от индексации для поисковых систем. В ручную были удалены все страницы через форму в Яндекс.Вебмастер «Удалить URL».

04.04.2012 сайт был полностью исключен, из индекса, поисковой машиной Яндекс.

05.04.2012 приступили к созданию новых страниц на сайте. Структура сайта выглядела так:

На странице index.html размещен текст объемом чуть более 600 символов с пробелами.

Внутри текста размещен список ссылок, закрытый в , которые ссылаются на другие страницы.

10.04.2012 Сайт открыт но, для чистоты эксперимента, сайт не открывался для индексации других поисковых систем, только для робота Яндекс.

Через форму Яндекс.Вебмастер «Сообщить о новом сайте» отправили запрос на индексирование домена.

На момент добавления информация по индексации: Загружено роботом 18 страниц, в индексе 0;

15.04.2012 Сайт все еще не проиндексирован. Отображается уведомление о том, что сайт запрещен от индексации в robots.txt. Через форму «Проверить robots.txt» файл не загружается. Добавили сайт в форму «Сообщить о новом сайте» еще раз, на всякий случай.

25.04.2012 Обнаружили, что в Яндекс.Вебмастер показывает новые данные:

• Последнее посещение роботом 23.04.2012
• Загружено 27 страниц
• В индексе 4

Анализ

Сначала поясним, почему были исключены три страницы с ошибкой 404. Если вернуться к схеме и ссылкам, то видно, что три ссылки ссылаются на файлы в каталоге «in», хотя они, на самом деле, в каталоге «rang».

Страницы которые были в каталоге «rang» не попали в индекс, так как на них не было ссылок.

Страницы, на которые были ссылки, пусть и технически закрытые, оказались не только загружены роботом, но и попали в результаты поиска.

После этого, мы перенесли страницы в каталог «in». Будем смотреть как поведет себя робот дальше. Но уже сейчас можно сделать достаточно интересные выводы.

Выводы

Робот Яндекса однозначно «ходит» по ссылкам закрытым в NOINDEX. Можно с уверенностью сказать, что точно так же анализируется и остальной контент закрытый в . Тексты, картинки, таблицы, счетчики, баннеры, скрипты однозначно не игнорируются и загружаются, возможно, влияют в какой-то мере на ранжирование.

Нельзя полагаться на этот тег в полной мере и скидывать со счетов ссылки и тексты закрытые в  столь же однозначно, как если бы их не было в документе совсем.

Дополнительно можно подытожить наблюдения о том, что:

Исключение сайта из поиска путем закрытия в robots.txt и удаления страниц через форму «удалить URL» происходит в течение суток.

Восстановление сайта в индексе после открытия в robots.txt может занимать относительно большой промежуток времени. Если нет возможности ждать (а ее почти никогда не бывает), лучше обратиться в поддержку Яндекс.Вебмастер.

Удивление

Где главная страница и где страница /second.html? По каким-то причинам в индекс не попали эти страницы. Основное предположение – техническая ошибка или особенность поисковой машины.

Дополнительно

Результаты эксперимента нельзя принимать как эталон поведения роботов для всех поисковых систем или робота Яндекс в частности, так как опыт проводился с одним интернет-ресурсом. Могли быть факты (факторы) которые мы упустили. Тем не менее, стоит задуматься о том, что данное поведение не описано в справке Яндекс.Вебмастер.