Индексация сайта

Ниже перечислены рекомендации Яндекса по ускорению индексирования сайта, описание проблемных ситуаций и пути выхода из них. Мы рекомендуем придерживаться этих правил при создании сайта.

Добавьте сайт в поисковик Яндекса.

Sitemap. Специализированный формат карты сайта —sitemap был создан для того, чтобы сделать удобной работу веб - мастеров и поисковых систем. Он представляет собой перечень ссылок на внутренние страницы сайта в формате XML. Яндекс также поддерживает данный формат. Sitemap можно загрузить В специальном разделе сервиса. Данная функция позволит повлиять на приоритет обхода роботом отдельных страниц Вашего сайта. К примеру, какие-то страницы ресурса обновляются намного чаще, чем другие, в этом случае, необходимо отметить эту информацию, чтобы робот Яндекса точно планировал работу для себя.

Robots.txt — файл, который предназначен для роботов поисковиков. В данном файле веб - мастер указывает параметры индексирования своего сайта как для всех роботов вместе, так и по отдельности для роботов каждой поисковой системы. Разберем три основных параметра, указанные в этом файле:

• Disallow. Директива, используемая чтобы запретить индексирование некоторых разделов сайта. Технические страницы, которые не представляют ценности ни для поисковиков, ни для пользователей, можно закрывать от индексирования с ее помощью. Это страницы, содержащие статистику посещаемости сайта, результаты поиска по сайту, дубликаты страниц, сервисные страницы баз данных, различные логи и так далее. Наиболее подробно об этом можно прочитать в специальном разделе помощи, который посвящен файлу robots.txt.
• Crawl delay. Параметр, указывающий индексирующему роботу наименьший интервал времени (в секундах) между обращениями к страницам сайта. Он необходим для крупных проектов, которые содержат десятки тысяч и более страниц. При индексировании робот Яндекса на таком крупном сайте может создать высокую нагрузку, которая, в свою очередь, вызовет задержки и перебои в работе сайта. Во избежание этого следует ограничить количество обращений в секунду. Например, Crawl-delay - 2 указывает поисковому роботу, что нужно выждать 2 секунды между обращениями к серверу.
• Clean param. Позволяет указать роботам, какие cgi-параметры будут считаться несущественными в адресе страницы. Встречаются адреса страниц, которые содержат идентификаторы сессий — формально такие страницы различаются, но их содержимое при этом может быть одинаковым. В случае, если таких страниц много, вместо того чтобы скачивать полезное содержимое, робот будет индексировать данные страницы. В необходимом разделе помощи читайте подробнее о том, как использовать директиву clean param.

Изучить список проиндексированных URL с вашего сайта поможет Сервис Яндекс.Вебмастер. Нужно регулярно проверять этот список, для того, чтобы даже мелкие ошибки в коде не привели к существенному росту числа лишних URL и не увеличили нагрузку на сайт.

Основные виды документов, содержащихся в Интернете, индексируются в Яндексе. Но как будет произведена индексация документа, и будет ли он проиндексирован вообще зависит от ряда ограничений:

• К ухудшению индексирования документов приведет высокое количество повторяющихся вложенных директорий, значительное число cgi-параметров в URL и очень большая общая длина URL.
• Размер документа для индексирования не должен превышать более 10Мб — документы большего размера не индексируются.
• Индексирование flash:
  - индексируется в том случае, если его нет в HTML и страница передается с HTTP-заголовком, который содержит Content-Type: application/x-shockwave-flash;
  - файлы *.swf индексируются, если на них ссылаются прямо.
• В документах PDF индексацию проходят только тексты. Не индексируется текст в виде картинок.
• Индексация документов в формате OpenDocument и Open Office XML (а точнее, документы Microsoft Office и Open Office) проводится Яндексом корректно. Но необходимо учесть, что введение поддержки новых форматов занимает определенное время.

Если было совершено переопределение поведения сервера для URL, которые не существуют, надо убедиться, что сервер возвращает код ошибки 404 . После получения кода ответа 404, данный документ поисковой системой будет удален из индекса. Все необходимые страницы сайта должны отдавать код 200 OK, за этим желательно следить.

Держите под наблюдением корректность http-заголовков. Очень важно, в частности, содержание ответа, когда сервер отвечает на запрос «if-modified-since». В заголовке Last-Modified должна быть указана корректная дата последнего изменения документа.

Адаптированные для мобильных устройств, версии сайта лучше выносить на поддомен, таким же образом следует поступать и с версиями сайта на разных языках.

Управляйте поисковым роботом Яндекса, непредназначенные для пользователей страницы, запретите индексировать.

Источник: Яндекс.