Ошибки поисковых ботов – почему возникают и что делать

Ошибка краулера появляется, когда поисковик безрезультатно пытается загрузить страницу с вашего сайта. Помните, что в принципе представляет собой краулинг? Это процесс, во время которого поисковик при помощи бота посещает каждую страницу на вашем сайте. Краулер находит ссылку на сайт и по ней ищет все его страницы. Он заходит на них, индексирует контент для дальнейшего использования в ПС, а ссылки, которые находит в процессе, запоминает для дальнейшего краулинга. Как владелец сайта, вы должны быть уверены, что поисковому боту доступны все необходимые для индексации страницы на сайте. Если что-то идет не так, возникает ошибка краулера.

Итак, каждая ссылка на сайте должна вести на работающую страницу. Это может быть и 301 редирект, но в этом случае по каждой ссылке в итоге должен быть ответный код сервера 200 OK.

Ошибки краулеров Гугл делит на две категории:

1. Ошибки сайта. Означают, что сайт не может краулиться. Конечно, желательно обходиться без них.
2. Ошибки URL.С этим тоже лучше не сталкиваться, но поскольку на одну ошибку обычно приходится один URL, устранить проблему легче.

Давайте подробнее.

Ошибки сайта

 Распространенные причины появления таких ошибок:

1. Ошибки DNS (DNS Errors). Поисковик не может связаться с вашим сервером. К примеру, сервер упал, и доступ к сайту утерян. Обычно такие сложности временные, поэтому бот вернется на сайт позже. Если сообщения о такой ошибке появляются в Google Search Console, возможно, Гугл уже пытался пару раз зайти к вам, но не смог.
2. Ошибки сервера (Server errors). Если в Гугл консоли появляется сообщение о подобной ошибке, значит, бот не смог попасть на сайт, время запроса истекло. То есть загрузка шла так долго, что сервер выдал сообщение об ошибке. Также подобное происходит, если в вашем коде есть ошибка, мешающая загрузке страницы. Или на сайте сидит много пользователей и сервер не справляется с нагрузкой. Многие подобные ошибки обозначаются кодами 5xx, например, 500 или 503.
3. Ошибка с файлом robots.txt. Прежде чем просканировать сайт, бот краулит файл robots.txt – чтобы увидеть, есть ли участки, закрытые от индексирования. Если файл не открывается, Гугл отложит краулинг до тех пор, пока доступ к robots.txt не будет восстановлен. Так что почаще проверяйте доступность файла.

Выше описаны ошибки ботов, которые касаются сайта в целом. Сейчас давайте посмотрим, какие ошибки относятся к отдельным страницам.

Ошибки URL

Когда речь идет о таких ошибках, в первую очередь подразумевается статус 404. Вам стоит периодически проверять наличие таких ошибок и исправлять их, используя Гугл консоль.

Если страница или ее содержимое больше не актуальны для сайта, используйте код ответа 410. Если на двух страницах размещен похожий контент, подойдет 301 редирект. Конечно, регулярно проверяйте карту сайта и внутренние ссылки.

Многие ошибки URL возникают из-за внутренних ссылок, поэтому проверяйте их тщательно.

Если вы по какой-то причине убираете страницу с сайта, исправьте или удалите все указывающие на нее ссылки, все равно ими невозможно пользоваться. Зайдя по такой ссылке, бот ничего не найдет, кроме, разве что, ошибки 404. Не допускайте подобного на своем сайте, методично занимайтесь внутренними ссылками.

Среди всех этих распространенных ошибок может быть случайная ошибка DNS, соответствующая определенной ссылке. Еще раз проверьте этот адрес позже и убедитесь, что проблемы больше нет. Используйте инструмент «Посмотреть как Гугл бот/ Fetch as Googlebot» и пометьте в Гугл консоли ошибки как исправленные (если пользуетесь этим инструментом).

Специфические URL ошибки

Некоторые URL ошибки возникают только на определенных сайтах, поэтому есть смысл поговорить о них отдельно:

1. Ошибки, связанные с мобильными версиями. Возникают на смартфонах, но если у вас мультиплатформенный сайт, вряд ли столкнетесь с такой проблемой. Разве что на страницах с flash контентом, который все никак не удалите. В случае с отдельным мобильным поддоменом (m.example.com) ошибок может быть больше. Возникают они из-за ошибочных редиректов с десктопной версии на мобильную. Вы могли даже заблокировать часть мобильного сайта при помощи robots.txt.
2. Ошибки, возникающие из-за вредоносного ПО (Malware errors). Если столкнулись с такими ошибками, значит, по конкретному адресу Гугл нашел вредоносную программу. Использоваться она могла, например, для сбора секретной информации или нарушения работы сайта. Нужно проверить указанную страницу и удалить вредоносное ПО.
3. Ошибки, связанные с Гугл новостями. Если сайт есть в Google News, вы можете с ними сталкиваться, и в документации Гугла приведен список таких ошибок. Они бывают самые разные: от проблем с заголовком статьи до отсутствия новостного контента на странице. Обязательно все проверьте, если получили сообщение о подобной ошибке.

Не затягивайте, исправляйте ошибки краулеров

Об этом говорилось на протяжении всей статьи: столкнувшись с ошибкой бота, устраняйте ее. Регулярная проверка наличия подобных проблем и их устранение должны быть записаны в план обслуживания сайта. Ищите плагины, которые могут облегчить эту работу, обращайтесь за помощью к специалистам, если не хватает времени или знаний.