Основы SEO: что такое доступность сайта для поисковых ботов

Ранжирование в поисковых системах требует от сайта безупречного технического SEO. К примеру, на WordPress сайтах часть технических вопросов решают плагины, например, Yoast SEO и аналогичные. Но если хочется выжать из сайта по максимуму и обойти конкурентов, некоторые базовые знания из области технического SEO крайне необходимы. В этой статье поговорим об одном из важнейших аспектов SEO: доступность сайта для поисковых роботов (crawlability).

Вспоминаем, что такое поисковой бот

Поисковая система состоит из роботов, индекса и поиска. Так вот, поисковые боты (их еще называют «роботами», «краулерами», «пауками») ходят по интернет-ссылкам. Когда робот находит ваш веб-сайт, он прочитывает его и контент сохраняется в индексе.

Бот гуляет по интернету круглосуточно. Попав один раз на сайт, он сохраняет HTML версию страницы в гигантской базе данных, которая называется «индекс». Индекс обновляется каждый раз, когда бот заходит на сайт и находит новую или обновленную его версию. Частота посещений зависит от того, как ПС оценивает ваш сайт, и количества произведенных вами изменений.

Теперь поговорим о доступности сайта для роботов

Доступность для поисковых роботов – это возможность поисковой системы сканировать ваш сайт. Поисковые боты могут блокироваться сайтом, и на то бывает несколько причин. Если ваш сайт или страница заблокированы, вы как будто говорите боту: «Не входить». В большинстве подобных случаев сайт или страница не покажется в результатах поиска.

Что может мешать ботам заходить на сайт или индексировать его:

1. Блокировка доступа к сайту или к отдельной странице файлом robots.txt.
2. Запрет доступа на уровне HTTP заголовка страницы. Перед тем как зайти на сайт, бот просматривает HTTP заголовок, который содержит код состояния. Если код указывает на то, что страница не существует, он не зайдет на нее.  
3. Запрет прописан в метатеге Robots. Если метатег запрещает индексацию определенной страницы поисковой системой, робот пройдется по ней, но не добавит в индекс.

Не стоит игнорировать доступность сайта для ботов

Доступность сайта для поисковых роботов – это самые-самые азы технического SEO (решать вопросы индексации сайта поисковыми системами необходимо всем), но для большинства пользователей все же остается тайной за семью печатями. Пока вы блокируете (даже не подозревая об этом!) доступ краулеров к сайту, вы не попадете в топ Гугла или Яндекса. Так что если настроены серьезно, обращайтесь за помощью к специалистам.