В ответ на вопросы о мета-теге robots с директивой index, follow, специалист Google Джон Мюллер пролил свет на то, как Google на самом деле обращается с этим аспектом.
Понимание Мета-тега Robots
Давайте разберем технический жаргон. HTML-элемент meta служит передатчиком информации, который машины, подобные Googlebot, могут понимать. Среди различных элементов meta выделяется Мета-элемент Robots, поскольку он направляет поисковых роботов. Информация, передаваемая мета-тегом robots, представляет собой набор инструкций, указывающих роботам, что делать.
Одной из часто используемых инструкций является мета-тег “noindex, nofollow”:
<meta name=”robots” content=”noindex, nofollow”>
Это по сути говорит поисковым роботам не включать содержимое веб-страницы в результаты поиска и не следовать за какими-либо ссылками. С другой стороны, широко используемый мета-тег “index, follow” указывает поисковым системам включать содержимое в результаты поиска и следовать за всеми ссылками.
Как влияет отсутствие Мета-тега Index
Представьте себе это как отсутствующий кусочек информационного пазла. Один из пользователей Reddit был озадачен отсутствием тега ‘index’ в сниппетах. Ответ Мюллера был просветляющим – как инструкции “index”, так и “follow” игнорируются Google. Это не так критично, как может показаться, и не работает так, как думают многие.
Почему Google Игнорирует Мета-теги Robots Index & Follow
Google игнорирует мета-тег “index, follow”, потому что индексация содержимого и следование по ссылкам уже являются стандартным поведением для поисковых роботов. В руководствах Google подчеркивается, что эти стандартные значения, “index, follow”, не нуждаются в явном упоминании. Если какая-либо конкретная директива явно не указана в действующих директивах Google, Googlebot просто проигнорирует её.
Мета-тег Index, Follow Совсем Неэффективен?
Теперь давайте развеем распространенное заблуждение. Для Googlebot использование <meta name=”robots” content=”index, follow”> подобно тому, как если бы вы сказали повару, что нужно посолить, хотя они уже добавляют соль по умолчанию. Это избыточно и не принимается во внимание. Поисковая система Bing занимает аналогичную позицию, хотя с некоторыми нюансами.
В итоге, хотя директива “index, follow” может быть не так влиятельна, как предполагается, важна ясность в SEO практике. Ясность помогает развеивать заблуждения о функциональности определенных мета-тегов.
Цитаты от Джона Мюллера:
- Мета-тег “index” для роботов не имеет смысла (по крайней мере в Google) – он полностью игнорируется. Также как и “follow”.
- У Google есть документация, где перечислены функциональные мета-теги. Вы можете использовать что угодно другое; но это будет игнорироваться.
- По умолчанию мы предполагаем “index”, но если нужно, вы можете использовать <meta name=”robots” content=”index”>, чтобы явно указать, что мы можем индексировать страницу.
- По умолчанию мы предполагаем “follow”, но если хотите, вы можете явно указать “follow”.
