В ответ на вопросы о мета-теге robots с директивой index, follow, специалист Google Джон Мюллер пролил свет на то, как Google на самом деле обращается с этим аспектом.
Понимание Мета-тега Robots
Давайте разберем технический жаргон. HTML-элемент meta служит передатчиком информации, который машины, подобные Googlebot, могут понимать. Среди различных элементов meta выделяется Мета-элемент Robots, поскольку он направляет поисковых роботов. Информация, передаваемая мета-тегом robots, представляет собой набор инструкций, указывающих роботам, что делать.
Одной из часто используемых инструкций является мета-тег «noindex, nofollow»:
<meta name=»robots» content=»noindex, nofollow»>
Это по сути говорит поисковым роботам не включать содержимое веб-страницы в результаты поиска и не следовать за какими-либо ссылками. С другой стороны, широко используемый мета-тег «index, follow» указывает поисковым системам включать содержимое в результаты поиска и следовать за всеми ссылками.
Как влияет отсутствие Мета-тега Index
Представьте себе это как отсутствующий кусочек информационного пазла. Один из пользователей Reddit был озадачен отсутствием тега ‘index’ в сниппетах. Ответ Мюллера был просветляющим – как инструкции «index», так и «follow» игнорируются Google. Это не так критично, как может показаться, и не работает так, как думают многие.
Почему Google Игнорирует Мета-теги Robots Index & Follow
Google игнорирует мета-тег «index, follow», потому что индексация содержимого и следование по ссылкам уже являются стандартным поведением для поисковых роботов. В руководствах Google подчеркивается, что эти стандартные значения, «index, follow», не нуждаются в явном упоминании. Если какая-либо конкретная директива явно не указана в действующих директивах Google, Googlebot просто проигнорирует её.
Мета-тег Index, Follow Совсем Неэффективен?
Теперь давайте развеем распространенное заблуждение. Для Googlebot использование <meta name=»robots» content=»index, follow»> подобно тому, как если бы вы сказали повару, что нужно посолить, хотя они уже добавляют соль по умолчанию. Это избыточно и не принимается во внимание. Поисковая система Bing занимает аналогичную позицию, хотя с некоторыми нюансами.
В итоге, хотя директива «index, follow» может быть не так влиятельна, как предполагается, важна ясность в SEO практике. Ясность помогает развеивать заблуждения о функциональности определенных мета-тегов.
Цитаты от Джона Мюллера:
- Мета-тег «index» для роботов не имеет смысла (по крайней мере в Google) – он полностью игнорируется. Также как и «follow».
- У Google есть документация, где перечислены функциональные мета-теги. Вы можете использовать что угодно другое; но это будет игнорироваться.
- По умолчанию мы предполагаем «index», но если нужно, вы можете использовать <meta name=»robots» content=»index»>, чтобы явно указать, что мы можем индексировать страницу.
- По умолчанию мы предполагаем «follow», но если хотите, вы можете явно указать «follow».
