Заголовок X-Robots-Tag Обновлено: 04/06/2019

Для чего нужен заголовок X-Robots-Tag ?

При помощи заголовка X-Robots-Tag вы можете указать роботам поисковых систем правила загрузки и индексирования нужных вам страниц на сайте.

Если индексирование какой то страницы запрещено в файле robots.txt, то директива заголовка X-Robots-Tag работать не будет, так как файл robots.txt считается главнее по иерархии.

Пример написания заголовка X-Robots-Tag

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Данный год обозначает запрещение индексирования страницы.

Список директив для метатега robots:

noindex

Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.

nofollow

Не переходить по ссылкам на странице.

none

Соответствует директивам noindex, nofollow.

noarchive

Не показывать ссылку на сохраненную копию в результатах поиска.

Заметки по использованию заголовка X-Robots-Tag для Яндекса

1. Можно передавать несколько заголовков в одном ответе серверу или перечислить через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Полезные ссылки:

Яндекс рассказывает о работе http заголовка X-Robots-Tag

Добавить комментарий