Для чего нужен заголовок X-Robots-Tag ?
При помощи заголовка X-Robots-Tag вы можете указать роботам поисковых систем правила загрузки и индексирования нужных вам страниц на сайте.
Если индексирование какой то страницы запрещено в файле robots.txt, то директива заголовка X-Robots-Tag работать не будет, так как файл robots.txt считается главнее по иерархии.
Пример написания заголовка X-Robots-Tag
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex
Данный год обозначает запрещение индексирования страницы.
Список директив для метатега robots:
noindex
Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.
nofollow
Не переходить по ссылкам на странице.
none
Соответствует директивам noindex, nofollow.
noarchive
Не показывать ссылку на сохраненную копию в результатах поиска.
Заметки по использованию заголовка X-Robots-Tag для Яндекса
1. Можно передавать несколько заголовков в одном ответе серверу или перечислить через запятую.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive
