Для чего нужен метатег robots?
При помощи метатега robots вы можете указать роботам поисковых систем правила загрузки и индексирования нужных вам страниц на сайте.
Если индексирование какой то страницы запрещено в файле robots.txt, то директива метатега robots работать не будет, так как файл robots.txt считается главнее по иерархии.
Пример написания метатега robots
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>
Данный код обозначает что данная страница запрещена к индексированию.
Список директив для метатега robots:
noindex
Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.
nofollow
Не переходить по ссылкам на странице.
none
Соответствует директивам noindex, nofollow.
noarchive
Не показывать ссылку на сохраненную копию в результатах поиска.
noyaca
Не использовать сформированное автоматически описание.
index | follow | archive
Отмена соответствующих запрещающих директив.
all
Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице.
Заметки по использованию метатега robots для Яндекса
1. Указывать директивы можно через запятую.
<meta name="yandex" content="noindex, nofollow" />
2. Будут проиндексированы все ссылки и страницы
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
Если в директивах указаны противоречивые свойства, положительные будут всегда сильнее отрицательных.
3. Будут проиндексированы все ссылки и страницы, сохраненных копий в индексе не будет.
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
4. Робот Яндекса не будет индексировать страницу сайта.
<meta name="yandex" content="noindex" />
5. Робот Яндекса не будет индексировать страницу и ссылки.
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />
