Robots метатег Обновлено: 04/06/2019

Для чего нужен метатег robots?

При помощи метатега robots вы можете указать роботам поисковых систем правила загрузки и индексирования нужных вам страниц на сайте.

Если индексирование какой то страницы запрещено в файле robots.txt, то директива метатега robots работать не будет, так как файл robots.txt считается главнее по иерархии.

Пример написания метатега robots

<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>

Данный код обозначает что данная страница запрещена к индексированию.

Список директив для метатега robots:

noindex

Не индексировать текст страницы. Страница не будет участвовать в результатах поиска.

nofollow

Не переходить по ссылкам на странице.

none

Соответствует директивам noindex, nofollow.

noarchive

Не показывать ссылку на сохраненную копию в результатах поиска.

noyaca

Не использовать сформированное автоматически описание.

index | follow | archive

Отмена соответствующих запрещающих директив.

all

Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице.

Заметки по использованию метатега robots для Яндекса

1. Указывать директивы можно через запятую.

<meta name="yandex" content="noindex, nofollow" />

2. Будут проиндексированы все ссылки и страницы

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>

Если в директивах указаны противоречивые свойства, положительные будут всегда сильнее отрицательных.

3. Будут проиндексированы все ссылки и страницы, сохраненных копий в индексе не будет.

<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>

4. Робот Яндекса не будет индексировать страницу сайта.

<meta name="yandex" content="noindex" />

5. Робот Яндекса не будет индексировать страницу и ссылки.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Полезные ссылки:

Яндекс рассказывает о метатеге Robots

Добавить комментарий