Если вы хотите, чтобы все страницы вашего ресурса про индексировались, необходимо составить карту сайта — Sitemap. На ней отображены все ссылки сайта, проходя по которым робот индексирует все страницы.
Создание автоматически генерируемых sitemap.xml для обычных постов, картинок, видео
Карта сайта — это ничто иное как обычное содержание, которое должно именно индексироваться.
На сайте должен присутствовать автоматически обновляемый файл sitemap.xml. Различают sitemap.xml для постов, для картинок и видео. Стоит отметить, что сайтмап для картинок и видео поддерживает лишь Google, а Яндекс нет. При составлении данного файла важно учитывают следующие моменты:
• любая новая страница, картинка или видео должны сразу же попадать в соответствующий sitemap.xml;
• если страница запрещена в robots.txt или запрещена мета-тегом, то такая страница не должна присутствовать в сайтмапе;
• лучше всего настроить автоматическую генерацию карты сайта средствами вашей CMS;
• идеальный случай — это когда в файле sitemap.xml присутствуют лишь непроиндексированные url.
