Цель улучшения индексации сайта — это сделать так, чтобы мы удалили из базы поисковой системы бесполезные страницы сайта и добавили полезные. Для выполнения этой задачи мы первым делом должны проверить индексацию каждой существующей страницы сайта. Лучший инструмент для этой задачи, на мой взгляд, сделала команда сервиса Seranking. Он находится здесь. Да, инструмент платный, но зато быстрый и удобный.
По результатам проверки мы можем выяснить, что часть страниц не попала в индекс, а часть попала. Далее мы должны удостовериться, что проиндексированные страницы не являются мусорными. Если часть из них являются все же мусорными, то мы должны предпринять меры по их удалению из базы поисковой системы. Для этого существует файл robots.txt, meta name=»robots» и link rel=»canonical».
Также в индекс могут не попадать и нормальные страницы. Причины этого следующие:
• Страница находится более чем в 3 кликах от главной;
• Отсутствие уникального контента;
• Дублирование заголовков;
• Долгое время загрузки страницы.
P.S. Для реально ускорения индексации сайта в яндексе нужно использовать инструмент переобход страниц, а в гугле аддурилку.