В сервисе Яндекс.Вебмастер можно узнать какие разделы сайта проиндексированы, а какие нет. Для этого зайдем в раздел «Структура сайтов» в индексе. Перед нами наиболее крупные разделы сайта, известные Яндексу.
- В первой колонке указано сколько страниц раздела обошел поисковый робот.
- Во второй колонке указано количество страниц, попавших в поиск.
- В третьей указано отношение количества загруженных страниц в данном разделе к общему числу загруженных страниц сайта.
Бывает так, что страница уже известна поиску, но он еще не успел ее загрузить. А пока страница не будет загружена, она не попадет в поиск.
По умолчанию сервис показывает разделы сайта, которые составляют более одного процента от всех загруженных страниц. Если вы хотите, чтобы Яндекс. Вебмастер учитывал какие-то другие разделы, вы можете их добавить сами.
Для этого нужно нажать на кнопку «добавить раздел», а потом на «добавить». Этот инструмент позволяет отслеживать не только существующие на сайте разделы, но и группы страниц с общим элементом в адресе. Например, можно объединить в группу все страницы, в адресе которых есть слово «стул».
Если какой-то раздел сайта вам наоборот не интересен, его можно удалить из этого инструмента, на его наличие в поиске и ранжирование это никак не повлияет. А чтобы раздел исчез из поиска его нужно закрыть для индексирования в файле «робот.txt» или удалить с сайта.
Совет: чтобы поисковый робот обошел все страницы сайта, используйте сайт «map», карту сайта. Вы можете загрузить ее в соответствующем разделе Яндекс. Вебмастера или указать ссылку на нее в файле «робот.txt».
Источник (видео): Урок 1. Какой должна быть структура сайта. Основные и принципы оптимизации сайта.