Рассмотрим особенности индексирования нескольких видов сайтов.
AJAX
Во-первых, это сайты с динамическим контентом, которые работают на Ajax.
Так же можно выделить два частных случая: индексирующему роботу необходимо создать HTML копии – статические копии, где весь контент уже есть, и сообщить об их существовании.
В таком случае индексирующий робот будет посещать копии, которые вы для него создали, включаться в поиск будут динамические страницы, предназначенные для посетителей.
В первом случае, если страница вашего сайта содержит хэш, мы добавляем знак восклицания после этого хэша и размещаем страницы по соответствующему адресу.
Во втором случае мы размещаем метатег в исходном коде страниц и так же добавляем HTML копию для страниц сайта. Вы включаете в поиск именно то, что вы хотели, а робот индексирует HTML-копии.
Версии на других языках
Второй пример, который сейчас становится очень актуален – это локализованные версии на других языках.
Например, если у вас либо очень большой форум, либо интернет-магазин и существуют различные языковые версии.
Во-первых, чтобы эти языковые версии находились в поисковой выдаче, они должны быть прежде всего доступны для индексирующего робота. С них следует убрать запрещающие метатеги и открыть их в robots.txt, а также удалить атрибут canonical.
Во-вторых, мы показываем роботу, что у нас на сайте есть такие локализованные версии – переведенные на другие языки и предназначенные для других стран.
Делается это с помощью соответствующего атрибута hreflang, который размещается в исходном коде всех страниц сайта, у которых есть такие переведенные версии. И робот уже принимает решение о том, что в поисковой выдаче, например, в Турции, нужно включить другую языковую версию, например, нежели в России.
Если у вас есть страница, где язык выбирается автоматически, например, на основании IP-адреса посетителя, роботу тоже можно об этом сказать и это как раз последняя версия атрибута. Здесь все просто, сделали специальную разметку, робот вас понял, что вы от него хотите, и включил необходимые страницы в поисковую выдачу которая вам требуется.
Полное руководство: Настройка индексирования сайта в Яндексе: от теории к практике
Источник: Особенности индексирования сайта – Александр Смирнов