Правильные решения в продвижении сайтов в интернете!
г. Москва, м. Сокольники, ул. Маленковская, д. 32, стр. 3
Режим работы: с 10:00 до 19:00, пн.- пт. (сб./вс. - выходной)
+7 (499) 391-17-76
8 (800) 707-05-97
e-mail: biz@o-es.ru

Настраиваем индексирование нового сайта в Яндекс.Вебмастере

Подготовка основы для нового сайта

Самое первое, что вы делаете при подготовке нового сайта, это выбираете доменное имя. Хорошее доменное имя – это визитная карточка вашего ресурса. Это не просто какая-то папочка на вашем будущем сервере. Хорошее доменное имя должно отвечать двум основным критериям.

  • Во-первых, название вашего сайта должно отражать суть вашего будущего ресурса, идею, которую он несет, либо название бренда. Кажется, здесь все довольно-таки понятно.
  • И второе, хорошее доменное имя должно легко запоминаться и имя должно легко делиться.

Название вашего будущего сайта будет сопровождать ваш бизнес во многих аспектах. Вы будете заказывать визитки или печатные каталоги, на которых будет указан адрес вашего ресурса. Ваши менеджеры если звонят вашим будущим покупателям, также будут диктовать адрес вашего сайта, и ваши пользователи между собой также будут обмениваться адресом вашего будущего ресурса. Поэтому очень важно, чтобы при коммуникации, при обмене адресом сайта пользователи не допускали ошибок.

И еще один очень важный момент – ваш будущий сайт не должен ассоциироваться с конкурентами. Например, если вы хотите открыть сайт под названием «Цветочный рай», но при этом в регионе, где вы работаете, уже есть ресурс под названием «Рай цветов». Есть очень большая доля вероятности, что ваши будущие пользователи будут путать один и второй ресурс и заходить к вашему конкуренту, а не к вам.

Избежать подобных проблем с адресом сайту помогут зеркала сайта. Зеркала, по сути, – это несколько адресов одного и того же ресурса. Как правило, веб-мастера сталкиваются с зеркалами при переезде со старого адреса на новый. Зеркала очень хорошо помогают и при выборе адреса нового ресурса.

Смотрите, если вы хотите открыть сайт под названием комод.рф.

Есть очень большая вероятность, что ваши будущие пользователи могут допускать ошибку при наборе адреса сайта и писать его на латинице в разных вариациях. Если вы позаботитесь о ваших пользователях заранее и приобретете дополнительные адреса, установите с них перенаправление на нужный вам сайт, то вы сразу облегчите жизнь вашим пользователям. Они будут попадать сразу на интересующий их ресурс. Тем более в современных условиях доменные имена стоят не так дорого, но позволят избежать в будущем каких-либо проблем.

При этом, если вас интересует, каким образом будет воспринимать ваш сайт индексирующий робот, помните, что в принципе для индексирующего робота не имеет значения, в какой доменной зоне находится ваш сайт. Вы можете выбирать ru, com, net в зависимости от того, что вам лучше подходит. Вы можете использовать кириллические домены, которые также индексируются и участвуют в поиске в общем порядке.

Если вы проводите какие-то промоакции, то можно использовать и поддомены основного ресурса, которые также будут индексироваться вне зависимости от основного сайта. И, конечно же, очень частый вопрос: «Можно ли использовать домены с историей, то есть те, на которых раньше уже располагался какой-либо сайт?».

Самый главный момент, который вам нужно помнить, – это то, что робот и поисковая система оценивают ресурс по тому контенту, который находится непосредственно на сайте сейчас.

Если вы купите доменное имя с историей и заполните его новым содержимым, сайт в глазах поисковой системы будет выглядеть как абсолютно новый ресурс. Если он был признан не главным зеркалом какого-то сайта ранее, при добавлении дополнения контента произойдет автоматическая расклейка.

Сайт начнет индексироваться, примет участие в поиске, со временем информация о ранее загруженных роботом страницах будет удалена из базы индексирующего контента. Поэтому, если вы видите, что какое-то доменное имя вам наиболее хорошо подходит под ваш проект, но при этом оно ранее использовалось, не бойтесь, покупайте такой домен и размещайте на нем ваш будущий ресурс.

После того как мы выбрали адрес сайта, нужно выбрать то, где будет находиться ваш новый сайт.

Выбираем хостинг-провайдер. Это серверы или это виртуальный хостер, где будут находиться файлы и папки вашего ресурса. Основная задача хостера – чтобы ваш сайт работал без каких-либо проблем, чтобы был регулярно доступен и для пользователя, и для робота и отвечал для них быстро.

Что значит быстро? В среднем, в Рунете обычный сайт отвечает роботу, то есть передает полностью контент в течение трех секунд. Мы считаем этот показатель нормальным. Поэтому если ваш сайт будет возвращать контент роботу в течение трех секунд, то это хорошо. При этом для пользователей необходимо понимать, что это время может быть либо большим, либо наоборот, устраивающим пользователя.

Например, если у вас небольшой сайт – визитная карточка вашей организации – и пользователь приходит на него с мобильного устройства, скорее всего, он не будет дожидаться несколько секунд загрузки вашего ресурса и вернется обратно в результаты поиска и поищет то, что откроется прямо сейчас. При этом, если у вас какой-то большой портал, в котором содержится куча информации, например, графики статистки, таблицы, то пользователи, переходя на такой ресурс, подразумевают что на загрузку всего контента потребуется какое-то время. Поэтому, в зависимости от того, что за сайт вы планируете открывать, стоит думать над его быстродействием.

При выборе хостинг-провайдера я советую обязательно читать отзывы о будущем хостере, читать форумы и общаться с коллегами. Можно посмотреть, где находятся крупные сайты. Не обязательно в той сфере, в которой вы планируете открывать ресурс, просто потому, что так делают конкуренты.

Смотрите, где расположены крупные ресурсы. Скорее всего, их хостеры в порядке. У будущего хостера обязательно нужно уточнить возможности для управления вашим сайтом. Например, возможность редактирования файла htaccess. Сам же хостер и его серверы могут находиться в любой стране, не обязательно в России.  Главное, чтобы сайт был доступен для робота и ваших посетителей. И небольшой пример не очень хорошего выбора хостинг-провайдера:

На графике, который вы видите на вашем экране, представлено количество запросов и собственно ответы сервера для индексирующего робота. Видно, что 12 июня увеличивается синенькая полоса – это количество ошибок, которые получает робот при посещении сайтов. 12 июня робот получил более 10 тысяч ошибочных ответов от сервера, после чего количество запросов со стороны индексирующего робота уменьшилось в разы.

Если раньше робот запрашивал порядка 7 с половиной тысяч страниц в сутки, сейчас не превышает и 2,5 тысяч. То есть робот видит, что сайту плохо, что он не держит нагрузку и начал обращаться к сайту реже. Естественно, такая ситуация негативным образом повлияет на скорость индексирования вашего сайта в будущем. При этом производительность вашего сайта зависит не только от хостинг-провайдера, но еще и от CMS вашего сайта.

CMS – это определенный движок, то есть это панель для создания наполнения вашего ресурса для управления вашим будущим сайтом. При выборе CMS я советую расписать ту функциональность и те критерии, которые вам необходимы для вашего ресурса на сегодняшний день и которые пригодятся вам завтра и в будущем. Если вы планируете открывать крупный портал, но начинаете с чего-то небольшого, вероятно, что функциональность CMS должна будет измениться со временем.

От этого можете выбрать платную либо бесплатную версию движка для индексирующего робота, не имеет никакого значения. Обязательно читайте отзывы, форумы поддержки той или иной CMS. Посмотрите, чего хотят у текущего движка уже те люди, которые пользуются данной CMS. Возможно, вам не будет хватать именно этого функционала при запуске этого сайта. Если говорить о функционале, прежде всего стоит подумать о совместимости.

Совместимость вас и будущего движка

Очень многие CMS имеют панель администрирования на английском языке. Если вы не знаете английского, то будет сложно управлять вашим будущим ресурсом. Так же посмотрите требования к вашему будущему серверу на производительность, которую может обеспечить эта CMS и, если вы открываете интернет-магазин, скорее всего, вам потребуется интеграция с 1С.

Во-вторых, если речь идет о функциональности, смотрите на возможность редактирования исходного кода, когда, например, заполнение вручную метатегов и установление различных счетчиков, редактирование каноникал на возможность установки и настройки корректного ответа для индексирующих роботов. Например, редактирование редиректов или использования 404 кода ответа.

Так же вам будут полезны и плагины – различные помощники, которые увеличивают функциональность выбранного движка. Например, многие плагины позволяют создать файл robots.txt и файл Sitemap в несколько кликов.

Ну, и в-третьих, естественно, речь идет о дизайне. Возможно ли использовать адаптивную верстку либо потребуется создание поддомена для мобильных устройств. Посмотрите, какие есть стандартные шаблоны для выбранного вами движка. Многие CMS не имеют стандартных шаблонов, поэтому придется все рисовать с нуля. И тут сразу возникает вопрос «Насколько плохо использовать стандартные шаблоны дизайна?». Может быть, сайт будет как-то плохо ранжироваться, плохо находиться в поисковых системах.

На самом деле это не так. Стандартные шаблоны можно использовать, нет в них ничего такого, но делайте это очень аккуратно. Потому что разным пользователям под разные потребности необходимы разные шаблоны. Ну согласитесь, пользователю, который пришел на сайт автомойки и, например, в интернет-магазин одежды, кажется, нужны сайты немножко с разным дизайном.

Подведем небольшой итог. Выбирайте доменное имя прежде всего для ваших будущих пользователей. Хостинг необходимо выбирать, конечно, для индексирующего робота, ну и CMS должна быть доступна для вас и ваших сотрудников.

Ответы на вопросы

«Самописная CMS влияет на индексацию?».

Если вам удобно использовать самописную CMS, нет никаких проблем, главное, чтобы сайт был доступен, вам было удобно, никаких ограничений вы не испытывали при его администрировании и заполнении.

«Да вы шутите если больше 500 миллисекунд, то явно есть проблема для робота».

3 секунды – это средний показатель по русскоязычному сегменту. Поэтому я думаю, что большинство сайтов индексируется без каких-либо проблем в рамках трех секунд. Естественно, если ваш сайт будет отвечать быстрее, то отлично, робот может больше скачать страниц и проиндексировать, включить в поисковую выдачу.

«Я купил домен с историей. В индексации появляются старые страницы, которых не существует».

Робот может помнить об этих страницах какое-то время, обращаться к ним и проверять их доступность. Смотрите, чтобы такие странички отвечали 404 кодом ответа. При необходимости, если их много, их можно запретить в файле robots.txt. Тогда такие страницы будут удалены в ближайшее время.

«Сколько времени занимает расклейка?».

Как правило, если вы купили новый домен и добавили его в Яндекс мастер, расклейка после добавления и нажатия соответствующей кнопки происходит в течение 2–3 недель.

«Русскоязычные домены – это плюс, минус или не то и не другое?».

Русскоязычные – это домены на кириллице. Никаких проблем с их индексированием и нахождением в поиске нет. Они находятся в выдаче на общих основаниях.

«Как это сделать, если все простые домены заняты?».

Смотрите на возможные варианты. Наверное, стоит переработать концепцию вашего сайта либо слоган. Можно выбрать и другие доменные зоны, которые легко будут запоминаться вашими пользователями.

«Если робот понял, что сайту плохо, что хостинг не вытягивает, и начал реже обходить страницы на сайте через какое-то время, он поймет, что сайту хорошо и будет обходить больше страниц?».

Как правило, это происходит в течение нескольких дней. Если ваш сайт начал отвечать хорошо, быстро, проблем никаких не возникает. В течение 2–3 дней робот восстанавливает прежнюю нагрузку на ваш ресурс.

«Если несколько доменов, то как они будут отображаться в поисковой выдаче? Все ли домены или разные по разным запросам?».

Если ваши сайты, к которым вы купили дополнительные домены, будут склеены в группы зеркал, то в поиске останется главное зеркало, то есть только один сайт, который вы укажете роботу. Сделать это можно различными способами.

«Как обстоят дела с бесплатными CMS?».

Их можно смело использовать, если вы не ограничены в функционале и никаких проблем в выдаче у вас не возникнет, то можно использовать и бесплатное CMS.

Заполнение содержимого нового сайта

Мы подготовили основы для индексирования сайта. Перейдем к заполнению вашего будущего ресурса. Если подумать, что ваш сайт – это такой живой организм, то его основа, то есть скелет, – это структура вашего сайта. Сама по себе простая и понятная структура сайта важна тем, что она позволит легко ориентироваться на вашем ресурсе обычным пользователям и индексирующему роботу.

При создании хорошей структуры прежде всего рекомендую стараться использовать ЧПУ-адреса, то есть человеку понятные.

Не использовать большой уровень вложенности ресурса, то есть структура должна быть понятна. При этом, чтобы упростить структуру, вы можете использовать различные фильтры и сортировки. Как показывает практика, пользователям гораздо удобнее ориентироваться в простой структуре, то есть в той, которую вы видите с левой стороны.

При использовании более сложной структуры у пользователя начинаются дополнительные вопросы: «А как мне посмотреть всех производителей в такой категории? А как мне посмотреть и перейти на товары с одной только характеристикой?».

В данном случае может возникнуть путаница, поэтому старайтесь сделать структуру простой. Основная задача при выборе структуры сайта –  это применение посадочных страниц вашего будущего ресурса, то есть это те страницы, которые будут находиться в выдаче и по которым будут переходить ваши будущие пользователи.

Для того чтобы определить корректную структуру сайта и выделить эти посадочные страницы, можно использовать сервисы подбора слов, например, сервис wordstat.yandex.ru. Посмотрите, что именно спрашивают ваши будущие пользователи.

Например, если они спрашивают дешевые кондиционеры, кажется, что завести такую структуру, то есть завести такую страницу в структуру вашего будущего сайта будет очень полезно, поскольку она будет нужна вашим будущим пользователям. Но не нужно делать так по каждому запросу, работайте с группами запроса, то есть с группами однотипных запросов, чтобы одна и та же страница отвечала на несколько похожих запросов пользователей.

Если речь идет о формате адресов, лично я рекомендую вам использовать адреса без параметров, то есть не первый пример, который вы видите на своем экране.

Второй пример как раз лучше воспринимается обычными пользователями. Они лучше ориентируются на вашем сайте. Использование таких адресов позволит роботу быстрее сформировать навигационные цепочки на вашем ресурсе. Это как распределение панельной навигации, которую вы видите на экране.

Очень часто пользователи поисковой системы применяют такие навигационные цепочки для быстрого перехода на сайт. При этом очень важна визуализация не только в результатах поиска, но и непосредственно на самом сайте. Небольшой пример:

Это у нас страницы товара.  Не очень понятно, в каком разделе мы находимся и как посмотреть все похожие пиццы. Как вообще вернуться в каталог, из которого я только что попал? У пользователя начинают возникать дополнительные вопросы. При этом такая же страница с той же пиццей, на которой сразу указан раздел, в которой вы заходите, можете вернуться в раздел мясных пицц. Можно посмотреть наиболее подходящий вам товар.

При этом ту структуру, которую вы выберите с самого начала, не обязательно использовать на всем жизненном пути вашего будущего ресурса. Над структурой нужно постоянно работать, постоянно предлагать пользователям различную новую навигацию на вашем сайте. Делать это можно с помощью А/Б-тестов. Запустили тестирование, посмотрели, например, с помощью Яндекс-метрики, какая структура, какая навигация больше нравится вашим пользователям. Выбрали этот вариант, обновили сайт, сделали пользователям удобнее.

После того как вы определились со структурой сайта, переходим в заполнение. Очень важно заполнять метатеги, тайтл и дескрипшн. Очень много было вопросов на прошлом вебинаре, нужно ли заполнять кейвордс. Да, заполняйте, потому что значение этого тега может использоваться роботом при определении релевантности вашей страницы запросам пользователей.

После использования тегов тайтл и дескрипшн закрываем служебные части вашей страницы с помощью тега ноу индекс – то, что не должно попадать в базу индексирующего робота.

В-третьих, если вам важна индексация изображений, то заполняйте для картинок теги альт и тайтл. Ну, и в-четвертых, полученный html код не поленитесь проверить в одном из валидаторов.

Кажется, все очень просто. Такие очевидные истины, о которых мы говорили уже не раз, но очень много интересного можно найти в результатах поиска.

Ошибки в HTML-коде

Первый пример.

В данном случае тайтл, то есть заголовок страницы, в поиске был сформирован из служебного фрагмента. Это либо css, либо скрипт. Пользователям, естественно, такие заголовки не нравятся, отпугивают, они боятся, что там какой-то некрасивый сайт находится.

Во втором примере веб-мастер вообще решил не заполнять тайтл и в результате главная страница участвует в поиске вот с таким заголовком.

И еще два примера.

В данном случае в описание страниц попали служебные части из навигации. В первом случае это кусочек шоу, во втором случае – кнопочка «отменить ответ». Такие вещи, конечно, лучше закрывать с помощью noindex. Но многие веб-мастера сталкиваются с проблемами, с индексированием сайтов еще до того, как страницы попали в поисковую выдачу.

Некачественные страницы

Многие страницы, новые ресурсы могут быть признаны недостаточно качественными.

Что же это такое? По сути это те страницы, которые при текущих условиях, при текущем контенте не могут быть показаны пользователям по их запросам на каких-либо высоких позициях сайта. И что же, собственно, делать с такими страницами? Как над ними работать?

Содержимое страниц

Я вам расскажу несколько примеров, приемов, что можно использовать на примере карточки товара.

Причем эти рекомендации можно использовать и для информационных сайтов, а также для сайтов, которые предоставляют услуги.

Во-первых, если (вернемся к товарам) вы пишете описание для товаров, его необходимо составлять для ваших пользователей. Потому что именно пользователи совершают покупки на вашем ресурсе, а не индексирующий робот. Поэтому писать текст для индексирующего робота бесполезно.

Во-вторых, вы можете добавлять на страницы больше дополнительного контента, будь то отзывы от других пользователей, какой-то небольшой мини-форум, на котором пользователи могут комментировать тот или иной товар либо добавлять обзоры данного товара, какие-то рекомендации к покупке.

Давайте посмотрим небольшой пример. Страница с флешкой.

Кажется, что можно рассказать о флешке? Посмотрим описание.

Во-первых, помимо технических характеристик, которые представлены, мне кажется, на каждом сайте есть хорошее описание того, чем именно отличается данная флешка от других товаров на сайте, какими устройствами поддерживается, как быстро работает. Если перейти на соседнюю вкладку, то можно увидеть отзывы от реальных покупателей, которые уже купили эту флешку и пишут свое мнение.

Есть еще вкладка с обзорами, где также реальный покупатель оставляет небольшой обзор купленного товара.

Вы можете стимулировать ваших пользователей оставлять такие отзывы и обзоры с помощью различных бонусов либо с помощью различных скидок на следующие покупки, и сами ваши пользователи делают ваш сайт полезным и уникальным, отличительным от большого количества других аналогичных ресурсов в интернете.

Заполняем сайт

В итоге, для хорошего заполнения сайта выбираем простую и понятную структуру вашего будущего ресурса, составляем корректный html-код, а также добавляем полезный и действительно нужный контент на страничке.

Добавление сайтов в поиск

Robots.txt и sitemap

На следующем этапе мы добавляем ваш будущий ресурс в поисковую выдачу. Перед тем как вы сообщите о вашем сайте индексирующему роботу, я советую заполнить два файлика, о которых мы уже говорили неоднократно, но о которых веб-мастера успешно забывают и не обращают внимания, – файлы robots.txt и sitemap.

Robots.txt – это служебный файлик, в котором содержатся правила о том, как страницы индексировать не нужно.

В robots.txt мы добавляем все, что не должно попадать в поисковую выдачу, все, что не должен посещать индексирующий робот. Это позволит оставить для робота только действительно важные страницы вашего сайта, которые должны попадать в поиск и быстро индексироваться. То есть добавляем в запреты в robots.txt различные админки, поиск по сайту, действия и все подобное. Существует специальный инструмент – Анализатор robots.txt

Файл sitemap – противоположность. В него нужно добавить те страницы, которые робот должен проиндексировать.

Если у вас готовый ресурс, если вы используете какой-то плагин для вставки в robots.txt сразу же перед тем, как вы сообщаете роботу о вашем сайте, составьте файлик sitemap, проверьте, что он составлен корректно и там находятся только действительно нужные страницы вашего ресурса. Также файл sitemap можно проверить с помощью специального валидатора в Яндекс.Вебмастере.

Добавление сайта в Яндекс.Вебмастер

Приступаем к добавлению сайта в Яндекс.Вебмастер. Очень частый вопрос: «По какому адресу собственно добавлять http или https?»

Если у вас новый сайт и вы уже используете новый протокол, сразу добавляйте в Яндекс.Вебмастер протокол https версию, чтобы она индексировалась и участвовала в поисковой выдаче. Если вы используете или не используете префикс www, соответственно на это тоже нужно обращать внимание для того, чтобы получать корректную статистику по индексированию вашего ресурса. Подтвердить права на ваш сайт можно различными способами, и, я думаю, с этим у вас проблем никаких не возникнет.

После того как вы подтвердили права на сайт и зашли в Яндекс.Вебмастер, советую проверить, доступна ли страница вашего ресурса для индексирующего робота с помощью соответствующего инструмента. Вбили адрес страницы, нажали кнопочку «Проверить», смотрим код ответа, то есть это статус страницы для индексирующего робота.

Статус 200 Ок означает, что можно индексировать. Если статус отличается от кода 200, стоит задуматься, вероятно, сайт не доступен для нашего робота. Можно посмотреть время ответа, а также исходный код страниц, который получил наш индексирующий робот.

Очень часто при индексировании новых ресурсов робот в течение суток начинает получать заглушку от вашего либо хостера, либо от регистратора доменного имени. Важно посмотреть, что новый сайт возвращает именно тот контент, который находится на вашем ресурсе.

Если все в порядке, заходим в инструмент «Переобход страниц» и добавляем наиболее важные страницы вашего сайта, которые должны в максимально короткие сроки попасть в поисковую выдачу.

Например, если это страницы каталога, то можно использовать какие-то наиболее важные разделы, где больше всего находится товаров. Дальше идем в раздел «Региональность» и добавляем регион сайта, если он необходим.

Проверяем корректность мобильной версии для вашего сайта.

Переходим в раздел «Диагностика сайта».

Вы можете посмотреть здесь возможные проблемы либо рекомендации для вашего ресурса, то есть то, что вам может посоветовать Яндекс.Вебмастер уже сейчас.

В итоге дали для индексирующего робота дополнительную информацию в виде robots-txt, важных страниц и региона, воспользовались инструментами «Проверка ответа сервера», мобилопригодности и посмотрели диагностику.

И, если все хорошо, через несколько дней в статистике обхода можно посмотреть, как часто ваш сайт посещается индексирующим роботом.

Также, спустившись немножко вниз в этом разделе, можно посмотреть, какие именно страницы посещает робот.

Если видите здесь служебные адреса, их стоит закрыть в robots.txt, чтобы робот не обращался к ним.

В соседнем разделе можно посмотреть статистику того, как страницы вашего сайта попадают в поисковую выдачу.

Можно посмотреть, какие страницы не попали в поиск и причины их исключения.

И посмотреть собственно то, что мы и добивались – те страницы, которые сейчас попали в поиск и которые уже сейчас могут показываться пользователям по нужным вам запросам.

Полезные для вас сервисы: Яндекс.Вебмастер, Яндекс.Метрика, Яндекс.Справочник, сервис подбора слов.

Источник: Настраиваем индексирование нового сайта в Яндекс.Вебмастере

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Нажимая на кнопку «Отправить комментарий», вы соглашаетесь с Условиями использования