Результативное продвижение сайта в интернете!

г. Москва, м. Сокольники, ул. Маленковская, д. 32, стр. 3

с 10:00 до 19:00, пн.- пт. (сб./вс. - выходной)

Азы диагностики сайта: аудит сайта и мониторинг проблем! Рекомендации Яндекса!

Статья направлена в первую очередь на владельцев сайтов и маркетологов, которые хотят разобраться с глобальными фатальными ошибками, которые в целом связаны со всем сайтом. Если что-то подобное происходит, то это сразу влияет на весь сайт и причем часто очень-очень плохо.

Содержание:

  • Аудит сайта и мониторинг проблем.
  • Коротко о том, как работает поиск.
  • Как убедиться, что поиск знает о сайте?
  • Какие фатальные проблемы возникают при доступе к сайту?
  • Как понять, что сайт запрещен к индексированию?
  • Какие проблемы могут возникнуть у всего сайта с ранжированием?

Аудит сайта и мониторинг проблем

Когда мы разбираем какой-либо инструмент аудита или мониторинга, мы должны понимать, как этот инструмент работает, и откуда он берет данные. Понятно, что, если мы говорим о каком-нибудь разовом аудите сайта, который мы проводим, мы говорим о поиске глобальных проблем, которые есть на настоящий момент.

Если мы говорим о постоянном мониторинге сайта, то мы говорим о том, что на какой-то момент с сайтом может быть все хорошо, а потом что-то случится. Например, выложили новую версию с кучей 404-ых ошибок или с кучей дублей, или затерли robots.txt, может быть все, что угодно, и этот момент нам нужно промониторить и понять в реальном времени.

Источники данных для наших мониторингов могут быть очень-очень разные, и, собственно, сами инструменты для мониторинга могут быть тоже разными. Например, обычное поведение пользователей будем мониторить через какие-то счетчики, типа той же Метрики, а представление сайта в поиске, если мы говорим в частности о Яндексе, то, скорее всего, это Яндекс. Вебмастер.

Данные Яндекс.Вебмастера – это те данные, которые есть у поиска. Вы можете видеть ваш сайт так, как владелец сайта, считать его самым лучшим, самым отличным, и все страницы у вас могут грузиться в вашем браузере, даже у ваших разработчиков они могут грузиться и у некоторых пользователей.

Но это не значит, что поиск видит их точно так же, что они грузятся у поиска, что они доступны для индексирования и т.д. Поэтому данные, которые есть у поиска, которые даются, в частности, в Яндекс.Вебмастере – это те данные, которые представляют действительно реальную ценность, потому что это данные первоисточника.

Диагностика сайта

Если вдруг вы именно владелец сайта или маркетолог, то я хочу обратить ваше внимание, что в Вебмастере существует инструмент диагностики сайта, который позволяет понять, все ли в порядке с вашим сайтом вообще и в настоящий момент времени. Здесь, на слайде, видны ошибки, которые в целом выводятся в этом инструменте.

  • Фатальные проблемы: сайт закрыт к индексации в robots.txt, главная страница сайта возвращает ошибку, обнаружены нарушения или проблемы с безопасностью…
  • Критические проблемы: большое количество неработающих внутренних ссылок, долгий ответ сервера…
  • Возможные проблемы: обнаружены ошибки в файлах Sitemap, большое количество страниц-дублей, в файле robots.txt не задана директива Host, отсутствуют <title> и <description>…
  • Рекомендации: не задана региональная принадлежность сайта, отсутствует файл favicon, сайт не оптимизирован для мобильных устройств…

Мы делим ошибки на фатальные, критичные, возможные, рекомендации, по степени важности, чтобы вы понимали, как быстро бежать, если они случатся.

И сегодня на вебинаре мы будем обсуждать именно наиболее важные из них, при этом возможные проблемы, рекомендации не значат, что их не нужно трогать и исправлять.

Это просто значит, что ваш сайт просто прямо сейчас из поиска не упадет, не выпадет и не просядет в ранжировании, если вдруг случится какая-либо возможная проблема, в отличии от фатальных и критичных проблем.

Уведомления

Уведомления от Яндекса

Кроме диагностики, которая есть в Вебмастере, было запущено еще два полезных инструмента для работы с сайтами, именно с точки зрения мониторинга, все ли с вашим сайтом хорошо.

Во-первых, это перезапущенные Уведомления, основная ценность которых заключается в том, что вы можете выбрать на какой именно сайт подписать на уведомления, и что именно вы хотите там мониторить.

Например, вы понимаете, что для некоторых сайтов вам важно мониторить только фатальные и критичные проблемы, о которых мы сегодня будем говорить, вы подписываетесь только на них.

Или, например, вы хотите получать какие-то новости о том, что нового происходит сейчас в поиске, какие новые алгоритмы запускаются, тогда можно подписаться уже отдельно на новости. Или вам интересно, когда обновляются базы, когда происходят какие-либо изменения – это все тоже можно сделать в уведомлениях, подписаться, и можно проверить, на что именно вы сейчас подписаны.

Отслеживание изменений на важных страницах

Также стоит обратить внимание на то, что в Уведомлениях можно подписываться не только на общие, но и на уведомления по конкретным страницам, чтобы можно было отслеживать важные изменения конкретных страниц.

Отслеживание изменений на важных страницах

Например, вы знаете самые конверсионные страницы, которые вычислили через Яндекс.Метрику. Эти страницы для вашего бизнеса определенно важны, и огромное количество траффика у вас идет на них именно с поиска.

Поэтому важно, чтобы они были хорошо представлены в поиске, чтобы давали код ответа 200, чтобы их постоянно нормально обходил робот и т.д. Для таких мониторингов есть отдельный инструмент, вы всегда можете зайти и попробовать прямо сейчас.

Пожалуйста, если вы уже сейчас знаете, что у вас есть такие страницы, то заходите и пользуйтесь этим инструментом. Отслеживая важные изменения, вы будете в курсе событий.

Коротко о том, как работает поиск

Теперь давайте разберемся в конкретных случаях «Что делать, если?..». Что делать, если случилась фатальная или критичная ошибка? А они, к сожалению, случаются. И знаете, что самое интересное?

Обычно профессионалы, которые занимаются поисковой оптимизацией, считают, что фатальные и критичные ошибки в принципе не могут быть допущены, потому что все знают, что это за ошибки и как они случаются. На самом деле нет.

У нас огромное количество обращений в нашу поддержку от матерых профессионалов, у которых по какому-то нелепому стечению обстоятельств случилось так, что произошла фатальная ошибка. Например, как вы понимаете, совсем недавно были майские праздники.

Как вы думаете, всплеск каких именно проблем из фатальных был виден на обращениях в нашу поддержку? Действительно, на майских праздниках часто меняется посещаемость, но характерный всплеск был связан не с этим связан.

Баден-Баден – интересный вариант, но он был раньше майских. Если вам прямо сейчас интересно узнать, что это такое, вы можете зайти в наш блог Яндекс-вебмастеров и прочитать потрясающие и уникальные комментарии и описание этого нового алгоритма.

Дело в том, что на майские, как и вообще в принципе на праздники, очень часто забывают продлевать домены. Почему-то в этот Новый год люди, в целом, позаботились о том, чтобы у них был доступ к сайту и к интернету на праздники, а на майские – нет.

У нас было огромное количество запросов, просто всплеск, связанный с тем, что: «Мы не продлили домен, давайте быстро исправлять ситуацию. Да, мы знаем, что ваш поисковый робот приходил, и домен у нас не продлен, страшно, ошибки, давайте, пожалуйста, помогите нам исправить».

Что должен сделать поиск, чтобы сайт попал в поисковую выдачу?

Что должен сделать поиск, чтобы сайт попал в поисковую выдачу?

Итак, фатальные ошибки обычно могут возникать на любом из этапов обработки вашего контента и добавления его в наш поиск. Как в целом работает схема добавления ресурса в поиск? Если вы вдруг не знаете:

  • Мы, как поиск, должны узнать о том, что сайт появился и его новые страницы появились, если уже знаем о сайте.
  • Физический доступ к этому сайту. Пока физического доступа к сайту нет, мы, естественно, не можем физически забрать этот контент.
  • Разрешение на то, чтобы мы этот контент могли показывать людям в нашем поиске. Такое разрешение записывается в robots.txt, о нем мы расскажем чуть позже.
  • Процесс добавления контента, который мы можем показывать пользователям, в нашу поисковую базу.
  • Процесс ранжирования. Ранжирование – это упорядочивание результатов, упорядочивание страниц в соответствии с запросом пользователя.

В поиске Яндекса сейчас используется машинное обучение, более 1500 тысяч факторов, по которым мы взвешиваем каждый документ, каждую страничку вашего сайта и сайта ваших конкурентов, и упорядочиваем их в соответствии с тем, как нам кажется, что они лучше всего решают тот или иной запрос пользователей, ту или иную его задачу. Сейчас мы отталкиваемся в первую очередь от задач пользователей.

Как убедиться, что поиск знает о сайте?

Чаще всего эта проблема бывает с новыми сайтами. Робот достаточно хорошо знает о старых сайтах и хорошо их индексирует. У поисковых сервисов есть сервисы, которые связаны с поиском, в случае с Яндексом, это Яндекс.Вебмастер, куда вы просто добавляете свой сайт, получаете данные от поиска и смотрите, как он там представлен.

Что важно и о чем часто умалчивают либо забывают сказать, так это о делегировании прав. Да, вам нужно подтверждать права на ваш сайт, чтобы вы получали данные из Яндекс.Вебмастера. Но это делается один раз, а дальше вам, как руководителю интернет-проекта, как владельцу сайта, как маркетологу, который может напрямую не заниматься поисковой оптимизацией, можно делегировать права на доступ к Яндекс.Вебмастеру, чтобы вы могли спокойно смотреть, что было сделано, какая работа была проведена, что вы оплачиваете и вы можете подписаться на уведомления по вашему сайту.

Таким образом, если с ним вдруг что-то случается, что-то из того, что будет перечислено на этом вебинаре либо на следующих, вы тут же узнавали и могли отреагировать.

Задача Яндекса, в том числе если мы говорим про связки Яндекса и владельцев сайтов, – давать хороший трафик владельцам сайтов, и чем лучше у вас сайт, тем больше нам хочется его показывать пользователям.

Какие фатальные проблемы возникают при доступе к сайту?

Второй этап – физический доступ к сайту. Какие здесь бывают проблемы из фатальных? Вы можете их посмотреть:

  • Не удалось подключиться к серверу из-за ошибки DNS.
  • Главная страница сайта возвращает ошибку.
  • Долгий ответ сервера.

Не удалось подключиться к серверу из-за ошибки DNS

Первая из них – не удалось подключиться к серверу из-за ошибки DNS, в частности из-за проблем с доменом и т.д. Что здесь происходит? Происходит здесь очень простая ситуация. У вас есть некий адрес вашего сайта, который написан кириллицей или латиницей, его нужно раскодировать, превратить в цифры, чтобы получить к нему именно машинный доступ.

Если происходит ошибка в этот момент, нет доступа к вашему сайту, и, соответственно, в поиск он не попадет, и, скорее всего, пользователи на него тоже не попадут.

Как вообще проверяется такая проблема? Вы ее можете увидеть в диагностике, как я уже рассказала. В диагностике сайта она у вас появилась, что делать дальше?

Проверка ответа сервера

Проверка ответа сервера

Ошибки подобного рода временные, особенно если вы знаете, что у вас продлен домен, сервер работает и в целом все хорошо. Как проверить, если она на настоящий момент времени? Очень просто.

Вы идете в проверку ответа сервера, вводите там адрес вашего сайта. Проверка ответа сервера – это один из инструментов Яндекс.Вебмастера. Почему важно смотреть именно через этот инструмент? Потому что он показывает то, что видит поиск.

Бывают случаи, например, когда ваш хостинг-провайдер в целом нормально обеспечивает доступ к вашему сайту, к его серверам пользователей, но почему-то посчитал поисковых роботов, например, спамными или опасными, или создающими большую нагрузку и закрыл доступ к ним.

Пример, на котором какие-либо другие мониторинги ответов серверов могут не показать проблему, а инструмент в Яндекс.Вебмастере покажет.

Мы заходим в него, вводим адрес нашего сайта и смотрим, как отвечает сервер.

Здесь мы видим код статуса ответа 200 ОК. Как видно по статусу «ОК», это означает, что со страницей все хорошо, можно дальше не беспокоиться и зайти в диагностику. Если мы обнаружили, что проблема через диагностику, то нужно нажать перепроверить, и скоро эта проблема исчезнет, значит, она была временной, возможно из-за каких-либо технических работ.

Если здесь стоит какой-либо другой код ответа, то, скорее всего, проблема не устранена. Что в этом случае делать? Можно еще немножко подождать, но если вы видите, что времени действительно прошло много, то нужно идти либо к хостингу, либо к регистратору домена и разбираться, в чем именно и в какой момент возникает проблема.

Она устраняется на их стороне. К сожалению, писать в нашу поддержку, в поддержку Вебмастера довольно бессмысленно, потому что мы здесь ничем не можем помочь, мы не можем изменить настройки вашего сервера, настройки вашего доменного регистратора. Не можем, как бы мы ни хотели, поэтому здесь мы можем только подсказать куда идти.

Главная страница возвращает ошибку

Другой пример из фатальных ошибок, тоже часто связанный с работой сервера – это когда главная страница возвращает ошибку. В большинстве случаев, если главная страница сайта возвращает ошибку, то это значит, что с сайтом все плохо, поэтому, собственно, и создан такой мониторинг.

Если вы считаете, что для вас важна не просто главная страница, а какая-либо другая страница, то добавляйте ее отдельно в мониторинг важных страниц и отслеживайте ее.

Проверка здесь точно такая же. Если она поисковому роботу отдает «200 ОК», значит, с ней все хорошо, если она по какой-либо причине не отдает этот код, этот статус, то значит с ней есть проблемы. Решается она аналогично, как и другие проблемы, связанные с сервером, аналогично прошлому пункту. Просто идете и проверяете ответ сервера.

Долгий ответ сервера

Еще один пример из фатальных ошибок, связанных с сервером, – это долгий ответ сервера. Что такое долгий ответ сервера, и как его посмотреть?

Точно так же, мы снова видим нашу табличку из ответа сервера, и мы видим здесь на второй строке, обратите внимание, время ответа сервера. Дальше мы смотрим, если она остается более трех секунд, это некая рекомендация, проблема сохраняется, и нужно ее идти исправлять.

Проблемы, из-за которых сервер может так долго отвечать, могут быть разными. У вас могут быть сетевые проблемы, проблемы с CMS, но чаще всего проблемы бывают с хостингом, и, если у вас именно проблемы со скоростью ответа сервера, в первую очередь идите к вашему хостинг-провайдеру.

К сожалению, в данном случае поддержка Яндекс.Вебмастера, поддержка поиска, точно так же помочь не может, потому что мы не можем изменить скорость ответа вашего сервера, но можем подсказать, где искать, где копать и что, в целом, нужно исправлять.

Как понять, что сайт запрещен к индексированию?

Следующий шаг, на котором могут возникать проблемы при добавлении информации в поиск, – это разрешение или запрет на добавление информации. Он связан в данном случае с robots.txt. Как посмотреть, есть ли у вас robots.txt на вашем сайте или нет? Решение очень простое.

Как понять, что сайт запрещен к индексированию?

Зайдите на ваш сайт, наберите свой сайт, а далее /robots.txt. Попробуйте сделать это прямо сейчас. Вы, скорее всего, увидите там некий текстовый файл. Это и есть robots.txt.

Вы там можете увидеть примерно следующие названия:

  • User-Agent – это обращение к какому-либо поисковому роботу. Например, User-Agent: * – это обращение ко всем поисковым роботам,

User-Agent: Yandex – это обращение именно к Яндексу.

  • Команда Allow/Disallow, которая означает, собственно, разрешить либо запретить.

Пример того, как может выглядеть robots.txt, перед вами на слайде.

Честно говоря, даже очень-очень многие профессиональные поисковые оптимизаторы не всегда знают, как корректно писать robots.txt, то есть команды, конечно, все знают, но некоторые тонкости, например, приоритеты disallow перед allow или наоборот уже часто понять сложно.

Robots.txt у нас обычно генерируется автоматически и понять, правильно он сгенерировался или нет, часто бывает затруднительно. Поэтому для того, чтобы проверить ваш сайт или основные его страницы, также разрешены к индексированию, существует инструмент в Вебмастере, который называется «Анализ robots.txt».

Как он работает? Очень просто, точно так же добавляете туда ваш сайт или добавляете напрямую robots.txt, а дальше проверяете, есть ли в нем ошибки или нет. Потому что, если есть ошибки, это уже повод задуматься, как эти ошибки обрабатывает поисковая система. Далее проверяем конкретные страницы.

Если нам важно понять, почему данная страница или данный сайт не индексируется или индексируется плохо, обычно, если запрещено к индексированию, естественно, не индексируется, то мы просто добавляем конкретную страницу в наш инструмент. Мы видим в данном случае, что в результате зеленая галочка означает, что данная страница к индексированию разрешена. Если страница к индексированию запрещена, то идет выделение красным.

Хочу обратить ваше внимание, что запрет к индексированию делается не только в robots.txt, можно и через noindex, и некоторыми другими способами. В данном случае мы проходим именно ту часть, которая связана с запретом индексирования всего сайта, и, обычно, это все-таки robots.txt, когда запрещается весь сайт.

Как вообще может произойти, что у вас в robots.txt внезапно стал запрещен весь сайт? Например, при выкатке вы перетерли старый robots.txt и выкатили, например, старую версию robots.txt, когда еще ваш сайт не был открыт. Естественно, он тогда еще не был разрешен к индексированию, потому что вы не хотели давать полупустой сайт к индексированию, вообще он у вас там тестируется, и тексты могут быть не какие-нибудь, а тестовые. Случайно заменили старой версией, все, уже трагедия, уже что-то не так.

При этой проверке, кстати, стоит проверять, запрещены ли у вас к индексированию страницы, которые вы не хотите, чтобы попали в поиск, например, какие-то клиентские данные. Понятно, что вы их будете защищать еще и на серверной стороне, но в то же время важно, чтобы на всякий случай в robots.txt они тоже были запрещены к индексированию.

Исправляем и снова проверяем

Решение здесь тоже очень простое, то есть мы проверяем через наш инструмент, все ли хорошо с robots.txt вашего сайта. Если мы видим, что там нет ошибок и нужные страницы разрешены к индексированию, просто нажимаем в нашей диагностике «перепроверить» и убеждаемся, что все снова хорошо.

Какие проблемы могут возникнуть у вашего сайта с ранжированием?

Следующий этап связан с ранжированием.

Рассмотрим первый блок, связанный с проблемами ранжирования, – это проблемы с нарушениями и проблемы с безопасностью.

Такие проблемы могут возникать извне и внутри вашей работы сайта. Пример возникновения проблемы извне связан как раз с безопасностью. Ваш сайт взломали и стали на нем размещать вирусы, нехорошую рекламу, взрослую рекламу или что-то еще. Поскольку он, например, заражает пользователей, он помечен как небезопасный.

Причины понятны. Ясное дело, что вы этого делать не хотели, но так у вас случилось. Потому что вы, возможно, чуть-чуть пренебрегли основами обеспечения безопасности вашего сайта, либо взломщики оказались очень умелыми и уж больно хотели ваш вкусный сайт взломать. Так случилось и здесь. Важно как можно быстрее исправить проблему с заражением, чтобы с вашего сайта была снята пометка о том, что он небезопасен.

Такая пометка появляется не только в Вебмастере, в Вебмастере это именно уведомление, чтобы вы поняли, что поиск считает ваш сайт опасным, а для пользователей это будет выражено в поиске, где будет большое предупреждение, что сайт может представлять угрозу компьютеру, и в браузере.

В вопросах такого типа вы всегда можете обращаться в нашу поддержку, мы постараемся дать вам примеры, как было заражено, где было отражено, что нужно чинить, как исправлять. Нам тоже очень важно, чтобы ваш хороший сайт снова стал хорошим и безопасным, потому что наша задача – решать задачи пользователей, в том числе, показывая им хорошие ответы в ваш сайт.

Другая часть, связанная с нарушениями, очень часто возникает, когда риски были недооценены. Понятно, что есть некие спамные попытки повлиять на пользователей или на поисковую систему, либо завладеть данными пользователей. Естественно, всякий раз, когда такое происходит, поиск очень четко и быстро старается это отлавливать.

Потому что всякий раз, когда хотят навредить нашим пользователям, неважно каким образом, например, фишинг, собрать пароли, предоставить им ужасные тексты или еще что-то, собрать их данные социальных сетей без их разрешения, наша задача – защитить пользователей.

Поэтому такие сайты довольно быстро попадают в нарушения, и к ним применяются некие меры по ухудшению ранжирования, иногда вплоть до исключения из поиска, чтобы пользователи на такие сайты не попадали до тех пор, пока нарушение или угроза не была устранена.

Санкции поисковой системы Яндекс

Вот примеры некоторых нарушений, которые могут быть за сайтом. Пример нарушения, в частности у нас возникал в чате Баден-Баден – это наш новый алгоритм, который был запущен совсем недавно, и он связан с борьбой с переоптимизированными текстами.

Переоптимизированные тексты обычно пишутся не для пользователей, а для поисковых машин, и часто выглядят как «стиральная машина купить, купить стиральная машина Москва, доставка, быстро, бесплатно, качественно», или что-нибудь такое.

Это могут быть более извращенные тексты, там может быть больше воды. Но факт в том, что они особо пользователю не нужны. Пользователю не нужно знать, что вы самая лучшая компания на свете двадцать раз и стиральные машины.

Пользователю нужны конкретные перечисления характеристик этой стиральной машины или что-либо подобное. Такие тексты могут быть признаны некачественными. Если таких текстов на сайте относительно немного, то это просто отразится на ранжировании таких страниц и, если страницы не полезные, то, естественно особого смысла их показывать пользователям и нет. Либо это может быть признано нарушением, если сайт злоупотребляет такими текстами, и отразится на всем его ранжировании.

Полезное:

 

Источник (видео): Поисковая оптимизация сайта: азы диагностики сайта — Елена Першина

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Нажимая на кнопку «Отправить комментарий», вы соглашаетесь с Условиями использования