Существует множество факторов, влияющих на то, как поисковые системы оценивают ваш контент. Одним из таких факторов является бюджет сканирования (краулинговый бюджет). Если вы поймете, как работает бюджет сканирования, то сможете использовать эти приемы для более эффективной работы своего сайта. Оригинал статьи: How to Use Google’s Crawl Budget to Boost Your Site’s SEO
Содержание
Что такое бюджет сканирования?
Термин «бюджет сканирования» используется специалистами в сфере SEO уже несколько лет. Многие писали о том, что именно он означает, но официального определения этого понятия не было.
До января 2017 года.
Именно в январе 2017 Гэри Ильес из Google опубликовал сообщение в блоге, в котором дал определение понятию «бюджет сканирования».
По словам Ильеса, то, что люди называют «бюджетом сканирования», фактически состоит из двух компонентом, с точки зрения Google.
Эти два компонента – это лимит скорости сканирования и запрос на сканирование.
Вот как Google определяет лимит скорости сканирования:
Что такое лимит скорости сканирования?
По сути, Google не хочет перегружать ваш сайт, слишком интенсивно его сканируя.
Лимит скорости сканирования не дает Google ботам слать слишком много запросов и замедлять работу вашего сайта.
Если никто не использует ваш сайт, он быстро отреагирует на запрос Google ботов, поэтому Google бот, скорее всего, будет сканировать его больше.
Теперь давайте рассмотрим определение запроса на сканирование.
Что такое запрос на сканирование?
Запрос на сканирование имеет огромное значение для SEO. Согласно Google у популярного контента и свежего контента более высокий запрос на сканирование (об этом мы поговорим позже).
Google говорит следующее, определяя бюджет сканирования:
«Если сложить скорость сканирования и запрос на сканирование, мы сможем определить бюджет сканирования как количество URL-адресов, которые Google бот может и хочет сканировать».
Достаточно просто, правда?
В идеале вам бы хотелось, чтобы все ваши страницы сканировались, и вы заинтересованы в том, чтобы Google бот хотел сканировать ваш сайт.
Рис. 1. Как сделать так, чтобы Google бот хотел сканировать ваш сайт?
Пришло время перейти к вопросу, который вас действительно волнует: как использовать бюджет сканирования для улучшения SEO?
Все сводится к тому, чтобы предоставить Google именно то, чего он хочет.
У Google есть одна миссия: обеспечить пользователям самый лучший поиск.
Если вы сможете помочь им в реализации этой миссии, то будете обязательно вознаграждены.
Давайте посмотрим, как именно можно это сделать.
Улучшение скорости сайта
Скорость сайта имеет решающее значение в вопросах SEO, и в особенности для бюджета сканирования.
Если ваш сайт быстрее и работает лучше, он сможет обрабатывать больше запросов Google ботов и пользователей одновременно.
Google пишет об этом в своей статье про бюджет сканирования:
Рис. 2. Влияет ли скорость сайта на бюджет сканирования?
Поэтому, если вы ускоряете свой сайт, то и бюджет сканирования будет увеличиваться.
Но, прежде чем что-либо сделать, нужно проверить скорость своего сайта.
С этой целью я использую тестер Pingdom:
Рис. 3. Для проверки скорости сайта можно использовать Pingdom
Скорость можно проверить из четырех разных мест. Я рекомендую использовать их все, чтобы понять, как пользователи со всего мира видят ваш сайт.
Это может занять от нескольких секунд до нескольких минут, в зависимости от размера сайта.
Как только проверка будет завершена, появится следующее полезное резюме:
Рис. 4. Резюме с анализом скорости сайта
Это даст вам представление о том, как работает ваш сайт.
В частности, необходимо обратить внимание на время загрузки и количество запросов.
Время загрузки должно быть как можно короче – от 500 миллисекунд до 2 секунд.
Рис. 5. 1 секунда задержки при загрузке сайта приводит к целому ряду потерь
Если на загрузку уходит больше времени, есть риск, что Google будет уделять меньше внимания вашему сайту.
Джон Мюллер из Google сказал, что, если страница вашего сайта загружается дольше 2 секунд, Google будет медленнее сканировать его.
2 секунды – это же быстро, правда? Но для Google это недостаточно быстро.
На вашем сайте также должно быть как можно меньше запросов.
Если у вас не много запросов, Google бот может слать больше запросов и быстрее сканировать ваш сайт.
Какое число запросов является оптимальным?
Эксперт по веб-производительности, Стив Судерс, пишет, что среднее количество запросов – 99.
Рис. 6. Согласно Стиву Судерсу 99 – это среднее количество запросов
Если ваш показатель соответствует норме, отлично. А если вы в диапазоне от 0 до 50, еще лучше.
Теперь вы видите, насколько тесно связана скорость сайта с бюджетом сканирования. Но не все сайты являются молниеносно быстрыми.
Если ваш сайт медленнее улитки, самое время начать беспокоиться. Необходимо предпринять несколько простых шагов, чтобы его ускорить.
Вот что я рекомендую сделать.
1. Разгрузите дизайн сайта
Это может быть непросто.
На дворе 2017 год, и все хотят использовать самый модный дизайн.
Много современных вариантов дизайна выглядят хорошо, но они не всегда хорошо работают с точки зрения пользователей.
Давайте обсудим это на примере BuzzFeed.
Рис. 7. Пример современного дизайна на сайте BuzzFeed
Очень модно.
Но как насчет функциональности? Не очень удобно.
Цифры говорят сами за себя:
Рис. 8. Оценка функциональности дизайна на сайте BuzzFeed
Показатели почти достигли отметки в 2 секунды, а это опасная зона. Плюс у сайта огромное количество запросов – 222.
Ого.
Я ни в коем случае не утверждаю, что у вас одновременно не может быть хорошего дизайна и высокой производительности.
Но не любой хороший дизайн стоит того, чтобы жертвовать производительностью.
Если вы обнаружите, что ваш сайт медленнее, чем вам хотелось бы, попробуйте его упростить. При этом вы сможете сохранить отличный дизайн, он даже может быть похож на ваш текущий. Просто нужно внести несколько правок.
Начните с процесса сжатия. Это позволит уменьшить пространство, которое занимают ваши страницы.
Gzip – один из лучших инструментов для этих целей.
Рис. 9. Gzip – отличный инструмент для сжатия
Затем попробуйте уменьшить размеры картинок или сжать их.
Огромные картинки – настоящие убийцы скорости. Они могут привести к тому, что ваш сайт будет загружаться более 2 секунд.
Сначала я рекомендую уменьшить размеры файлов, но сжатие – это более удобный вариант.
Compressor.io сделает это за вас мгновенно:
Рис. 10. Программу Compressor.io очень удобно использовать для сжатия картинок
Если у вас есть ненужные изображения, предлагаю их полностью удалить.
Когда вы добавляете новые изображения, попробуйте ограничить размер файла.
Наконец, нужно внести некоторые изменения в свой код.
Избыточный код может перегружать ваш сайт. Это не только приводит к плохому пользовательскому опыту, но и усложняет загрузку вашего сайта.
Если вы программист или знаете какого-нибудь разработчика, стоит заняться улучшением кода.
Рис. 11. Для улучшения скорости сайта стоит разгрузить свой код
Нужно сделать две вещи: 1) асинхронизировать JavaScript и 2) объединить как можно больше CSS‑файлов.
Это может показаться вам странным, но эти шаги действительно разгружают код.
Поэтому помните, что, когда речь идет о дизайне, необходимо достичь гармоничного баланса между модным видом и функциональностью. Не позволяйте внешнему виду сайта влиять на его производительность.
Все это поможет вам увеличить бюджет сканирования. А Google боты смогут отправлять больше запросов и чаще сканировать ваш сайт.
2. Избегайте ошибок сканирования
Вот еще один совет от Google:
Рис. 12. Рекомендация от Google касательно ошибок сканирования
Ошибки сканирования происходят тогда, когда Google бот сканирует ваш сайт и сталкивается с проблемой.
Конечно, вы хотите избежать ошибок, но как это контролировать?
Вы должны знать, что Google обязательно сообщит вам о любых ошибках, с которыми столкнется, сканируя ваш сайт.
Это функция одного из моих любимых инструментов, поисковой консоли Google.
Чтобы перейти в раздел «Ошибки сканирования», откройте поисковую консоль и выберите свойство, которое вы хотели бы проанализировать.
Нажмите кнопку «Сканировать» на боковой панели слева.
Рис. 13. Кнопка «Сканировать» на боковой панели
Затем нажмите на кнопку «Сканировать ошибки».
Рис. 14. Кнопка «Сканировать ошибки»
Вы увидите панель сканирования ошибок:
Рис. 15. Панель сканирования ошибок
Появится график, который наглядно продемонстрирует, сколько у вас ошибок.
Внизу есть список с URL-адресами с ошибками сканирования (если они есть).
Существует два типа распространенных ошибок: ошибки сайта и ошибки URL.
Для наших целей необходимо отследить ошибки сервера – именно о них предупреждает Google в своем блоге.
Если у вас есть ошибка сервера, она будет выглядеть примерно так:
Рис. 16. Как выглядит ошибка сервера?
Вот что Google пишет об ошибке сервера:
Рис. 17. Что такое «ошибка сервера» с точки зрения Google?
На странице Google есть еще больше информации об ошибках сервера.
Обычно эти ошибки означают, что ваш сайт слишком долго загружается. Ваш сервер может быть перегружен или даже временно отключен.
Чтобы помочь диагностировать эти ошибки, Google рекомендует использовать функцию «Получить» в поисковой консоли.
Рис. 18. Как использовать функцию «Получить»?
Чтобы попасть туда, зайдите на боковую панель в поисковой консоли и нажмите кнопку «Сканировать», а затем «Получить в Google».
Рис. 19. Кнопка «Получить в Google»
Попробуйте загрузить свою домашнюю страницу, оставив поле пустым и нажав кнопку «Получить». (Также можно попробовать кнопку «Получить и передать», чтобы охватить все.)
Рис. 20. Кнопка «Получить в Google»
Если после использования функции «Получить в Google» домашняя страница не будет содержать каких-либо ошибок, можно предположить, что Google без проблем получает доступ к вашему сайту. Это хороший знак – так можно устранить ошибку.
Если ошибки сохраняются или вы не можете получить сайт, нужно более подробно изучить ошибки сервера. Возможно, вам придется обсудить это с экспертом, но это того стоит, так как ошибки сервера могут быть смертельными для вашего сайта.
3. Очистите малоценные URL-адреса
В своем сообщении, Google специально выделяет «малоценные URL-адреса». Они «могут негативно повлиять на сканирование и индексирование сайта».
Это имеет смысл. Компания Google заинтересована в качественном контенте – в лучшем из лучшего. Малоценные URL-адреса действуют как заполнитель пространства и по определению не являются качественными.
Страницы низкого качества могут включать следующее:
Рис. 21. Какие страницы являются страницами низкого качества?
Существует несколько простых правил, которым стоит следовать, чтобы избежать малоценных URL-адресов.
Во-первых, убедитесь, что все ваши страницы работают правильно.
Избегайте страниц 404 и используйте переадресацию только тогда, когда это действительно необходимо.
Во-вторых, избегайте дублирования контента.
Вероятно, вы уже знаете, что Google за это больно наказывает, но это также может негативно повлиять на бюджет сканирования.
Рис. 22. Как поисковая система определяет дублированный контент?
В-третьих, избегайте бесконечных пространств.
Это происходит тогда, когда на странице слишком много ссылок. Компания Google приводит пример календаря со ссылкой на «Следующий месяц». В таком случае Google бот может теоретически переходить по этим ссылкам бесконечно.
По словам Google, «сканирование этих URL-адресов использует ненужное пространство и может привести к тому, что Google бот не сможет полностью индексировать реальный контент на вашем сайте».
Видите, насколько это опасно? Это то, чего нужно избежать любой ценой.
Короче говоря, убедитесь, что все URL-адреса на вашем сайте полезны. Не прибегайте к черному SEO или другим сомнительным тактикам.
Увеличьте собственную популярность
Любой сайт хочет быть популярным. В этом суть стратегий SEO.
Но, как выясняется, популярность также важна для Google.
Просмотрите этот небольшой фрагмент от Google:
Рис. 23. Что Google пишет о популярности?
Хотя сначала это и не так очевидно, но хорошая контент-маркетинговая стратегия может увеличить ваш бюджет сканирования.
Вы же хотите, чтобы люди делились вашим контентом очень активно? Чем больше ссылок на ваш сайт, тем чаще Google будет вас сканировать.
Правильная стратегия обратных ссылок поможет сделать ваш сайт более популярным. И, конечно же, если вам удастся заставить пользователей делиться вашим контентом в социальных сетях, вам крупно повезло.
Компания Google признает ваш сайт авторитетным, и бюджет сканирования будет выше.
Но для того, чтобы стать популярным сайтом, сначала нужно чтобы…
Контент был «свежим»
Еще один способ увеличить ваш бюджет сканирования – это предоставить Google то, что он хочет: «свежий» контент.
Это очень тесно связано с популярностью. Чем более «свежим», всесторонним контентом вы делитесь, тем больше людей захотят его расшарить. Это увеличит бюджет сканирования.
Существует несколько способов обновления контента.
Первый способ – создание нового контента. Я знаю, что это очевидно, но я должен об этом написать, потому что это самый эффективный способ сохранить «свежесть» контента.
Рис. 24. Что такое «свежий» контент?
Но эта «свежесть» может уменьшаться с течением времени. Другими словами, вначале Google будет хорошо ранжировать сайт, но со временем показатели SEO снизятся.
Вот почему важно постоянно добавлять «свежий» контент и регулярно использовать его в своей контент-маркетинговой стратегии.
Второй способ – изменение существующего контента. Если Google заметит изменения в вашем контенте, он, скорее всего, повторно будет сканировать ваш сайт.
Если он обнаружит улучшения в вашем контенте, Google бот предоставит вам более высокий бюджет сканирования.
Третий способ – добавление новых страниц. Компания Google руководствуется убеждением, что популярные сайты растут. Добавление совершенно новых страниц является хорошим признаком роста.
Но нельзя добавлять новые страницы только ради добавления новых страниц. Для Google по‑прежнему, в первую очередь, играет роль качество.
Четвертый способ – получение ссылок со «свежих» сайтов. Вероятно, вы знаете, что обратные ссылки содержат ссылочный вес и приводят его на ваш сайт.
Рис. 25. Схема привлечения ссылочного веса
Если вы получаете ссылки с сайтов, которые считаются «свежими» с точки зрения Google, то ваш сайт тоже автоматически будет считаться «свежим».
Это должно быть частью вашей общей стратегии построения ссылок. Настраивайте таргетинг на другие сайты, которые постоянно обновляются, и это поможет вам увеличить бюджет сканирования.
Выводы
О бюджете сканирования не очень много говорят, но он лежит в основе SEO.
Он заставляет вас задуматься о том, что нового ваш сайт привносит в интернет.
Это очень честный показатель, даже немного жестокий. Нет простого пути для увеличения бюджета сканирования.
Нужно создавать потрясающий контент и всем об этом сообщать.
В конце концов, Google всегда думает о своих пользователях. А чего хотят пользователи Google? Они хотят получать самые лучшие и наиболее значимые результаты.
По мере роста, Google увеличивает и бюджет сканирования.
Он хочет, чтобы пользователи находили лучший контент, поэтому, если он видит, что сайты делают все правильно, то вознаграждает эти сайты.
С другой стороны, если ваш сайт не вносит свой значимый вклад в интернет, вам будет нелегко увеличить бюджет сканирования.
В конце концов, бюджет сканирования, в первую очередь, касается качества. Именно на этом вы должны сосредоточиться.
Используйте предложенные мной стратегии, чтобы увеличить свой бюджет сканирования. Но при этом никогда не забывайте о качестве контента.
Источник: neilpatel.com