План статьи:
- Поговорить о том, какие запросы бывают;
- Что нам нужно о них знать;
- Как устроен современный поиск;
- Вообще, что стоит делать и чему можно и стоит уделять время.
Содержание
Разнообразие поисковых запросов, контекстов, задач
На самом деле поисковых запросов очень много, они очень разные, и, что важно, большая доля запросов являются новыми – это какие-то оригинальные, уникальные запросы, которых раньше не было. Это запросы динамичные, это важный аспект.
Вторая важная вещь – одна и та же потребность пользователя может быть сформулирована разными способами. Это point к вариативности – запросов много, они разные, но потребности при этом тоже разные, и несколько запросов могут иметь и предполагать разные потребности. Одна потребность может реализовываться в разных запросах, и, наоборот, один запрос может характеризовать разные потребности. Так бывает.
Возможны разные контексты. Просто вспомните себя – как вы делаете поиск в разных ситуациях. Человек может быть за рулем, например. То, как он формулирует запрос и делает поиск, может зависеть от его месторасположения, от устройства, которое у него сейчас под рукой, от времени суток, даже от погоды и от чего угодно еще. Насколько наша жизнь динамична, настолько же и наши запросы динамичны.
Зачем нужно знание о запросах?
Настолько подробно необходимо об этом сказать потому, что запросы – это важная вещь, но про них надо знать не так много. Зачем вообще нужно знание о запросах? Только для одной задачи – для того, чтобы как можно лучше себе представить задачу пользователя, чтобы понять, что нужно пользователю и в чем его проблема. Вот это важно. А какие-то точечные наблюдения над отдельными запросами по большому счету лишены смысла. Это ничего не дает. Эта поисковая аналитика полезна, когда вы, глядя на запросы, понимаете, как люди формулируют свои проблемы, какие у них вообще проблемы, что они желают получить в ответ и т.д. Вот в этом смысле аналитика запросов очень полезна.
Статистика запросов
Откуда можно брать информацию о запросах? Первый инструмент всем хорошо известен – это статистика запросов:http://wordstat.yandex.ru. Там есть возможность получить данные по словам, по регионам и увидеть эти данные в динамике. Есть срезы Desktop, Mobile и планшета. Что важно? Хочется отметить, что там богатый язык запросов и, гибко варьируя эти операторы, можно получать ту информацию, которая вам нужна. А именно, можно фиксировать морфологию, ограничивать дополнительные слова, закрепить порядок слов, создавать какие-то комбинации слов, делать логическое «или» и т.д. Это действительно очень удобно. Проведя полчаса в Wordstat, реально можно понять, чего хотят люди и как они ищут в какой-то нише.
Запросы, по которым находят ваш сайт
Второй сервис, про который хочется сказать, – это раздел «Последние запросы» в Яндекс.Вебмастере. Что важно? Находится этот отчет в разделе «Поисковые запросы». Вы заходите в Яндекс.Вебмастере в раздел «Поисковые запросы» отчет «Последние запросы». Это те запросы, по которым ваш сайт показывался за последнюю неделю. Это все запросы, по которым был хотя бы один показ в ТОП-50. В чем польза этого раздела? Вы можете применить фильтр, например, по URL и таким образом ограничиться какой-то частью сайта и просто посмотреть, по каким запросам в принципе вас находят пользователи, что им может быть интересно и т.д. То есть вы можете понаблюдать за тем, как ваш сайт уже находит пользователя, даже если он не на первых позициях – все равно какие-то показы могут быть.
Рекомендованные запросы (ß)
По вопросу о выгрузке из этого раздела, из последних запросов, Можно отметить, что этот раздел перерабатывается, и новая версия «Рекомендованные запросы» эту выгрузку содержать будет, собственно, уже содержит. Пока этот раздел находится в закрытом бета-тестировании, но в сравнительно недалеком будущем, есть надежда, что будет возможность дать эту функциональность всем. И идея этого запроса – предложить какие-то полезные новые запросы, интересные владельцам сайтов.
Современный поиск
Важно понимать текущее состояние поиска. Когда мы говорим о поисковых запросах, конечно, нас не очень интересуют поисковые запросы как таковые. Конечно, все задумываются, как получить поисковый трафик по этим запросам. Поэтому очень важно понимать, в какой точке находится развитие поисковых технологий и что делать имеет смысл, а что нет.
Современный поиск – это огромные сложные технологии, тысячи факторов, машинное обучение, нейросети. Это очень круто и очень сложно. И те, кто следить за тем, что происходит, наверное, заметили, когда в прошлом году была анонсирована технология Палех – это алгоритм, который позволяет искать по смыслам, сравнивая запрос с заголовками документов, и эта технология позволяла находить страницы, даже когда в заголовках нет тех слов, которые есть в запросе.
По ссылке на эту презентацию можно посмотреть эти примеры, они на самом деле потрясающие. Это примерно выглядит так. Человек искал ломтерезку, а нашел слайсер. Человек искал штуку на двух колесах, а нашел сигвей, и т.д. Это на самом деле круто. Или, знаете, если кран открутить, на кончике крана, на носике, есть такая сеточка обычно. Она еще забиваться может, если вода грязная. Мало кто знает, что это аэратор. Но когда человек задает запрос: «сеточка для крана», то Палех вполне находит документы про аэратор и там нет этих слов про «сеточку для крана».
Важно отметить, что попытки наполнить страницу ключевыми словами, просто как-то их напихать туда – или автоматически, или при помощи так называемых SEO-текстов, когда за какие-то небольшие деньги люди пишут такие тексты, – создают лишь видимость, что эти тексты нужны людям, хотя на самом деле эти тексты, конечно, не нужны… Вы наверняка это прекрасно понимаете, но на всякий случай «каждому известно, что купить бетон оптом в Москве проще всего – позвонив нам по телефону». Вот это бессмысленно, это не работает. Также можно сказать об алгоритме Баден-Баден и соответствующем нарушении, которое сейчас показывается в Яндекс.Вебмастере. Поэтому эти реалии тоже существуют. И, что важно, эти тексты еще и не дают никакого профита для динамики трафика по сайтам, которые имели это нарушение, поэтому целесообразно отказаться от спамных текстов.
Видно, что трафик там вернулся на исходный уровень. Это означает простую вещь – что если бы этих текстов на этих страницах не было, то изменения в трафике… в общем, появление этих спамных текстов слабо связано с трафиком. Эти тексты есть или их нет – на трафик это толком не влияет. Просто это такая инерция отрасли. Лучше перестать этим заниматься, так как это порождает риски, но не дает никакого профита. Поэтому point здесь такой: современный поиск – это мощные и сильные технологии, которые умеют искать, даже когда в документе, например, нет слов запроса.
Новый алгоритм – Королев
Часто задают вопросы про этот алгоритм.
Во-первых, является ли Королев развитием Палеха? В каком-то смысле да, но Королев – это больше, чем нейросеть, которая ищет по смыслам, сопоставляя запрос и заголовок документа. Это еще и развитие поискового индекса с существенным изменением технологии хранения и т.д. Это комплекс работ, это большая система. Запуск основной части этой технологии действительно был 22-го числа. Некоторые ее части были запущены раньше, просто потому что системы такого масштаба редко запускаются в один день, так как там есть некоторая этапность и стадийность этого процесса. Но основной запуск действительно был 22-го числа.
В чем существенные изменения? Во-первых, всякого рода такие тонкие ранжирования, например, по смыслам, как делает Палех, это всегда затратная операция. Поэтому раньше всегда лимит был 150 документов на запрос, то есть лучшие кандидаты еще получали оценку Палеха. Теперь этих документов стало 200 тысяч на запрос. Это драматическое улучшение, сильно кардинальное, оно потребовало ряда очень красивых инженерных решений по предварительному расчету векторов и сохранению. Наверняка многим интересны подробности, которые можно почитать в статье на Хабре. Это правда круто и очень интересно. Надеюсь, вы получите удовольствие.
Дальше не только заголовки документа, но и текст страницы начал учитываться в расчете вот этой близости запроса и документа, и стали рассматриваться похожие запросы. Вилка здесь такая – если запросы очень похожи, и при этом заранее известен хороший ответ на один из запросов, то возможно этот ответ окажется хорошим и для второго запроса.
Важный аспект про суть обучения нейронной сети. Здесь много комментариев, из них можно сделать вывод, что не всегда понятно, что на самом деле происходит. Во-первых, нейронная сеть обучается на примерах, да, это так. Примеры эти можно добывать по-разному, например, прочив предыдущие статьи на Хабре про Палех, там это описано. Это красивое решение, из которого понятно, насколько сложно добыть и позитивные, и негативные примеры.
Важный аспект – «Что считать хорошими примерами?». Далеко не всегда это клики. Клики – это просто переходы, это сигнал, который трудно интерпретировать адекватно, и есть ситуации, когда вообще наличие клика – это плохо. Например, если дается фактовый ответ прямо на Серпе и показывается какая-то информацию, но люди все равно идут и кликают, то это означает, что ответ был дан плохой и люди не удовлетворены. Значит, не надопытаться это как-то примитивизировать и упрощать, этот подбор хороших и плохих примеров для нейронной сети, это сложная задача, и там все намного сложнее, чем просто какие-то клики. Поэтому не нужно иллюзий, накрутить это не получится.
И второй аспект заключается в том, что оценки позволяют обучаться, что важно. Ничего не прибито гвоздями и когда говорят: «Вы привели пример, сайт был в ТОП-1, а сегодня в ТОП-2», то, естественно, это нормально, в этом суть машинного обучения – это постоянная динамичность и автоматический поиск хорошего решения. Вот в чем идея. Поэтому неудивительно, что позиции могут меняться, это нормально.
Реальная поисковая оптимизация
В чем состоит реальная поисковая оптимизация, учитывая все сказанное до этого? Она состоит из двух вещей: IT и маркетинг. IT-часть состоит в том, что сайт должен быть доступен поисковым роботам и контент должен быть доступен, и желательно, чтобы было меньше дублей, чтобы сайт быстро отвечал, был мобилопригоден, правильные http-статусы были у страниц и т.д. Это комплекс работ, который любому веб-мастеру более-менее понятен. Это достаточно понятный набор действий по улучшению.
Вторая часть – это маркетинг. Не надо забывать о том, что онлайн, как и офлайн, очень конкурентен. Задача поиска – давать как можно больше трафика лучшим сайтам. Именно эта задача и решается. В офлайне есть конкуренция, это всем очевидно. В онлайне она точно такая же, а может быть, даже и более жесткая. Сайтам приходится конкурировать, а нам нужно искать лучшие ответы. Эта конкуренция заключается в представлении сайтов, в навигации, в качестве сниппетов, в ценности контента, в возможности выбора цены, доставки и т.д. Вы это прекрасно понимаете.
Привеленные примеры больше коммерческие, но на самом деле на информационных сайтах все то же самое примерно происходит. Именно в этом заключается поисковая оптимизация, настоящая, которая дает клиентам стратегический успех и стратегически выверенный профит.
Данные о поисковых запросах в Вебмастере и примеры решаемых задач
Какие данные о поисковых запросах есть в Вебмастере, и какие задачи это позволяет решать? Недавно проводилось глубокое анкетирование владельцев сайтов и обнаружили, что многие из них по-прежнему наблюдают за позициями по запросам и считают это какой-то метрикой успешности. Кажется, что пришло время уже смотреть на другие метрики: на трафик, а может быть, на качественный трафик, а может быть на лиды или даже продажи. Но поскольку такой спрос по-прежнему есть, хочу сказать, что в Вебмастере есть инструменты, которые позволяют эти задачи решить.
Как узнать, на каких позициях сайт?
Заходите в Яндекс.Вебмастер, в «Поисковые запросы» и в отчет «История запросов». Выбрав там вкладку «Популярные запросы», вы увидите список запросов и сможете посмотреть динамику позиций, а также динамику показов или динамику CTR. Это в ваших силах. Тут речь будет идти о 3 тысячах запросов, самых популярных, и кажется, что этот объем вполне значительный и он достаточен для того, чтобы составить какое-то представление о тех запросах, по которым пользователи находят ваш сайт, и сделать какие-то выводы.
Есть выгрузки в xls и csv:
Важно, что внизу таблички, если долистать до конца, есть ссылка на выгрузку в xls или csv. Вы получите такого рода табличку, которая представлена сейчас на экране:
И дальше вы можете делать с ней все, что захотите, как вам будет угодно. Часто спрашивают, что означают эти красные или зеленые числа в таблице с популярными запросами. Здесь все просто: это dif, то есть отличие от этого числа в предыдущий такой же период. Если в этой колонке данные за месяц и указано, какой месяц, то это число означает отличие от предыдущего такого же месяца. Оно красное, если оно ухудшилось, и зеленое, если оно улучшилось. Простая логика. И вы можете совершенно смело варьировать интервалы и смотреть статистику посуточно, понедельно, помесячно, как угодно.
Как позиция может быть дробной?!
Внимательные зрители наверняка заметили, что позиция здесь дробная и кажется, что это какой-то баг. Как позиция может быть 7.5? Это странно… Данные, которые вы видите, взяты из поисковых логов. Это результат того, что на самом деле видели пользователи. Конечно, позиция, на которой пользователи видели ваш сайт или ваш документ может отличаться. И это связано с региональностью, с персонализацией, с экспериментами и кучей разных других причин. Получается, что в течение суток это минимальный квант времени в терминах Вебмастера, ваш сайт по одному и тому же запросу мог иметь показы на разных позициях, это нормально. Поэтому мы делаем такое усреднение, взвешивая по показам. Что такое взвешивание по показам? Здесь я привел простой пример. Если у вас было 10 показов по 5-й позиции, 4 на 7-й, то следующая будет посчитана таким образом:
Это попытка честно посчитать какую-то усредненную взвешенную видимость. Поэтому не удивляйтесь, что позиция дробная. Это совершенно нормально, это признак качества.
Глубина до 50-й позиции включительно и только то, что видели пользователи. Если так получилось, что по какому-то запросу вы на первом месте, но этот запрос никому не нужен, никто его не задает, вы его не увидите в этой статистике. Это довольно важно, потому что, к сожалению, иногда оптимизаторы могут продвигать сайт по тем запросам, которых нет, не существует, вернее, они существуют только в воображении оптимизатора и навязаны заказчику. На самом деле этих запросов не задают реальные пользователи, поэтому никакого смысла иметь хорошие позиции по этим запросам нет. Поэтому это важно, что в нашем отчете вы видите только позиции по тем запросам, по которым на самом деле были заказы.
Общая динамика трафика
Тот KPI, та метрика, которая наверняка в первую очередь интересна заказчикам, это общая динамика трафика. Ее легко получить в разделе «История запросов». Вы выбираете «Группы», показатель «Клики» и «Все запросы». И таким образом видите динамику кликов по вашему сайту – переходов из поиска Яндекса. Это хороший показатель, но он, к сожалению, не учитывает сезонность. Здесь важно понимать, что если просто смотреть на динамику трафика и именно эту величину оценивать, то в конце декабря весь ecommerce, все оптимизаторы, которые занимаются поисковой оптимизацией ecommerce-проектов, должны получить большую премию, потому что трафик в декабре традиционно растет. Но мы понимаем, что это следствие роста спроса, а не какие-то другие факторы. Поэтому в начале презентации и приведена ссылка на word.stat, чтобы вы могли самостоятельно посмотреть, какая динамика спроса на интересующий вас сегмент спроса… чтобы просто понять, какая на самом деле здесь динамика. И у ваших товаров может быть очень разная динамика, помесячно, в зависимости от типа товара. Вы понимаете, что лыжи нужны в один период, а детские велосипеды в совсем другой момент времени.
Задача: сравнить динамику трафика на разные типы страниц или категории сайта.
Может быть такая задача. Вы затеваете редизайн части сайта и хотите лучше отвечать на запросы пользователей о товарах. Предположим, что мы говорим об интернет-магазине, на котором размещены страницы двух типов, приблизительно это карточки товаров и категории. И хочется понять это изменение, которое вы делаете в карточках товаров, приведет ли оно к какому-то изменению поискового трафика и какие будет иметь следствия?
Все здорово, можно смотреть на трафик. Но здесь возникает вопрос: «Что делать с этой самой сезонкой, о которой мы только что поговорили?!». За время этих изменений может меняться и спрос людей, и непонятно, как отделить одно от другого. Решить задачу можно следующим образом. Вы можете просто сопоставить динамику трафика для этих двух, например, групп страниц. У вас есть карточки товаров, и вы там что-то меняете, делаете редизайн, и у вас есть категории, листинги, где вы не делаете изменений. Так вот, эти листинги могут выполнить такую функцию, они могут быть для вас такой точкой отсчета в каком-то смысле. И если окажется, что карточки стали обыгрывать списки товаров, листинги, то это означает, что действительно какое-то изменение случилось.
Группировки:
Для этого нам нужно учиться как-то классифицировать запросы, объединять в какие-то… группы. В Вебмастере есть возможность группировки либо вручную, просто по списку запросов, либо по фильтрам. Фильтр позволяет очень гибко собрать запросы, и этот фильтр может включать в себя признаки и запросов, и URL. Видите, на этом примере в группу попадут запросы, для которых было хотя бы 5 показов:
Средняя позиция была больше 11, но меньше 30, и при этом текст запроса содержал слово «купить», а URL содержал /product/. Как видите, это очень гибкая конструкция.
Таким образом вы можете собрать в группы интересующие вас части сайта и наблюдать за динамикой этих групп. Это удобно. Причем, что важно, в группы, собранные таким образом, попадают абсолютно все запросы. Я сказал уже о том, что в статистику популярных запросов попадают топовые 3 тысячи запросов по популярности, но вообще запросов, по которым показывается сайт, может быть гораздо больше. В эту статистику попадет весь так называемый «длинный хвост». И если под эту маску попадает 25 тысяч запросов, то нет проблем, они все будут посчитаны, и вы интегральную эту оценку получите. Да, вы не узнаете детали по каждому запросу, но про всю группу вы узнаете интегральную метрику, и это будут и показы, и клики, и CTR, и все остальное. Кажется, что это очень гибкий инструмент.
Задача: найти запросы с низким CTR
Другая задача – иногда нужно найти запросы с низким CTR. Какой в этом смысл? Сначала скажу, что такое CTR. CTR – это отношение кликов к показам. Если окажется, что на сниппет мало кликают, то это может просто говорить о том, что сниппет получился малопривлекательным. В него могли попасть какие-то технические моменты, например, сайт был какое-то время недоступен, и в заголовок могли пролезть какие-то условно-технические сообщения о недоступности базы данных или еще что-то в этом роде, или этот заголовок (который сделал владелец сайта или веб-мастер) в принципе неудачный. Можно попытаться найти запросы, для которых CTR низкий. И тогда можно скорректировать заголовок или описание и техническую информацию можно закрыть тегом Noindex.
Хорошая история. Как это можно сделать. Сначала нужно попытаться получить CTR запросов. Для этого мы идем в «Поисковые запросы», в «Историю запросов» и там выбираем «Показатели CTR». Выбираем «Популярные запросы» и «Показатели CTR». Таким образом мы получаем табличку и опять ее выгружаем в Excel. Соответственно, получаем примерно такого вида таблицу:
Казалось бы, вот и все, можно выбрать запросы с низким CTR. Но здесь возникает проблема, потому что CTR зависит от позиции и известно, что чем более высокую позицию занимает сайт, тем чаще по нему кликают. Это общее правило – пользователь взглядом идет сверху вниз и если не нашел ответ на свой вопрос раньше, то он кликает. Чем ниже, тем меньше шансов получить этот клик. Значит, нам бы неплохо сравнить CTR запросов с CTR других запросов на этой же позиции. Как это можно сделать?
Получаем средний CTR сайта по позициям:
Можно сделать вот так например:
У нас есть такая метрика CTR на второй, третьей позициях, например, и на четвертой, десятой. И вы можете просто получить эти данные прямо в Вебмастере.
Но можно, точнее, если хочется:
1-й шаг: сгруппировать запросы по позициям
Вы можете сгруппировать запросы таким образом, чтобы положить в одну группу все запросы, которые, например, на седьмом месте или на шестом, или на пятом:
2-й шаг: получить средний CTR этих групп
После того как вы создали такие группы, вы можете просто увидеть CTR этих групп:
И дальше остается только одно действие – вы сравниваете CTR по запросу, его позицию и сравниваете с CTR других запросов на этих же позициях. Таким образом, ваша задача решена. Вы можете найти для себя какие-то интересные аспекты, которые вы можете исправить.
Срезы по регионам?
Сразу следует сказать, это важно, что иногда нужны срезы по регионам. Хочется узнать позиции в разных регионах или клики, или показы. Для этого есть инструмент, и можно выбрать интересующий вас регион и опуститься, дальше по дереву пройти и совершенно детально выбрать тот регион, который вам нужен.
Срезы по устройствам?
И есть срезы по устройствам – все Desktop или Mobile. Пожалуйста, пользуйтесь этим.
Поисковые запросы в Вебмастере:
Резюмируя:
- поисковые запросы в Вебмастере – это позиции, клики, показы и другие метрики, CTR в том числе, по 3 000 поисковых запросов для каждого сайта, это уже есть;
- можно добавить до 1 000 своих запросов;
- можно создать до 100 групп по гибкому набору признаков.
Это уже работает каждый день, точно и ежедневно. Поэтому нужно пользоваться этим инструментом, который несет пользу.
Рекомендации:
- Анализируя запросы, пытайтесь найти способ наилучшим образом решить задачу пользователя. Это основная задача, которую стоит решать в аналитике поисковых запросов. Других существенных задач здесь не видно. Самое основное – это понять, какие задачи есть у пользователя, какими страницами сайта эти задачи могут решаться. И надо пытаться решить эти задачи. Не подгонять каждое слово страницы под какие-то запросы – это заведомо утопия. Это не работает, запросы все время меняются, уследить за этим невозможно, все это очень динамично, и поиск достаточно технологически развит для того, чтобы находить даже те страницы, в которых нет слов запроса. Поэтому нет смысла на это тратить время. Цель здесь – задачи пользователя. Это единственный стратегически верный способ поисковой оптимизации.
- Избегайте сомнительных методов. Вокруг поисковых запросов традиционно очень много разного рода мифов, догм и т.д. В качестве короткого примера могу привести такие подходы, когда, например, пытаются измерять, сколько раз встретились какие-то ключевые слова в тех документах, которые уже есть на поисковой выдаче по поисковым запросам, и стараются делать так же. Это пустое занятие бессмысленно. Во-первых, вы можете легко понять и самостоятельно увидеть, что на Серпе могут встретиться документы с очень разным количеством ключевых слов – где-то густо, где-то пусто, где-то вообще нет. Брать просто и усреднять – это очень странный подход. Это все равно что можно вообще все что угодно взять и усреднить, но это не имеет никакого смысла.
И второе – в этом нет причинно-следственной связи. Из того, что такие документы нашлись и они есть на поиске, совсем не следует, что они нашлись благодаря этим словам и их присутствию в этих документах. Поэтому ужно просто не тратить на это время, а заниматься стратегически важными задачами и вправду стараться системно улучшать сайт. Тот факт, что конкуренция в онлайне серьезная и сайтам приходится между собой конкурировать – это лучшее подтверждение этому. Конкурировать приходится, и вы это прекрасно понимаете. Поэтому необходимо избавляться от суррогатов и больше заниматься целевым содержательным действием.
И традиционно, как в аналитике бывает, группировать и сравнивать в динамике. Всегда ищите какую-то точку опоры, сравнивайте сравнимое и старайтесь делать такие наблюдения примерно, о которых было рассказано. Кажется, что это должно быть полезно.