Логика развития поисковых технологий и методов поискового продвижения

Темы:

1. Логика развития поисковых технологий и методов поискового продвижения.
2. Длинный путь от каталогов сайтов до современного поиска.
3. Факторы, мономы, машинное обучение. Поисковый спам.
4. Существует ли «магическая таблетка»? Наивные заблуждения и неприятные следствия.

Часто бывает, что люди делают какие-то вещи по инерции, например, деды так делали и прадеды и почему бы и нам так не делать. Это довольно понятная модель поведения, которая сразу страхует от каких-то собственных решений, своего рода страховка от своих собственных решений, от ошибок при принятии собственных решений.

Потому что, если вы делаете всё так же примерно, как все делают, тогда какой с вас спрос. Вроде бы с вас и спросить то нечего. Мне кажется, что наиболее честная здесь позиция – пытаться объективно смотреть на собственную работу и на возможности, которые есть и пытаться увидеть какие-то новые горизонты, которые вы почему-то не видели раньше и которые могут открыться вам в следующий момент.

Наша задача сегодня, как я понимаю, постараться дать вам максимум разных точек зрения, максимум углов зрения, почувствовать себя в чужих тапках, что называется, почувствовать себя на месте поиска, на месте пользователя и т.д. и дать вам тот ресурс, на котором вы сможете для себя много полезного сделать.

Первое, что хотел сказать, универсального рецепта не получится. Эти вопросы были и до лекции, и вообще их часто задают, что было бы универсально и хорошо для всех. Конечно же, есть базовые универсальные вещи в духе выполнить технические требования поиска: почистить дубликаты, подклеить зеркала, редиректы всякие проставить.

Это понятная техническая работа, и она универсальна. Своему сайту вы этим поможете, выполнив эту работу, но этого недостаточно. Соответственно какой-то полноценной универсальной большой истории, к сожалению, нет, потому что у всех вас разные сайты и разные возможности, горизонты, ресурсы и задачи.

Бывают очень разные ситуации. Бывают ситуации, когда в компании есть много людей, которые умеют создавать очень крутой и классный контент, и тогда вокруг этого контента, его генерации можно какую-то историю соорудить.

Бывают другие кейсы, когда компания вообще не умеет генерировать контент, но зато очень здорово умеет управлять какими-то сообществами или даже третий кейс, он мне ближе всего. И поэтому я больше про него и говорю, но это не означает, что мы не обсудим другие варианты. Например, e-commerce интернет магазина, где много товаров, товарных полок, категорий и т.д. Поэтому, к сожалению, универсального рецепта нет.

Хотелось бы начать лекцию с логики развития поисковых технологий и методов поискового продвижения.

Когда-то никакого поиска не было, и были сплошные каталоги, и даже их было мало, и интернет был маленький, но потом интернет стал больше, сайтов стало побольше, и появилась текстовая релевантность, куча алгоритмов, простых, понятных и удобных. Но появились разные спамные техники.

Оптимизаторы стали применять разные ключевые слова, метатеги разные писать, а также начали просто слишком много повторять одинаковых слов. Например, холодильник, т.е. начали спамить, белым по белому писать однопиксельными шрифтами и т.д. Потом поисковики придумали ссылки, что позволило выделить среди вроде бы подходящих ответов самые релевантные, самые авторитетные и ссылки отчасти помогли побороть проблему текстового спама, поскольку это альтернативный способ ранжирования.

Но тут же появился ответный ход со стороны оптимизаторов – это спамные техники, обмен ссылками, всякие кольца. Как только ни менялись этими ссылками, прогон по каталогам, за 3 доллара можно было по 100 000 прогнать свой сайт.

Понятное дело, что это не очень хорошо, и за это вы, как минимум, никакой пользы не получите, но это было. Покупали жирные ссылки с так называемых морд – главных страниц сайтов. В итоге появились биржи и агрегаторы, которые позволяли в одну кнопку купить любое кол-во ссылок на любое кол-во страниц, совершенно не заботясь о том, какого они качества, зачем это нужно, будут ли пользователи ходить по этим ссылкам.

Это всё глубоко вторично. Первично здесь была продажа ссылок, причём крупным оптом. И вот здесь логичным образом появилось поведение пользователей. Поисковики поняли, что ссылки – это хорошо, а живые пользователи ещё лучше. Если мы поймём, что делают пользователи на странице, сколько они там проводят времени, возвращаются ли они потом и т.д., много разных метрик, то можно улучшить качество поиска.

И это было сделано всеми ведущими поисковыми машинами, что породило, к сожалению, следующий виток этой спамной истории – ­ появились разные спамеры, которые продают фальшивые клики, накрутку запросов и т.д., боты. На последнем этапе появилось коммерческое ранжирование, поиск пытается как-то по-другому отнестись к сайтам по коммерческим запросам, но об этом мы поговорим чуть позже.

Вот так выглядело развитие поисковых технологий и сопутствующей этому спамной техники. Все эти спамные техники, которые я перечислил, в общем побороты в данный момент поисковыми машинами. Простые способы спама не работают.

Есть ещё какие-то у некоторых людей попытки это оживить и сделать вид, что это ещё живое, но, с моей точки зрения, это уже всё не работает. Что же остаётся тогда?

Возможно ли «белое» SEO?

Возникает самый главный вопрос – Возможно ли по белому продвигаться? Можно ли что-то путное делать, получать органический трафик и при этом не конфликтовать с поисковыми машинами?

Здесь есть три большие шестерёнки, и они, по-моему, отражают реальность.

1. Технические требования поиска, которые должны быть, и их надо выполнить, и всё.

В последние несколько лет от поисковиков появились отличные мануалы по поисковой оптимизации. И Яндекс, и Гугл опубликовали официальное руководство для веб-мастеров по привлечению поискового трафика. Существуют техники допустимые, а есть недопустимые.

2. Структура под спрос.

Вам необходимо построить структуру сайта и сформировать нужные посадочные страницы и т.д., учитывая спрос, но не как-то абстрактно учитывать. В идеале это выглядит так: вы собрали большое кол-во запросов, поняли, что людям интересно, и в итоге у вас получилась некая структура сайта. Вы поняли, на какие запросы вы должны отвечать, какие страницы будут востребованы, как их слинковать между собой для удобства пользователя и т.д. Вы сделали свой сайт, учитывая потребности пользователей.

3. Внутренняя оптимизация и повышение счастья у пользователей.

Есть базовая внутренняя оптимизация: тайтлы, заголовки. Заголовок – это важный элемент контента, и туда следует писать что-то ценное и т.д.

Повышение счастья у пользователей – это большая история, которая не имеет никакого конца, она натурально бесконечная и очень обширная, и пользы здесь может принести много. Например, можно сделать хорошие тайтлы, создавать новые страницы входа, рекомендательные системы можно делать и за счёт них и слинковывать страницы сайта между собой.

Так же можно управлять ассортиментом, если мы говорим о e-commerce. И это хорошо, потому что, с точки зрения бизнеса, ваш сайт и ваш магазин живут не на какой-то вымышленной потребности, а на тех блендерах, которые прямо сейчас в этом регионе самые популярные и самые востребованные. Но про это мы поговорим чуть позже.

SEO – это же просто и быстро, да?

У некоторых заказчиков бытует странное убеждение, что seo – это какая-то простая и быстрая штука, причём с гарантиями, и проблем тут никаких нет. Сразу хочу сказать, что это не так. Если вы до конца не понимаете, нужна вам seo или нет, то, скорее всего, не нужна.

Но даже в случае если вы выступаете заказчиком, то вы обязаны разбираться в предмете. Конечно же, нам всем проще сделать всё под ключ, например, купил установку двери, и всё готово. С seo так не получается по одной простой причине – это очень сложная штука.

Мы только что говорили о спамных механиках, они довольно просты, одну кнопку нажал – и всё, но это не работает. Белые же механики достаточно сложные. Это настоящий researching development, это аналитическая сложная и большая работа, поиск каких-то инженерных решений. Поэтому хочется развенчать мифы о том, что будет быстро и просто.

Вы уже знаете, как устроены поисковики, что существуют документы, которые скроллятся поисковыми роботами, часть из них попадает в индекс, а часть нет.

Существуют факторы, по которым ранжируется формула обучения, формула ранжирования, обученная на оценках пользователей, которая как-то ранжирует эти документы. Причём есть как отдельные факторы, так и сочетание факторов, которые называются мономами. Всё это построено на оценках пользователей, которые регулярно обновляются.

При этом мы живём в условиях, когда все классификаторы динамичны. Что это означает? Что запрос, например, смартфон сегодня коммерческий, а завтра не коммерческий, и ранжируются они все по-разному, и здесь с этим мы ничего не можем сделать, потому что это находится в ведении поисковика.

И при этом наши конкуренты могут что-то делать, а поисковик может дополнять запрос синонимами или нет, делать какие-то разрисовки и прочее. Seo – это процесс привлечения поискового трафика в очень сложной и динамичной среде. Поэтому на советы пытаться представить его как нечто, что управляется в одну кнопку, я рискну вам порекомендовать не обращать внимания, не тратить время.

Нужно много метрик. Больше метрик!

Измерять seo очень трудно. Видно, что среда сложная и в ней сложно работать. Поэтому единственный способ понять, в какой точке мы находимся и успешны мы или нет, это смотреть сразу на несколько метрик.

Например, в апдейт 8 сентября 2014 года один популярный сайт в категории «Электроника» показал следующую динамику:

• +6 % запросов в ТОП-10 Яндекса
• +31 % запросов в ТОП-3 Яндекса

В ТОП-10 Яндекс он прирос на 6 %, а в ТОП-3 он прирос на 31 %. Понятное дело, что эти цифры говорят о совсем разных вещах. Сайт мог несильно просесть здесь, но сильно упасть там.

Все наши сайты очень неоднородны, и, соответственно, поэтому нужно смотреть на кучу метрик именно в срезах. Например, какие метрики можно было бы использовать:

• кол-во запросов в ТОПах;
• суммарный вордстат в ТОПах;
• потенциальный трафик;
• реальный трафик;
• заказы;
• оборот;
• маржа.

Чем ниже мы движемся по этой лесенке, тем сложнее выдерживать этот KPI. С точки зрения бизнеса, конечно, круто, когда сеошник говорит: «Ребята, я вам дам +200 000 маржи в месяц через полгода работы». Это здорово, но очень сложно выполнить по одной простой причине – этому оптимизатору будет сложно влиять на все составляющие успеха.

Потому что ему надо не просто целевой трафик привлечь, ему надо быть уверенным, что этот трафик сконвертировался, корзинка работает, оператор отвечает в колл-центре, логистика возит что-то время от времени и т.д., т.е. куча составляющих.

С точки зрения бизнеса, здорово завязаться на финальный KPI бизнесовый. С точки зрения оптимизатора, этот KPI выдержать трудно, и в любом случае, даже если KPI финальный, это бизнесовая штука, типа оборота или заказов, или трафика, это довольно популярный KPI. В любом случае оптимизатору нужно смотреть на много разных технических метрик, чтобы просто понимать, что происходит.

Однажды в апреле…

Вот ещё один пример.

В апреле 2014 года произошёл апдейт, и вот наши субдомены: «Одежда», «Электроника», «Компьютеры», «Спорт», «Детство», «Бытовая техника», «Видео», «Всё для дома», «Сад», «Авто» и «Инструменты».

Видно, что с субдоменами «Детство», «Бытовая техника», «Видео» практически ничего не произошло, соответственно четыре субдомена выросли, а четыре других просели. Это один апдейт в Яндексе и вот такое разнонаправленное движение.

У вас много запросов, много посадочных страниц, эти страницы имеют разные типы. У вас есть категорийная страница, какие-то листинговые, есть модельная страница с конкретным товаром и т.д. Динамика может быть абсолютно разнонаправленной в один и тот же момент времени.

В последние несколько месяцев, в связи с появлением многоруких бандитов, эти пертурбации могут быть ещё более сильными, поэтому единственный способ что-то понять – это смотреть несколько метрик и в срезах, т.е. не целиком по сайту, а именно в нескольких частях сайта.

Логика эксперимента

Мы уже договорились, что измерять трудно. Почему? Потому что всё очень динамично и история, к сожалению, не знает сослагательного наклонения. Вы не можете взять и повторить всё то же самое, но чуть-чуть по-другому в условиях той же среды, потому что среда уже другая, время прошло. Это подобно тому, как мы все не можем вернуться сейчас в прошлое на пару лет и что-то там поменять, так не бывает. В поиске тоже так не бывает. Поэтому получается, что эксперимент сложен в seo, но его делать нужно.

Попробуйте предсказать результаты эксперимента, в ходе которого с сайта были убраны описания моделей, не являющиеся уникальными.

Поисковики ведь любят уникальные описания, и это правда здорово, и мы попробовали взять и убрать не уникальное и посмотреть, что произойдёт. С большей частью вообще ничего не произошло, потому что нет изменений и всё. Какая-то часть незначительно просела, а какая-то слегка выросла. Этот результат для нас был немного неожиданным, и не факт, что у вас он будет ровно таким же. Поэтому я могу посоветовать только одно – просто экспериментировать.

Экспериментируем:

• На внешнем ресурсе (низкая переносимость)
• На своём сайте (~A/B; on/off/on/off…)

На внешнем ресурсе вы можете что-то попробовать на каком-то сайте для экспериментов и потом попробовать применить к себе, если понравилось, или проигнорировать, если не понравилось. Чем плохо? Тем, что переносимость низкая, то, что хорошо для того сайта, может быть никак или плохо для вашего.

Увы, машинное обучение и все эти истории с оценками, сложными формулами, деревьями и градиентными спусками – всё это означает, что вы не можете предсказать результативность тех или иных действий, за исключением очевидного. Ну, если у вас сайт закрыт от индексации через Robots.txt, и если вы его откроете, будет лучше. Это очевидно, а всё остальное – нет.

Можете пробовать экспериментировать на своём сайте и проводить своеобразные A/B‑тестирования и пробовать так поступить в одной части сайта и по-другому поступить в другой части сайта. Это не совсем A/B‑тест, потому что документы разные и т.д., но всё равно некую пользу для себя вы можете увидеть.

Так же вы можете просто применить какое-то действие, а потом его отменить и посмотреть, что вообще будет происходить. Потому что очень часто оптимизаторы говорят: «Я сделал там, и теперь вот здесь хорошо». Между этими вещами часто связи никакой нет и быть не может. Поэтому пробуйте экспериментировать хотя бы как-то, это может дать вам полезную информацию.

Источник (видео): Логика развития поисковых технологий и методов поискового продвижения – Михаил Сливинский