Компания Google использует технологию машинного обучения под названием RankBrain для ранжирования результатов поиска. Бил Славски делится секретами новинки. Оригинал взят с сайта gofishdigital.com: Investigating Google RankBrain and Query Term Substitutions
Чтобы помочь вам разобраться в результатах поиска, Google использует систему машинного обучения и искусственного интеллекта под названием RankBrain. Хотите знать, как это работает и как вписывается в общую систему ранжирования Google? Вот что мы знаем о RankBrain.
Представленная ниже информация получена их трех оригинальных источников. Она обновлялась с течением времени.
Вот эти источники:
Во-первых, это история Bloomberg о RankBrain. Во-вторых, дополнительная информация, которую Google предоставил непосредственно Search Engine Land. В-третьих, это наши собственные знания и предположения в тех местах, где отсутствуют ответы Google. Мы будем обозначать эти источники там, где это необходимо.
Что такое RankBrain?
Как сообщает Bloomberg и подтверждает сама компания Google, RankBrain – название системы машинного обучения и искусственного интеллекта Google, которая помогает обрабатывать результаты поиска.
Что такое машинное обучение?
Машинное обучение – это когда компьютер учит сам себя, как что-то сделать. Для этого ему не нужен человек или подробное программирование.
Что такое искусственный интеллект?
Настоящий искусственный интеллект, или ИИ, для краткости, – это когда компьютер становится таким же умным, как человеческое существо, по крайней мере, в смысле получения знаний. Источником знаний выступает обучение и умение опираться на то, что уже известно, возможность устанавливать новые связи.
Правда, пока ИИ существует только в научно-фантастических романах. На практике ИИ используется для обозначения компьютерных систем, которые разработаны, чтобы изучать что-либо и устанавливать связи.
Чем ИИ отличается от машинного обучения? С точки зрения RankBrain, кажется, они достаточно похожи. Вы могли слышать, как оба слова используются как синонимы. Фраза «машинное обучение» также используется для описания типа искусственного интеллекта и подхода к его использованию.
Итак, RankBrain – новый способ ранжирования результатов поиска Google?
Нет. RankBrain является частью общего поискового «алгоритма» Google, компьютерной программой, которая используется для сортировки миллиардов страниц, выбирая те, которые лучше всего соответствуют конкретным запросам.
Как называется поисковый алгоритм Google?
Рис. 1. Hummingbird
Он называется Hummingbird. В течение долгих лет, общий алгоритм не имел официального названия. Но в середине 2013 года Google переработал этот алгоритм и дал ему имя – Hummingbird.
Является ли RankBrain частью поискового алгоритма Hummingbird от Google?
С моей точки зрения, Hummingbird – это общий алгоритм поиска, такой же, как, например, двигатель в автомобиле. Сам двигатель может состоять из различных частей, таких как масляный фильтр, топливный насос, радиатор и так далее. Таким же образом, Hummingbird состоит из различных частей, причем RankBrain является одной из самых новых составляющих.
В частности, мы знаем, что RankBrain является частью общего алгоритма Hummingbird, поскольку статья Bloomberg ясно показывает, что RankBrain не обрабатывает все поисковые запросы – это делает общий алгоритм.
Hummingbird также содержит другие части с именами, известными в SEO-пространстве, например Panda, Penguin и Payday, которые предназначены для борьбы со спамом, Pigeon разработан для улучшения местных результатов, Top Heavy понижает в ранге страницы с большим количеством рекламы, Mobile Friendly вознаграждает страницы, адаптированные под мобильные устройства, а Pirate предназначен для борьбы с нарушением авторских прав.
Я думал, что алгоритм Google называется PageRank.
PageRank является частью общего алгоритма Hummingbird, который предназначен для вознаграждения страниц на основе ссылок с других страниц.
PageRank – особенная функция, потому что это первый алгоритм ранжирования, который получил имя от Google, когда поисковая система только появилась в 1998 году.
Как насчет «сигналов», которые Google использует для ранжирования?
Сигналы – это то, что помогает Google ранжировать веб-страницы. Например, система читает слова на веб-странице, поэтому слова являются сигналом. Если некоторые слова выделены жирным шрифтом, это может быть еще одним сигналом. Расчеты, используемые как часть PageRank, дают странице оценку PageRank, которая используется в качестве сигнала. Если страница отмечена как адаптированная под мобильные устройства, это еще один сигнал, который регистрируется.
Все эти сигналы обрабатываются различными частями алгоритма Hummingbird, чтобы решить, какие страницы Google должны появляться в ответ на различные поиски.
Сколько существует сигналов?
Компания Google говорит о наличии более 200 крупных сигналов ранжирования, которые оцениваются. Они, в свою очередь, состоят из не более 10 000 вариаций или подсигналов. Обычно компания говорит о «сотне» факторов, как указано в статье Bloomberg.
Если вы хотите получить более наглядное руководство по ранжированию сигналов, посмотрите на нашу Периодическую таблицу факторов успеха SEO:
Рис. 2. Таблица факторов успеха SEO
Нам кажется, это достаточно хорошее руководство по общим вещам, которые используются поисковыми системами типа Google для ранжирования веб-страниц.
Является ли RankBrain третьим, самым важным, сигналом?
Да, является. Появившись из ниоткуда, эта новая система стала тем, что Google называет третьим наиболее важным фактором ранжирования веб-страниц. Вот цитата из статьи Bloomberg:
«RankBrain является одним из «сотен» сигналов, которые составляют алгоритм, определяющий результаты на странице поиска Google и то, как они ранжируются», – говорит Коррадо. За несколько месяцев система развернулась и позволила RankBrain стать третьим наиболее важным сигналом ранжирования результатов поискового запроса».
А какой сигнал является первым и вторым по важности?
Компания Google так и не раскрыла эту информацию на момент написания статьи.
Мое личное предположение таково: ссылки все еще являются наиболее важным сигналом, и Google подсчитывает количество этих ссылок в виде голосов. Это также страшно устаревшая система, и я уже рассказывал об этом в статье «Поломавшаяся «урна для голосования», которую до сих пор используют Google и Bing».
Что касается второго, самого важного, сигнала, я предполагаю, что это «слова», где под словами подразумевается все, от слов на странице до слов, которые Google интерпретирует после их попадания в поле поиска (вне анализа RankBrain).
И я почти попал в яблочко. В марте 2016 года Google подтвердил, что первые два фактора – это контент и ссылки. Или ссылки и контент, потому что Google не сказал, что важнее. Для получения дополнительных сведений, ознакомьтесь со статьей на тему «Теперь мы знаем. 3 самых важных фактора ранжирования Google».
Что именно делает RankBrain?
Благодаря переписке с Google, я знаю, что RankBrain в основном используется как способ интерпретации поисковых запросов людей, когда страница, появившаяся в результате поиска, не содержит точных слов, которые были введены как запрос.
Разве у Google нет другого способа находить страницы, помимо точного запроса?
Да, Google может находить страницы, выходя за рамки точного запроса, и делает это уже в течение очень долгого времени. Например, много лет назад, если бы вы ввели слово «туфля» в качестве запроса, Google, возможно, не нашел бы страницы со словом «туфли», потому что с технической точки зрения – это два разных слова. Но алгоритм стемминга (выведение общего корня) позволил Google стать умнее и понять, что туфля и туфли – это одно и то же, так же, как слово «бегать» – это разновидность слова «бег».
Google стал умным настолько, что даже если вы вводите запрос «кроссовки», он может предложить вам «кеды». Он также прогрессирует в направлении концептуальности и отличает запрос типа Apple, понимая, что человек ищет именно компанию, а не просто яблоко.
А как же граф знаний?
Граф знаний, появившийся в 2012 году, сделал Google еще умнее, устанавливая связи между словами. Он научил Google искать по-настоящему эффективно – искать вещи, а не набор словосочетаний.
Теперь Google не просто ищет набор букв, например, страницы, которые соответствуют написанию слова «Обама». Google понимает, что человек ищет информацию об американском президенте Бараке Обаме, о конкретном человеке со своими привязками к другим людям, местам и вещам.
Граф знаний представляет собой базу данных с фактами о вещах и явлениях в мире со связями между ними. Именно поэтому, когда вы вводите запрос «когда родилась жена Обамы», вы получаете в ответ информацию о Мишель Обаме, не используя ее имя:
Рис. 3. Результат запроса «Когда родилась жена Обамы»
Как RankBrain помогает уточнять запросы?
Существующие методы алгоритма Google уже помогают уточнять запросы. Обычно они связаны с определенным человеком, который выполняет свою работу, либо создавая списки стемминга, либо списки синонимов, и работает над установлением связей между понятиями в базе данных. Конечно, часть работы автоматизирована. Но в основном – это человеческий труд.
Проблема заключается в том, что Google обрабатывает три миллиарда поисковых запросов в день. В 2007 году Google утверждал, что 20 процентов из 25 процентов этих запросов – это совершенно новые запросы. В 2013 показатель сократился до 15 процентов. Это же число указано в статье Bloomberg – Google подтвердил подлинность показателя. Но 15 процентов от трех миллиардов запросов – это до сих пор огромное количество новых запросов: 450 миллионов в день.
Среди них могут быть сложные запросы, запросы, состоящие из нескольких слов, «длиннохвостовые» запросы. RankBrain разработан, чтобы помочь лучше и более эффективно интерпретировать эти запросы. Все это происходит за кулисами, чтобы помочь вам найти лучшие страницы в результате поискового запроса.
Как сообщает Google, RankBrain может видеть связь между, казалось бы, не связанными сложными поисковыми запросами. Это позволяет ему лучше понимать будущие сложные поисковые запросы и то, связаны ли они с конкретными темами или нет. Самое главное, что сказал нам Google, – RankBrain может ассоциировать группы поиска с результатами, которые, как он считает, понравятся пользователям больше всего.
Google не предоставляет примеры групп поиска и не дает подробную информацию о том, как RankBrain догадывается, какие страницы – лучшие. Но последнее, вероятно, вызвано тем, что, если он может перевести неоднозначный запрос в нечто более конкретное, он может затем выдать лучший ответ.
А как насчет примера?
Компания Google не предоставила пример группы поиска, но статья Bloomberg содержит один пример поиска, где RankBrain якобы помогает. Вот:
Как называется потребитель на самом верху пищевой цепи?
Для непрофессионала, такого, как я, «потребитель» звучит как ссылка на кого-то, кто что-то покупает. Тем не менее это также научный термин, обозначающий кого-то, кто потребляет пищу. Существуют также уровни потребителей в пищевой цепи. А кто является потребителем на самом верху? Название – имя – это «хищник».
Результаты этого запроса в Google дают хорошие ответы, даже если сам запрос звучит довольно странно:
Рис. 4. Результаты запроса «Как называется потребитель на самом верху пищевой цепи»
Теперь рассмотрим, как выглядят аналогичные результаты поиска по запросу «верхний уровень пищевой цепи». Они показаны ниже:
Рис. 5. Результаты запроса «верхний уровень пищевой цепи»
Представьте себе, что RankBrain связывает этот оригинальный длинный и сложный запрос с этим более коротким, который, вероятно, более распространен. Он понимает, что они очень похожи. В результате компания Google может использовать все свои знания о более распространенном запросе, чтобы помочь улучшить результаты поиска по незаурядному запросу.
Позвольте мне подчеркнуть, что я не знаю точно, соединяет ли RankBrain эти два поисковых запроса. Я только знаю, что Google предоставил такой пример. Это просто иллюстрация того, как RankBrain может использоваться, чтобы установить связь между необычным поиском и более распространенным, чтобы улучшить опыт пользователя.
А может ли это делать Bing с помощью RankNet?
Еще в 2005 году Microsoft начал использовать свою собственную систему машинного обучения, которая называется RankNet. Она стала частью поисковой системы Bing. На самом деле, главный научный сотрудник и создатель RankNet недавно получил награду. Но на протяжении многих лет Microsoft практически не говорил о RankNet.
Скорее всего, ситуация вскоре изменится. Также интересно, что, когда я ввожу поисковый запрос из примера выше в Bing, система выдает хорошие результаты, в том числе те, которые выдает Google:
Рис. 6. Результаты запроса «Как называется потребитель на самом верху пищевой цепи» в поисковой системе Bing
Один запрос, конечно, не означает, что RankNet компании Bing столь же хорош, как RankBrain компании Google, или наоборот. К сожалению, действительно трудно придумать список, чтобы провести такое сравнение.
А еще парочку примеров?
Google действительно дал нам один свежий пример: «Сколько столовых ложек в чашке». Согласно Google – RankBrain выбирает разные результаты для Австралии и Соединенных Штатов для этого запроса, так как измерения в этих странах различны.
Я попытался проверить это с помощью функции поиска на Google.com и Google Australia. Сам я не вижу большой разницы. Даже без RankBrain результаты зачастую будут отличаться из-за «старомодных» средств, которые используются при отборе страниц известных австралийских сайтов при поиске через Google Australia.
Помогает ли RankBrain на самом деле?
Несмотря на два примера выше, которые не являются убедительным свидетельством величия RankBrain, я действительно считаю, что эта программа имеет такое большое влияние, как утверждает Google. Компания является довольно консервативной в вопросах, касающихся того, что входит в ее алгоритм ранжирования. Она все время проводит маленькие тесты. И вносит крупные изменения только тогда, когда убеждается в эффективности чего-либо.
Интеграция RankBrain, как третьего, наиболее важного, сигнала, является огромным изменением. Я не думаю, что Google начал бы использовать RankBrain, если бы на самом деле не верил, что он помогает.
Когда появился RankBrain?
Как сообщает Google, произошло постепенное развертывание RankBrain с начала 2015 года, и теперь он активно и глобально используется в течение уже нескольких месяцев.
На какие запросы было оказано влияние?
В октябре 2015 года Google сообщил Bloomberg, что «очень большая доля» тех 15 процентов запросов, которые являются новыми, обрабатываются RankBrain. 15 процентов или около того.
В июне 2016 года появилась новость, согласно которой RankBrain используется для каждого запроса, который обрабатывается Google. Ознакомьтесь со статьей по теме «Google использует RankBrain при каждом поиске и влияет на рейтинг «многих» из них».
Когда происходит обучение RankBrain?
Все обучение RankBrain происходит в режиме офлайн согласно Google. Он использует историю поиска и учится делать прогнозы, основываясь на них.
Такие прогнозы проверяются, и если они оказываются хорошими, то последняя версия RankBrain выходит в прямой эфир. Затем цикл обучения оффлайн повторяется.
Делает ли RankBrain что-то большее, чем уточнение запроса?
Как правило, то, как уточняется запрос, будь то через стемминг, синонимы или RankBrain, не считается фактором ранжирования или сигналом.
Сигналы, как правило, являются факторами, которые привязаны к контенту, например, к словам на странице, ссылкам, указывающим на страницу, независимо от того, находится страница на защищенном сервере, или нет. Они также могут быть привязаны к пользователю, например, когда поиск местный или локализирована история поиска.
Так что, когда Google говорит о RankBrain в качестве третьего, самого важного, сигнала, действительно ли они имеют в виду сигнал ранжирования?
Да. Компания Google подтвердила, что есть компонент RankBrain, который непосредственно участвует в ранжировании страницы.
Как именно? Есть ли какой-то тип «RankBrain-оценки», которая могла бы оценить качество? Может быть, но мне кажется, что RankBrain каким-то образом помогает Google лучше классифицировать страницы на основе их контента. Возможно, RankBrain помогает лучше суммировать то, о чем эта страница, и делает это качественней, чем уже существующие системы компании Google.
Или нет. Компания Google больше ничего не говорит – просто упоминает наличие компонента ранжирования.
Как узнать больше о RankBrain?
Google советует людям, которые хотят узнать больше о словах-векторах (слова и фразы, которые математически связаны), ознакомиться с постом в блоге, где речь идет о том, как система (которая не называется RankBrain в тексте статьи) усвоила концепцию столиц стран просто путем сканирования новостных статей:
Рис. 7. Результат связывания стран и их столиц
Есть целая научно-исследовательская работа на эту тему. Вы можете даже поиграть со своим собственным проектом машинного обучения с использованием инструмента Google word2vec. Кроме того, у Google есть целая область с работами по искусственному интеллекту и машинному обучению, как и у Microsoft.
Вы можете также ознакомиться со статьей «Как устроено машинное обучение, согласно Google».
ПРИМЕЧАНИЕ. Эта статья была отредактирована с момента первой публикации в октябре 2015 года. Включена самая актуальная информация.
Источник: gofishdigital.com