Технология Яндекса «Спектр»

Когда пользователи Яндекса вводят запросы, примерно 20% запросов формулируются неоднозначно. Например, запрос «наполеон» - кто-то желает найти полководца, а кто-то - торт. Набирая запрос «суши», человек ищет и ресторан и рецепт блюда. Спектр возможных вариантов может быть довольно разнообразен, так же, как и перечень вероятных ответов. Соответственно, если пользователь не детализировал в поисковом запросе, что именно он ищет, то поисковику сложно это понять. Технология «Спектр» Яндекса учитывает различные толкования запросов и возможные цели пользователей, и показывает ответы различных категорий.

В основе технологии «Спектр» лежит статистика поисковых запросов. Система анализирует запросы пользователей Яндекса и отмечает в них повторяющиеся элементы. Каждый элемент относится к одной или нескольким категориям. К примеру, в запросе «инструкция для Колдрекса» название препарата «Колдрекс» — элемент, который относится к категории «лекарства». А элемент «Пушкин» относится к двум категориям — «города» и «поэты». «Спектр» формирует около 60 категорий, и их количество будет расти. Знание категорий помогает Яндексу различать различные смысловые значения в поисковых запросах.

Также, «Спектр» умеет учитывать различные потребности пользователей. У каждой категории есть список вероятных потребностей (намерений, с которыми люди ищут тот или иной объект). К примеру, когда пользователи ищут какой-либо товар, они, как правило, собираются купить его или получить дополнительную информацию о товаре (характеристики, отзывы и т.п.). Соответственно для категории «товары» потребности будут «купить», «отзывы» и «обзоры». У каждой категории может быть две-три или нескольких десятков потребностей.

С учетом полученных данных «Спектр» вычисляет процент пользователей, ищущих объект запроса для каждой из возможных целей. Далее эти данные учитываются при ранжировании сайтов в результатах поиска по многозначным запросам. А именно, «Спектр» определяет пропорции, в которых ответы на ту или иную тему будут представлены в результатах поиска. Сайты в выдаче упорядочиваются так, чтобы перечень ответов соответствовал вариантам вопросов. В итоге, Яндекс повышает вероятность того, что человек найдет то, что искал, если даже он прямо не указал это в своем запросе, а просто подумал.

Помимо анализа статистики запросов, «Спектр» использует данные из энциклопедий и различных справочников, в том числе - Википедии. Это помогает идентифицировать вновь появляющиеся объекты, узнавать какие значения не укладываются ни в одну из имеющихся категорий, и добавлять новые.

«Спектр» анализирует запросы автоматически, обрабатывая за раз более пяти миллиардов запросов. Обработка происходит на нескольких сотнях машин одновременно. Для сохранения актуальности данных, «Спектр» запускает этот процесс несколько раз в неделю.

Источник: Яндекс