«Корольов»: дія алгоритму на практичних прикладах

Що таке «Корольов»?

22 серпня 2017 року Яндекс офіційно заявив про запуск нового пошукового алгоритму «Корольов» (названий на честь міста, як і більшість попередніх пошукових алгоритмів). У його основі лежить механізм розпізнавання складних запитів, який працює за принципом самонавчальної нейронної мережі. Це означає, що Яндекс має визначати відповідні за змістом документи, навіть якщо вони не містять слів із запиту.

Чим він відрізняється від «Палеха»?

Ще в листопаді 2016 року Яндекс запустив попередника «Корольова» – пошуковий алгоритм «Палех». Основна відмінність нового алгоритму, крім поліпшення технічної реалізації, – можливість розпізнавати схожі «смисли» у всьому документі, а не лише у заголовку (Title), який з’являється у вікні браузеру.

Для чого запровадили алгоритм «Корольов»?

В Яндексі давно замислювалися над проблемою визначення релевантних документів за великим пулом низькочастотних запитів, які задаються не зовсім природною мовою. Це великий список запитів типу:
– [на якій картині плавиться годинник]
– [де придумали одеколон]
– [у якому фільмі письменник божеволіє готелі]

Основна проблема – відповідні документи могли не містити слів із запиту. Щоб її вирішити і показувати більш відповідну видачу, було задумано створення алгоритму «Корольов» – самонавчальної нейронної мережі. Як запевняють у самому Яндексі, нейронна мережа на основі машинного навчання буде вдосконалюватися у розумінні «смислів», які має на увазі людина під час введення запитів.

Як працює цей алгоритм на практиці?

Описаний Яндексом підхід звучить, звичайно, добре, але набагато цікавіше подивитися на конкретні результати у видачі.

Для початку візьмемо запит, який сам Яндекс рекламував:
[картина де небо закручується]

В об’єктних відповідях справа Яндекс правильно визначив, що ми мали на увазі своїм запитом. Він також вказав правильні відповіді у Яндекс.Зображеннях. Інша видача складається з новин про новий алгоритм. Стає очевидним: у даній ситуації Яндекс користується традиційними методами визначення релевантності для видачі алгоритм «Корольов» не працює.

 

Спробуємо по-іншому та задамо наступний запит:
[де з’явився перший парламент]

У даному випадку можна побачити цікаву видачу. В об’єктних відповідях з’явилося значення «Англія». У самій же видачі є різні сайти, які містять слова із запиту.

Алгоритм в об’єктних відповідях працює, якщо ми хочемо знати:
– де з’явилося слово «парламент»;
– де з’явився перший представницький і законодавчий орган, який називається «парламент».

Алгоритм не працює:
– якщо ми хочемо знати, де з’явився взагалі перший законодавчий орган.

Прийнято вважати, що перший парламент з’явився в Ісландії, але називався він не «парламент», а «альтинг». У видачі (на скріншоті вище) можна побачити і правильну відповідь на наш запит. Він з’явився тільки тому, що в заголовку статті є слова із запиту.

Важливо зрозуміти:
пошукова система може зрозуміти запит, тільки якщо кожне слово має один зрозумілий зміст.

Якщо слово має кілька смислів, як у нашому випадку «парламент», можуть виникати проблеми.

 

Проведемо ще один експеримент:
[пісня про теракт у Ворінгтоні]

Запит максимально конкретний і на нього може бути тільки одна конкретна відповідь – пісня «Zombie» групи The Cranberries.

Якщо трохи змінити запит і вказати [пісня про теракт у 1993 році], можна побачити, що пошуковик видачу розділяє: частина відповідей про пісню, частина – про теракт. Яндекс не зовсім розуміє, про що саме ми хочемо отримати інформацію.

 

Якщо зробити запит ще більш загальним, то правильної відповіді не буде зовсім:
[пісня про теракт в англії]

Видача повністю складається з новин про теракт, а про заявлений сенсі мова не йде.

 

Тепер наберемо запит:
[фільм в якому письменник божеволіє в готелі]

У цьому випадку можна побачити, що алгоритм працює. Яндекс розуміє, що ми хочемо знайти і, при цьому, вказує, що у даного запиту є два сенси (два ІНТЕНТИ): фільм «Сяйво» та фільм «1408». Тут також важливо, що слова з запиту не зустрічаються на сторінках. У цьому випадку алгоритм працює.

 

Тепер спробуємо набрати запит:
[фільм в якому траволта танцює]

Варіанти з найбільш популярними фільмами є в об’єктних відповідях, але не у видачі.

 

Відповіді стають більш конкретними, якщо модифікувати запит:
[фільм в якому траволта танцює молодий]

Правильний варіант можна побачити тільки у вигляді об’єктної відповіді та сторінки Вікіпедії. Інша видача далека від потрібного результату.

 

Ще раз змінимо запит і наберемо:
[фільм в якому траволта танцює у барі]

Як ми бачимо, алгоритм дає збій. Це відбувається тому, що на даний запит вкрай складно дати однозначну відповідь. Наприклад, у фільмі «Кримінальне чтиво» танці відбуваються в ресторані, у фільмі «Лихоманка суботнього вечора» – у клубі. Але є фільм «Майкл», у якому Траволта якраз танцює у барі. Якщо кілька разів протестувати видачу з метою знайти необхідний фільм, почнуть з’являтися релевантні результати.

 

Які висновки можна з цього зробити?

• Алгоритм показує свою роботу у видачі тільки на сторінках великих інформаційних сайтів (типу Вікіпедія чи Кінопошук) і в об’єктних відповідях.
• Алгоритм розуміє тільки прості запити, які містять один сенс.
• Корольов» краще працює під час пошуку популярної інформації (наприклад, за запитом «фільм» він покаже найбільш популярний, найбільш відомий – той, про який інформації в індексі найбільше).
• Алгоритм працює тільки з інформаційними запитами.
• Алгоритм дійсно самонавчальний і під час повторних звернень результати стають кращими.

Для SEO алгоритм зараз дає мало. За більшістю запитів велике значення має текстовий фактор. Там, де працює новий алгоритм, Яндекс віддає перевагу більш відомим сайтам, наприклад, Вікіпедії. Невеликим проектам буде важко з ними конкурувати. Можливість високо ранжуватися за такими запитами з’явиться тільки коли у алгоритму буде більш повна база знань про бажання та вподобання користувачів. Але для цього вже зараз потрібно:
– створювати текстовий контент, який містить як можна більше слів, що визначають тематику сторінки;
– покращувати поведінкові фактори, щоб пошуковик точно знав, що сторінка буде корисною для користувача.

Еще по теме:

• Дайте книгу скарг, або Як працювати з негативними відгуками
• Вершки SEO за 2018 рік: кращі посібники та сервіси в одній статті
• Юзабіліті на дорозі. Цифрові технології на службі пішоходів