Яндекс навчився шукати без слів
Будь-який пошук в інтернеті починається з запиту, який користувач вводить в пошуковий рядок. Запити можуть бути різними, і справа навіть не в довжині чи формулюванні, а в самій формі. Зазвичай запит - це слово або кілька слів, але іноді простіше вирішити задачу без них. Скажімо, описувати словами, що намальовано на тій чи іншій картинці, буває важко. А тепер і не потрібно - Яндекс навчився шукати не тільки за допомогою слів, але і за допомогою картинок.
В будь-якому пошуковику досить просто знайти інформацію про Ніагарському водоспаді. Але що якщо у вас є тільки фотографія водоспаду, а Ніагарський він чи ні - хто його знає? За допомогою пошуку по картинці можна швидко це з'ясувати. Пошук по картинці взагалі дозволяє легко розширити кругозір і дізнатися, наприклад, що це за звір:
Можна знайти не тільки опис зображення, але і будь-яку іншу пов'язану з ним інформацію. Наприклад, по картинці товару можна знайти інтернет-магазин, в якому він продається, а по фотографії співачки - сайт, де її фотографій ціла колекція. Нарешті, можна просто пошукати таку ж картинку, але, наприклад, не обрізану або без підписів.
Нова можливість працює на технології комп'ютерного зору, створеної розробниками Яндекса. Вона називається «Сибір» (від англ. CBIR - Content-based image retrieval, тобто пошук зображень за змістом). Після того, як користувач завантажив картинку, пошукова машина перетворює її в набір візуальних слів. Візуальні слова - це зручні для пошуку чисельні подання ключових елементів картинки (межі об'єктів, контрастні області і так далі). Після цього пошукова машина вибирає серед відомих їй мільярдів картинок зображення, що містять такі ж візуальні слова, як на завантаженій картинці, відкидаючи всі інші. Це важливий етап, тому що для збільшення швидкості необхідно звузити область пошуку. Потім комп'ютер порівнює розташування ключових елементів на всіх зображеннях та вибудовує їх по близькості до завантаженої зображенні так, що зверху виявляються найбільш схожі. Все це займає менше хвилини.
Шукати схожі зображення серед мільярдів картинок в інтернеті дуже складно, у всьому світі це вміють робити лише кілька компаній. Наш пошук по картинці - це лише перший крок на досить важкому шляху. Зараз Яндекс шукає картинки, збігаються з завантаженої або мають ідентичні фрагменти, але поступово буде вчитися більшого. Наприклад, пошук вже показує здібності до узагальнення: іноді знаходиться не просто така ж картинка, а інше зображення, що містить такий об'єкт. Наприклад, пошук по зображенню Ермітажу, взятому з панорам на Яндекс.Картах, дає такий результат.