Команда сервісу Яндекс.Зображення повідомила про доповнення алгоритму «Сибір» технологією, заснованої на глибоких нейронних мережах. Завдяки цьому в Яндекс.Зображення тепер можна шукати не тільки копії певного зображення, але і схожі на нього картинки.
Такий пошук стане в нагоді для вирішення завдання пошуку неточних копій завантаженого зображення, а схожих не його зображень, які демонструють варіації зображеного об'єкта. Якщо в інтернеті є копії завантаженої картинки, то вони навіть видаються у відповідь на запит, а нова можливість розширює і доповнює відповідь пошуку врізкою зі схожими зображеннями.
Так, по фотографії кросівок, завантаженої в Яндекс.Зображення, можна знайти зображення цих кросівок в різних ракурсах, і інші моделі, схожі на них:
Комп'ютер «бачить» зображення зовсім інакше, ніж людина, тому серед знайдених картинок можуть виявитися і не зовсім схожі. По суті, алгоритм пошуку по картинках схожий на алгоритм пошуку текстів - по кожній картинці виділяються «візуальні слова», вони розподіляються по словниках, а потім зіставляються з візуальними словами з інших картинок. Тому в пошуку схожих картинок поки ще зустрічається багато фейлов.
У перспективі пошук по картинці стане точніше і буде давати розгорнуту відповідь на запит користувача, зможе розпізнавати і описувати те, що зображено на завантаженій картинці. Алгоритм буде шукати не тільки дублікати картинок, але і фейковий акаунти, фейковий оголошення. Ведеться робота над пошуком товару по картинці - пошук скаже користувачеві, як називається цей товар, і в якому магазині можна його придбати. Про це повідомив менеджер Яндекса Майк Томшінскій в своїй доповіді на конференції IBC Russia.
Нагадаємо, Яндекс запустив функцію візуального пошуку по картинках у вересні 2013 року. Функціонал базується на технології комп'ютерного зору, створеної розробниками Яндекса, яка називається «Сибір» (від англ. CBIR - Content-based image retrieval, тобто пошук зображення за змістом).
<
