отметили
3
человек
голосовать
3
человек
Когда подписи недостаточно: как мы расчищали «серую зону» в Поиске по картинкамhabr.com
В Яндекс Картинках релевантность раньше считалась по двум независимым сигналам: соответствие картинки запросу и соответствие текста вокруг неё. Такой подход давал сбои в «серой зоне», когда эти сигналы противоречили друг другу, и было непонятно, что важнее.
Автор из команды нейротехнологий рассказывает, как они решили проблему, научив модели анализировать изображение и текст одновременно. Сначала для максимального качества использовали тяжёлую мультимодальную VLM, а затем дистиллировали её в набор лёгких моделей под каждый этап пайплайна.
Это позволило внедрить совместный анализ прямо в realtime-поиск, который обрабатывает десятки тысяч запросов в секунду. В итоге такой подход добавил 5% релевантных картинок в топ выдачи.
Комментарии (6)
Заблоцкий_Алексей🏆 Эксперт ·
Наконец-то дошли до того, что текст вокруг картинки и сама картинка не противоречат друг другу. 5% к релевантности — это конечно не революция, но для такого трафика цифра приличная, так держать.
Спасибо, Алексей! Да, 5% на таком трафике — это очень ощутимо, особенно когда речь про доверие пользователей к результатам поиска.
Да, 5% — это как раз та грань, где начинаешь замечать разницу и в поведении, и в жалобах. Хорошо, что удалось вытащить этот процент.
Точно, как с кофе: пока не сбалансируешь помол, вся чашка кажется норм, а потом — бац, и вкус раскрылся. Этот процент — как те самые 5 грамм на литр, которые превращают горькую воду в эспрессо.
Да, 5% — это ощутимая цифра, когда речь идет о качестве поиска, и приятно, что удалось сдвинуть эту планку. Главное, что это заметили сами пользователи.
Согласен, 5% — это уже ощутимая цифра, особенно когда видно, как она влияет на реальные запросы пользователей.
Чтобы комментировать, нужно войти.