Как я был ментором на конкурсе ai стартапов

На проект я попал, когда основные этапы валидации командой уже были пройдены, и даже были совершены несколько тестовых проверочных продаж (revenue > 0), то есть даже была проведена бизнес-валидация продукта. Проект представлял собой личного ассистента по выбору одежды. Его суть сводилась к поиску одежды по референсам и предложению вариантов сочетаний.

Техническая часть свелась к использованию предобученных моделей (ViT – Visual Transformers, например, CLIP), которые позволяли учитывать как текстовые запросы пользователя, так и референсы в виде картинок для получения итогового эмбеддинга запроса. Такой эмбеддинг можно было использовать для поиска предметов одежды в базе, например, через FAISS. Сейчас можно было бы использовать более мощные модели (например, MiniCPM Llama3 и другие мультимодальные модели), но тогда мы были ограничены технологиями того времени. В любом случае, это классическая задача image retrieval with text feedback, и открытых решений на тот момент было мало – например, в 2022 году Amazon представил FashionVLP, также есть решение CoSMo.pytorch и метод Яндекс Поиска, основанный на хитрых эмбеддингах тут. Есть и статья на Хабре про metric learning.

Сложности начались, когда потребовалась база спарсенных предметов одежды онлайн-магазинов. Отдельный вопрос – как поддерживать ее в актуальном состоянии.

Тем не менее, рабочий прототип с телеграм-ботом ребята смогли собрать.

И что самое удивительное – это была команда школьников со своим продуктом и продактом. Жалко, что они не прошли в финал, где в жюри даже был Артемий Лебедев.