CLIP: нейросеть, которая понимает текст и картинки

Мультимодальные модели могут обрабатывать несколько видов данных одновременно. Например, они «понимают» не только текст, но и изображения и аудио. Сегодня рассказываем о нейросети CLIP, которая представляет изображения и тексты как единый тип данных, и рассмотрим, как это может быть полезно. Это — первый из серии наших материалов о мультимодальных нейросетях.

Кратко: как работают эти нейросети?

CLIP (Contrastive Language–Image Pre-training) была разработана в 2021 году компанией OpenAI, создавшей GPT. Contrastive в названии обозначает метод обучения нейросетей Contrastive learning, при котором нейросеть учится сравнивать/противопоставлять объекты на основе их семантического соответствия.

CLIP представляет изображения и текст как единую модальность (один тип данных). Другими словами, эта нейросеть строит универсальные численные представления для текстов и изображений, которые затем можно использовать для сравнения семантической схожести картинки и описания. Поэтому она отлично подходит для поисковиков, онлайн-магазинов и рынках стоковых изображений.

А еще CLIP можно использовать в паре с языковыми и генеративными моделями, тем самым наделяя их мультимодальными способностями. Такие модели могут генерировать изображения по текстовым описаниям, создавать описания изображений, анализировать визуальное содержание и выполнять другие задачи.

Подробно о работе мультимодальных нейросетей – с примерами, терминами и картинками с собаками, мы рассказали в полной версии материала. Из нее же узнаете о третьем применении CLIP и о том, способна ли она распознать на картинке банан, если он будет пиксельным, черно-белым или разрезанным на кусочки.

🤖 «Системный Блокъ» @sysblok