🔥LAION-5B: открытый датасет для мульти-модального ML на 5+ миллиардов пар «текст-изображение»
31 мая 2022 года некоммерческая организация ИИ-исследователей представила крупнейший набор данных из 5,85 миллиардов пар изображение-текст, отфильтрованных с помощью CLIP. LAION-5B в 14 раз больше своего предшественника - LAION-400M, который ранее был самым большим в мире открытым набором данных изображение-текст.
2,3 миллиардов пар англоязычные, а вторая половина датасета содержит образцы из более чем 100 других языков. Еще в набор данных входят несколько индексов ближайших соседей, улучшенный веб-интерфейс для исследования и создания подмножеств, а также оценки обнаружения водяных знаков и NSFW. Датасет рекомендуется для исследовательских целей и специально не контролируется.
Весь 5-миллиардный набор данных разбит на 3 датасета, каждый из которых можно скачать отдельно . Все они имеют следующую структуру столбцов:
• URL-адрес изображения
• TEXT - субтитры, на английском для en, на других языках для multi и nolang
• WIDTH - ширина изображения
• HEIGHT - высота изображения
• LANGUAGE - язык образца, только для laion2B-multi, вычисляется с помощью cld3
• Similarity – подобие, косинус между текстом и изображением эмбеддинга ViT-B/32, clip для en, mclip для multi и nolang
• Pwatermark - вероятность изображения с водяным знаком, рассчитанная с помощью laion-детектора водяных знаков
• Punsafe - вероятность того, что изображение является небезопасным, вычисляется с помощью laion-детектора клипов.
pwatermark и punsafe доступны либо как отдельные коллекции, которые должны быть соединены join’ом с помощью хэша url+text.
Подробности и ссылки для загрузки: https://laion.ai/laion-5b-a-new-era-of-open-large-scale-multi-modal-datasets/