В ближайшие 2 года может возникнуть самый странный дефицит за всю историю человечества — закончатся тексты, созданные людьми. Это приведет к тому, что языковые модели (LLM) исчерпают данные для обучения, вызвав кризис масштабирования. К такому выводу пришли исследователи, изучающие влияние AI на наш мир.
Цифра дня
300 триллионов токенов — столько созданного человечеством текста на сегодня доступно для обучения AI-моделей.
0️⃣ «Засуха» без данных
2026–2032 гг. — этот период исследователи считают наиболее вероятным сроком для полного исчерпания текстовых данных для обучения LLM. Он может наступить и раньше, если модели будут сильно переобучены в условиях AI-гонки и масштабирования популярных LLM.
Три главных вывода исследователей
1️⃣ Именно текстовые данные станут узким местом в развитии более продвинутых LLM.
2️⃣ Синтетические данные от AI еще недостаточно изучены. Они полезны в узких областях, как математика и программирование. Есть мнение, что такие данные могут быть опасны, так как AI может делать ошибки при их создании.
3️⃣ Закрытые данные, такие как личные сообщения, вряд ли будут использоваться в больших масштабах из-за юридических проблем.
🔠 Выход из кризиса
Исследователи предлагают несколько решений для развития LLM:
➡️Синтетические данные.
➡️Обучение на других видах данных.
➡️Повышение эффективности данных.
💲 Кому я могу продать свои данные
Компании уже предлагают интернет-пользователям денежное вознаграждение за их персональные данные, которые можно использовать для обучения AI-моделей. Вот некоторые из них:
➡️ TIKI — за доступ к мобильным устройствам пользователей. Их интересует поведение людей в приложениях, заключивших партнерство с TIKI.
➡️ Caden — за доступ к личным кабинетам в Netflix и Amazon. Речь идет о заработке от $5 до $50 в месяц.
➡️ Invisible предлагает доступ к платным новостным статьям в обмен на демографические и поведенческие данные, включая информацию о прививках и политической принадлежности пользователей. Компания планирует обменивать эти данные на цифровые подписки стоимостью от $4 до $15 в месяц.
# # #
🔴 AI и точка — наш канал с быстрыми и короткими новостями из мира AI.
@hiaimedia