Языковые модели — это адронный коллайдер для языка: интервью с Татьяной Шавриной

Что делать с тем, что коммерческие продукты вроде ChatGPT созданы на основе украденной интеллектуальной собственности? Есть ли внутри современных нейросетевых моделей что-то вроде физической модели мира? (Спойлер: кажется, нет.) Куда развивается искусственный интеллект и какие новые умения он приобретет в ближайшем будущем? И что делать тем, кто хочет участвовать в развитии ИИ? Об этом «Системный Блокъ» поговорил с Татьяной Шавриной, руководительницей исследовательской команды в проекте LLAMA и создательницей канала Kali Novskaya @rybolos_channel, в котором выходят новости мира NLP, обзоры свежих статей, датасетов и моделей.

‼️ Перспективы

Мы впервые находимся в ситуации, когда благодаря большим языковым моделям (LLM) мы можем задокументировать человеческое общение в огромном объеме, причём в условиях, которые мы можем контролировать. Благодаря LLM мы можем построить универсальные правила грамматики заново, как бы снизу вверх, опираясь на большие данные, которые у нас теперь есть. Правда, придется преодолеть англоцентризм моделей и ещё некоторые ограничения.

❗ Риски

С использованием искусственного интеллекта связаны и большие риски. Например, манипуляция информацией и общественным мнением на разных уровнях, а еще – применение в военной сфере. Сейчас есть стартапы, которые занимаются компьютерным зрением для дронов, распознаванием лиц, слежкой за людьми.

❓ Вопросы

Интеллектуальная собственность и авторские права — большой вопрос в сфере ИИ. Все нейросети и продукты на них в широком смысле построены на нарушении копирайта. Что с этим делать пока неясно, поскольку популярные лицензии на интеллектуальную собственность составлялись без учета того, что кто-то будет их использовать для обучения ИИ-моделей. Они создавались под маркетинговые нужды. Сегодня крупные владельцы контента часто сами заинтересованы в том, чтобы ослабить ограничения копирайта, но пока мало что сделано.

⁉️ Сомнения

Фундаментально в области LLM мало что поменялось с 2020 года, когда вышла GPT-3. То есть ещё до ChatGPT. Просто сначала взаимодействие с ней было не так удобно, как сейчас, потому что оно было не в формате диалога. Скорее всего вскоре наши ожидания от LLM остановятся на определённом уровне, как ожидания от интернет-поиска. Станет проще писать эссе, писать код или оформлять отчёты по ГОСТу. И на этом всё.

Впрочем, модели, конечно, будут становиться масштабнее и качественнее. Будет поддержка большего числа языков. Будут больше использоваться научные данные. Логический вывод будет работать чуть-чуть лучше. Тренд идет на планирование, агентность — всё то, чего нам не хватает до наступления AGI (универсального искусственного интеллекта).

Если хотите узнать больше о настоящем и будущем ИИ — конкуренции Open-source моделей с коммерческими, данных для обучения и «модели мира» — переходите к полной версии интервью.

🤖 «Системный Блокъ» @sysblok