Билл Гейтс в своем подкасте Unconfuse Me with Bill Gates поговорил с AI рисечером Yejin Choi (транскрипт 8 страниц, аудио 30 мин) про LLM, она глубока:
- Yejin: Мы одинаково не понимаем как работают и нейронки, и мозг. LLM при этом удивляют как круто делают некоторые тесты, но при этом совершают глупые ошибки в других
- Yejin: Восприятие нейронок делится на два полюса: сетки дают ответы, а если нет - значит просто не освоили prompt engineering, и второй полюс - этто фокус на failures и уверять что ничего не работает. В целом у людей bias на первый полюс
- Билл: Увеличим сетки в 10-20 раз - что будет? Yejin: No idea. Какие-то capabilities вырастут, но и ошибки могут тоже
- Билл: Почему LLM сосут даже в простой математике? Yejin: Не знаю. Часть ученых считает, что надо растить scale, но я считаю что нужны другие, более эффективные пути
- Yejin: Нейронки могут держать оч большой контекст, а люди нет, зато amazing capability of abstracting away instantaneously. LLM полагаются на паттерны, это противоположный полюс от abstraction
- Билл: А мне препода по математике сделают? Я думаю за 2-3 года индивидуальных tutors научатся делать. Yejin: Да - сетки “видели” кучу материала онлайн. А вот в drug discovery сложно - там уже надо порождать с нуля
- Yejin: Open source gpt4 было бы круто, но в академии же нет достаточно compute, чтобы этим воспользоваться
- Yejin: Вообще, новое крутое направление исследования было бы если бы нейронка “понимала” предпосылки и ее можно было бы unlearn
- Билл: Эволюция мног что попробовала и нащупала в итоге, и нейронки похожи - e.g. природа ошибок в computer vision. А так конечно великая загадка как мозг мыслит еще ждет своего открытия
- Yejin: Безопасность важна, но я думаю чем больше людей ею занимается, тем выше шансы что разберемся
- Билл: Я думал что сперва сделают супер-изощренных роботов синих воротничков, но мы сперва сделали переписыватель Pledge of Allegiance в стиле Дональда Трампа. Yejin: Да, это называется Moravec’s paradox - что перцептивные задачи сложнее для AI тк абстрактное мышление/generative AI у людей недавно (сотни тыс лет) + мы способны ценить красоту полотен даже не умея их рисовать, а вот моторные функции прошли супер долгий эволюционный отбор, и это видимо ни хрена не простая задача
- Yejin: На пути к AGI у нас будет разрыв между важностью решаемых задач (e.g. AI врач) и надежностью ответов от AI. Билл: Мы наивны в том что и как решится, e.g. я думал что переводчики будут разбивать “это существительное, это глагол”, а по факту в Google запилили нейронки - и это было mind-blowing как круто сработало
- Yejin: Создание надежного AI может оказаться гораздо более messy, чем мы думали раньше
- Yejin: Вся отрасль (и компании, и академия) сейчас зациклилась на масштабировании нейронок, соответственно, все прочие подходы на паузе - а я считаю, что вдолгую это просос, нет поиска альтернативных, более compute efficient путей. E.g. Люди не учатся рандомно читая инеты, а проходят учебник или tutorial
- Билл: Я считаю не то, что AI нам будет опасен, а наоборот - может быть он позволит людям лучше понять себя, и может быть даже развернуть сегодняшний тренд на поляризацию, на конфликты, улучшит взаимопонимание?

Upd: см скриншот в комменте в тему )