🤖 ➕ 🧮 🟰🚀

11-13 апреля в Стенфорде прошел 2023 Annual Affiliates Meeting с разными интересными лекциями. В первый день было про новые направления исследований, во второй - про Generative AI и Foundational models, в третий - безопасность (не только про AI). Смотреть можно здесь.

Посмотрел keynote про LLMки. Очень попсово, но вот одна из мыслей.

Пара существенных проблем LLMок (не исчерпывающий список) - выдумывание фактов и рассуждений, которые выглядят очень правдоподобно. Это может быть особенно опасно в каких-нибудь медицинских консультациях от ИИ (а заменить дорогостоящего врача очень хочется, и спрос на них большой).

И встает вопрос: можно ли вложить ещё больше ресурсов в текущие подходы и получить более надежные модели? Ответ да означает
- больше модели
- больше контекст
- дольше обучать
- добавлять новые модальности (картинки, звук, видео, …)
- больше RLHF
- retrieval-augmented модели
- улучшение методов промптинга (CoT, иерархичный, и т.д.)

Но кажется, что из нейронной сети в принципе никогда не получится надежный калькулятор. Поэтому ставка делается на нейросимвольный подход: скрестить LLM и модули калькулятора, конвертера валют, похода в базу данных, …. Статья с описанием подобной модульной архитектуры: тык. Плагины в OpenAI, кстати, как раз про это 😱

Подписывайтесь: https://t.me/building_singularity. Здесь больше интересных постов про AI 👍