Хроники хайпа (XX)

Круги по воде от петиции (https://t.me/gonzo_ML/1448) всё ещё расходятся, а Маск тем временем собирает свой стартап-конкурента OpenAI под названием X.AI (https://www.ft.com/content/2a96995b-c799-4281-8b60-b235e84aefe4). Сам OpenAI планирует улучшения в GPT-4, но обучение GPT-5 пока не начинал (https://www.theverge.com/2023/4/14/23683084/openai-gpt-5-rumors-training-sam-altman).

Появляется всё больше моделей. Финансовая BloombergGPT, лайтовые LLaMA (https://t.me/gonzo_ML/1324), Alpaca (https://t.me/gonzo_ML/1407), Vicuna, Dolly 2.0 (https://t.me/gonzo_ML/1453).

Кажется, что переломной точкой в обществе стал ChatGPT, а появление GPT-4 только добавило к трендам и хайпу. Многие теперь ведут списки событий вокруг ИИ, типа такого “3 неделя от явления GPT-4 народу” (https://www.reddit.com/r/ChatGPT/comments/12diapw/gpt4_week_3_chatbots_are_yesterdays_news_ai/). Народ же создаёт курсы обучения пользованию ChatGPT-4 (модели, которая не существует) и продаёт торговых роботов криптой на ней (хайпы слились воедино, инфобизнес тут как тут). Когда уже GPT/ChatGPT станет нарицательным как ксерокс или гугл?

В это время LangChain (https://github.com/hwchase17/langchain), библиотека для склейки вызовов LLM и других тулов, которой всего полгода, поднимает раунд на $10M (https://blog.langchain.dev/announcing-our-10m-seed-round-led-by-benchmark/). Я пока не понял, для чего именно мне самому её использовать кроме как для сборки каких-то proof-of-concept. До продакшн энтерпрайз решений там, кажется, ещё далеко, но раунд должен помочь.

Другой интересный экспериментальный проект, Auto-GPT (https://github.com/Significant-Gravitas/Auto-GPT), предназначенный для добавления автономности к GPT, набрал за месяц звёзд на гитхабе больше, чем у PyTorch (https://github.com/pytorch/pytorch). Auto-GPT умеет искать в интернете, синтезировать голос, хранить состояние в векторной базе данных. Умеет также генерить и исполнять код (https://twitter.com/SigGravitas/status/1642181498278408193). Для чего-то полезного рабочего, кажется, использовать сложно, но эксперимент интересный, посмотрим, куда разовьётся. С кодом в принципе может быть и опасно, Моррис когда своего червя запускал тоже не думал, что он весь ARPANET наводнит.

Ещё один в чём-то похожий проект -- BabyAGI (https://github.com/yoheinakajima/babyagi), итеративно разбирающий задачи (и создающий новые) и выполняющий их через GPT.

Развивается ветка самоулучшения моделей. Сравнительно свежий Self-Refine (https://arxiv.org/abs/2303.17651) улучшает ответ модели через фидбек от самой модели. Это в целом похоже на RLAIF (https://t.me/gonzo_ML/1285). Наверное, стоит отдельного разбора.

Другая недавняя работа “Towards Healthy AI: Large Language Models Need Therapists Too” (https://arxiv.org/abs/2304.00416) вводит в дополнение к понятию критика, понятие психотерапевта, и предлагает фреймворк SafeguardGPT.

А ещё одна интересная работа, “Generative Agents: Interactive Simulacra of Human Behavior“ (https://arxiv.org/abs/2304.03442), заводит подобно игре Sims множество симулирующих людей агентов, каждый со своей памятью и историей, которые живут своей жизнью в своём сэндбоксе. Сколько нам ещё до 13-го этажа (https://www.imdb.com/title/tt0139809/)?