Языковая модель глуха, слепа и страдает амнезией — главный инсайд с доклада "Дизайн ИИ-сервисов" с нашей закрытой технического конференции от наших back-end разработчиков.

В своем выступлении ребята предложили взглянуть на нейросети под другим углом, разобраться, как умные ассистенты устроены изнутри.

Например, у нейросети нет памяти, состояния и понимания вашего проекта. Каким бы разумным ни казался чат-бот, под капотом это обычный HTTP-запрос: вы отправили текст — вам вернули текст. Завершился запрос — модель обо всем забыла.

Вся магия и настоящая инженерия кроются не в самой нейросети, а в сервисной прослойке вокруг нее. Именно код разработчика отвечает за то, как:
— собирать контекст и сшивать историю сообщений заново при каждом запросе;
— экономить бюджет на токенах за счет правильного кэширования; — подсовывать модели нужные инструкции, баг-трекеры и базы знаний;
— защищать систему от взломов через промпт-инъекции.

В следующих постах мы разберем основные практические фишки из доклада. Поговорим о том, как правильно строить память для ботов, и рассмотрим три уровня доверия к ИИ: от простой подсказки до полной автономии.

Ставьте 🔥 если тема интересна.