💡 Проработав почти год над проектом в который встроен сервис с ИИ (промпты с запросами в API ChatGPT) я могу сделать кое какие выводы не как пользователь, а как разработчик использующий его в проекте.

1. Сразу с цифр - ~10% запросов возвращаются с API не в том формате, который мы запрашиваем, следовательно уходят в ошибочные запросы и пустые траты токенов (ну и денег соответственно). Деньги не великие и возможно когда ИИ начнет генерить ответы согласно промпту, то токены станут дороже, но сейчас 100% стабильности от ИИ не ждем. Кстати говоря у гигачата эта цифра вообще 50%, и дело там даже не в том, что формат не тот, а он вообще отвечает "я не хочу об этом говорить сейчас" 😄

2. При выборе поднять свою модель или взять доступ к платной модели имея небольшой проект или даже пэт проект выбирайте второе. Все эти бесплатные модели с хагин фейса и на 4-20 миллиардов параметров дают херовый результат, причем с каждым новым запросом все хуже и хуже и на английском/китайском языке. А поднять модель на большем количестве параметров придется тратить денег гораздо больше на GPU сервер, чем купить доступ к API ChatGPT 😎

3. ИИ, как бы он не становился умнее, пытаются очеловечить, если так можно сказать, чтобы он мог доступно объяснить тему или вести разговор с нами. Это работает как и для обычного пользователя, так и в версии для разработчиков, что как раз в разработке и мешает. В разработке ИИ должен быть лишних фраз отвечать четко на поставленный промпт, иначе в цепи сервисов появляется звено со своим поведением, которое нельзя предсказать на 100% 🤪

Продолжаю вести наблюдение 🫡