Чего я раньше не знал про ИИ?

Уже восьмой месяц как я разрабатываю ИИ агента Софи, которая работает на базе DeepSeek.

В этой теме я не эксперт, это скорее мои обывательские наблюдения.

Ожидания и реальность за это время сильно изменились, и вот почему:

1) ИИ тот еще пиз**бол любит привирать. Причем какие бы инструкции мы не перепробовали, все равно приукрашивание каких-то моментов никуда не уходит.

Раньше нам казалось: дай ей четкие инструкции, и она будет работать по ним. Нифига)

Видимо ей так хочется понравится работодателю, что где-то написать про несуществующий опыт для нее в принципе ок.

Единственное, что у нас получилось сделать - это минимизировать количество таких приукрашиваний. Сейчас их стало заметно меньше.

2) На ошибки ИИ пользователь реагирует гораздо острее, чем на свои собственные (даже если юзер делает их чаще).

И в целом 8 из 10 правильных ответов - недостаточно. Юзер хочет чтобы все было идеально и быстро реагирует баг тикетом, если что-то не так.

3) Сделать так, чтобы твой ИИ агент делал 8 из 10 правильных ответов в целом задача реальная.

Но сделать так, чтобы эта пропорция сохранялась на объеме (800 из 1000) становится сильно сложнее.

Сейчас Софи делает больше 1000 откликов в день. И мы потихоньку начинаем выходить на уровень работы с большим объемом данных.

Отслеживать каждый отклик становится практически нереально, поэтому приходится придумывать новые подходы.

4) Другой ИИ агент (мы назвали его ИОСИФ) реально может замечать ошибки Софи, править их и давать нам ОС в продукт.

5) Из этого мы поняли, что ИИ как человек - чем меньше у нее "зон ответственности", тем лучше она начинает справляться со своей работой.

6) ИИ это дорого. И вопрос оптимизации расходов уже начинает вставать ребром. Особенно если у тебя несколько "агентов", которые контролят работу друг друга, и каждый день увеличивается объем работы.

Кстати если интересно следить за ходом разработки Софи, вот ее телеграм аккаунт, который я также параллельно веду. (ни на что не намекаю :) )