Врут все

При обсуждении работы нейросетей постоянно можно столкнуться с утверждением, мол нейросети врут, галлюцинируют и им полностью доверять нельзя.

Согласен, но можно ли полностью доверять людям и всегда ли они говорят правду? Вопрос сложный и очень интересный. Потому что если ИИ врет не со зла, а потому что так сделана модель, то человек может умышленно искажать картину происходящего.

И что будет если одно наложится на другое? А ничего хорошего и как раз такой случай произошел сегодня утром. В одной подопечной организации админ с помощником наглухо убили кластер PostgreSQL в достаточно простой, можно сказать – штатной ситуации.

Как это водится, тестовый контур собран из говна и палок. Нагрузили тестами, поняли, что это надолго. Ну и нажали Reset на корпусе, после чего контейнер с PostgreSQL подниматься отказался, точнее не сам контейнер, а СУБД в нем.

Кого позовем на помощь? Правильно – ИИ, а этом случае это был Google Gemini PRO, по халявному аккаунту.

И вместе с ИИ они кластер качественно развалили, полностью, под ноль. А когда поняли, что Бобик издох и реанимации не подлежит – то покаялись, кивая в сторону ИИ, мол это не мы, начальника, это тупой ИИ нам посоветовал.

Ну что тут сказать, бывает. Но что-то подсказало мне пойти и почитать тот самый чат. А там открылось очень много интересного. Та самая «тупая» ИИ достаточно долго пыталась выяснить, а что же произошло в момент ребута.

Она давала им правильные команды, чтобы получить содержимое логов на момент аварийной перезагрузки, но никто ничего делать не спешил и в очередной раз заверял ИИ, что мы ничего не трогали, оно само.

Ну само, так само. ИИ проанализировала доступные вводные и пришла абсолютно неправильному выводу. После чего все пошло по прямой и накатанной тропе к катастрофе.

Ладно, а куда смотрели админы? Тут все гораздо интереснее, они уже давно поняли, что нажать Reset под нагрузкой – была плохая идея, но продолжали стоять на позиции – оно само, мы ничего не трогали.

В целом – реакция понятная. Когда ты работаешь в большой конторе, то главное – не стать крайним. Но зачем врать нейросети, которой все равно кто ты, она не человек, она не осуждает, не стучит, не делает никаких выводов.

Но строго работает именно в том контексте, который предоставил ей пользователь. И если он ей намеренно врет, то пусть не удивляется полученному результату.

И когда я дожал парней, мол, а чего вы сетке то врали? Они ответили предсказуемо - мы должны были ей сказать, что мы дебилы?

Это как раз тот случай, когда пользователь воспринимает нейросеть как человека и боится раскрыть перед ней свои слабости. И поэтому начинает врать, а сеть на неверных данных дает неверные решения, что в совокупности приводит к катастрофе.

Поэтому с самого начала нужно понимать, что ИИ – это просто программа, и даже если она говорит с вами человеческим языком, то все равно она работает строго в рамках выданного вами контекста. Она не одобряет и не осуждает, ей просто не знакомы эти термины.

Но получив неверные вводные она выдаст вам неверный результат. С последствиями куда более серьезными, чем мифическое осуждение вашей непрофессиональности.

Я понимаю, в корпоративном мире все привыкли врать, недоговаривать, искажать факты, но хотя бы ИИ не врите. Ему все равно, что получил на вход – то направит на выход, а вам потом с этим жить.