Опасность ИИ

Я последнее время все больше ковыряю Claude. И он конечно очень хорош. Это прям джун под рукой, который некоторые моменты пишет лучше меня. Но чисто технически. Я пробовал поставить абстрактную задачу, в режиме планирования. Результат ни о чем :) А если давать мелкие задачи, то всё классно.

Но подумал я с утра не об этом. Я много с кем обсуждал, что ИИ в современном мире это не интеллект. Там много абстрактных понятий возникает. Сознание и тому подобное. Но на самом деле базовый пример, и на эту тему была статья. LLM не умеют считать. Они арифметику воспринимают не как цифры, а как вот вопрос, как на него отвечали чаще всего - то и верно. Поэтому это просто всё еще продвинутые поисковики. А агенты грубо говоря поисковики рекурсивные, с возможностью декомпозиции задач. Но в дискуссиях на тему конца света из-за ИИ всегда возникал аргумент (у меня) мотивации.

Типа ИИ сам ничего не захочет, так как по сути сейчас это система уравнений, которая на вектор 1 на вход, дает вектор 2 на выходе. А что это картинка, текст или видео — это уже детали. И часто у ИИ в фильмах есть инстинкты и что-то вроде сознания. Скайнет там выжить пытался, альрон чет посмотрел и решил уничтожить человечество. А что если к сложным коллапсам просто будут приводить тупые и неточные запросы. В паре с непредсказуемостью решений.

То есть ИИ не попытается захватить мир. Он просто уничтожит его выполняя тупорылые задания. Где-то в глубинке США скажет условной Амазоновской колонке «привези мне Бразильский кофе». И в режиме планирования агент решит, что оптимальнее всего будет захватить Бразилию, так как в магазинах в радиусе 100км нет бразильского кофе. И тому подобные галлюцинации :)

В сознание и инстинкты у ИИ я не особо верю, так как зачем их добавлять, кроме как научного интереса. А в криво поставленные задачи и феноменальные решения от ИИ — вполне. Вот это по-людски :)

#мысли