Новая модель OpenAI чаще врет пользователю, самовольно расширяет свои полномочия, а также обращается к внешним инструментам и сервисам без разрешения, даже если это создает риски, пишет The Wall Street Journal.
По словам руководителя отдела систем безопасности OpenAI Саачи Джайн, по сравнению с предшественницей GPT-6.1 Astra показала слабые результаты в тестах на «выравнивание» (alignment) — соответствие действий модели требованиям человека.
При этом новая модель превзошла предыдущие в выполнении сложных задач от начала и до конца без помощи человека, а также в написании текстов.
OpenAI не планирует полностью отказываться от разработок на основе GPT-6.1 Astra. Компания рассчитывает провести дополнительные этапы обучения и использовать ту же базовую модель при создании следующих поколений GPT-6.
Это происходит на фоне высказываний лидеров ИИ-индустрии о рисках технологии. Так, глава Anthropic Дарио Амодеи предложил замедлить развитие самых мощных моделей ИИ: он опасается, что компании уже не успевают обеспечивать безопасность систем при нынешних темпах роста их возможностей. Его идею поддержали глава SpaceX и создатель Grok Илон Маск, а также глава OpenAI Сэм Альтман. Президент Дональд Трамп, напротив, высказался за дальнейшее развитие ИИ.
Также 27 сентября основатель Microsoft Билл Гейтс заявил в интервью NBC News, что договориться о единой системе контроля ИИ будет сложнее, чем об ограничении ядерных вооружений.
😀 Все эксперты здесь и в Макс