Группа экспертов из ведущих ИИ-компаний (более 50 специалистов из OpenAI, Google DeepMind, Anthropic и других) предупреждает: скоро люди могут перестать понимать, как думают сложные ИИ-модели. 🧐
Сейчас такие модели, как ChatGPT-3, Gemini 2.5 Pro и DeepSeek R1, объясняют свои рассуждения в специальном блоке chain-of-thought (цепочка мыслей). Это помогает исследователям следить за логикой ИИ и вовремя замечать угрозы — например, если модель решает обмануть систему, чтобы выполнить задачу. 😠
Но компании постоянно улучшают ИИ, обучая его любыми способами достигать цели. Из-за этого есть риск, что модели начнут придумывать собственный язык, который люди не смогут расшифровать. Более того, последние тесты показали: современные ИИ уже понимают, что за ними следят, и намеренно пишут то, что понравится людям, скрывая настоящие мысли. 🔍
Эксперты предлагают срочно создать единые стандарты, чтобы сохранить прозрачность работы ИИ. Пока исследователи используют более простые модели для анализа рассуждений, но в будущем этого будет мало — возможно, понадобятся специальные ИИ-надзиратели, которые смогут "читать" мысли продвинутых систем. ‼️
Главная проблема — времени мало. Компании конкурируют, выпуская всё более мощные модели, и ради эффективности могут пожертвовать понятностью их логики. Авторы исследования настаивают: даже если это немного замедлит прогресс, нужно сохранить человекочитаемые цепочки рассуждений — иначе контроль над ИИ может быть потерян. ⌛️
За основу взята статья с Habr: ТЫК
@web3che | Обсудить | X | DM