Во время отпуска наконец-то дошли руки прочитать SITUATIONAL AWARENESS - 165-страничный документ про AI, AGI и как всё катится в сторону манхэттенского проекта.

Написал его Leopold Aschenbrenner - 22-летний инженер уволенный из OpenAI. Он был частью Superalignment Team - команды, занимающейся Safety, которую разогнали в прошлом году (вместе с Суцкевером). Уволился он тогда со скандалом - парень громко говорил что всё небезопасно и вы делаете угрозу человечеству и вообще одумайтесь.

Документ хорошо и аргументированно написан, с примерами, доказательствами и ссылками. Отчасти поэтому разлетелся и вызвал мощный резонанс.

Основная идея: Trust the trendline

Если пытаться сжать весь документ до основных идей, то:
- Мы прирастаем примерно x10 каждый год по мощности AI-систем и это четкий тренд — вы сейчас здесь;
- Это обгонит людей очень быстро, его прогноз: AGI к 2027 (как он это определяет оставлю вам на самостоятельное исследование);
- Как только будет построен устойчивый агент-AI-ресерчер начнется положительная обратная связь автоулучшаемой системы и кривая ещё загнется вверх;
- Пойдут необратимые экономические изменения;
- Подключаются государства, манхеттанский проект из текущих лабораторий и так далее.

Про моих любимых агентов он там тоже много пишет. Один из следующих шагов - AI-сотрудники на remote которые лучше чем люди.

Чтиво классное, я очень советую хотя бы первые две главы. И документ во многом исторический, очень резонансный. Классно что его написал молодой 22-летний парень.