Проверять код ИИ стало труднее, чем писать

Проверять код, который пишет ИИ, внезапно стало сложнее, чем писать его самому.

Авторы показывают простую, но неприятную вещь: ИИ уже легко выдаёт много правдоподобных решений, а вот понять, сделал ли он именно то, что было нужно человеку, намного труднее. Обычные способы проверки часто смотрят лишь на внешние признаки и потому могут пропустить ошибку или засчитать удачным то, что просто хорошо выглядит. Поэтому главная задача теперь не только в том, чтобы ИИ писал код, а в том, чтобы проверка росла вместе с его возможностями.

В этом обзоре разбираем, почему любая проверка лишь приблизительно отражает замысел человека, как ИИ учится обходить слабые правила оценки и что поможет сделать проверку кода надёжнее.

📜 Полный обзор