ProgramBench — бенчмарк, который проверяет, могут ли агенты восстановить сурсы имея только скомпилированный бинарник, возможность его запускать ну и документацию.

Мощнейшее LLM AGI детище компании добра Fable (Mythos) отказалось выполнять все 200/200 задач!!