Google представили прототип ИИ-системы, проводящей полный цикл научной работы при этом гарантирует проверяемость результатов.

Авторы проекта говорят, что сегодняшние автономные ИИ-учёные уже пишут статьи, но часто:

- выдумывают несуществующие ссылки;
- описывают в тексте один метод, а в коде реализуют совсем другой;
- говорят о результатах экспериментов, которые нельзя воспроизвести по приложенному коду.

Решение от Google - Science One Framework, у которого принцип работы такой: каждое утверждение в статье должно быть привязано к конкретному источнику в реальной статье из базы, строчке лога эксперимента или фрагменту кода.

Сам фреймворк состоит из 3-х основных частей:

1. один читает литературу через Semantic Scholar API и берёт ссылки только оттуда, без обращения к памяти модели;

2. второй параллельно тестирует решения и фиксирует все результаты в неизменяемом логе;

3. третий Claim Verifier перед публикацией сверяет каждое утверждение с доказательной базой и переформулирует то, что за её рамки выходит.

В качестве аудита Google предложили отдельный протокол CoE Audit - 4 автоматические проверки любой статьи, сгенерированной ИИ.