🚀 SoftMatcha 2 - инструмент от Sakana, который проверяет, не “подглядывала” ли модель ответы

Одна из главных проблем в обучении LLM - загрязнение бенчмарков.
Модель показывает отличные результаты… но иногда просто потому, что похожие задачи уже были в обучающих данных.

Проверить это сложно.
Обычный поиск по точным совпадениям не работает - формулировки могут отличаться, слова меняться, а смысл оставаться тем же.

SoftMatcha 2 новое решение от Sakana.

Что делает инструмент:

- Ищет совпадения в корпусах размером до триллионов токенов
- Работает менее чем за 0.3 секунды
- Находит не только точные копии, но и похожие по смыслу фрагменты
(замены слов, вставки, удаления)
- Помогает обнаружить утечки тестовых данных в обучении

Почему это важно:

Если модель уже видела похожие задачи:
- метрики становятся завышенными
- сравнение моделей теряет смысл
- “прорыв” может оказаться просто хорошей памятью

SoftMatcha 2 позволяет:
- проверять чистоту датасетов
- находить скрытые пересечения
- честно оценивать качество моделей

Как это работает:

- Быстрый поиск на основе suffix arrays
- Disk-aware архитектура - эффективная работа даже с огромными данными
- Интеллектуальное pruning, чтобы избежать перебора миллионов вариантов

Можно протестировать онлайн на корпусе 100B токенов или развернуть у себя для триллионных масштабов.

Demo: http://softmatcha-2.s3-website-ap-northeast-1.amazonaws.com
Paper: https://arxiv.org/abs/2602.10908
Code: https://github.com/softmatcha/softmatcha2

Сегодня важен не только размер модели.
Главный вопрос - учится ли она думать, или просто запомнила ответы.