На этой неделе поймал себя на ошибке, за которую обычно ругаю чужие проекты.
В одном документе у меня написано 59,7%, в другом — 10 из 10. На первый взгляд кажется, что кто-то ошибся. На самом деле обе цифры правильные.
Просто они относятся к разным бенчмаркам, разным метрикам и отвечают на разные вопросы.
Когда работаешь с этим каждый день, нужный контекст живёт в голове. Ты автоматически помнишь, что здесь измеряли качество по ролевым сценариям, а там — семантическое соответствие. Кажется, что это очевидно.
Перестаёт быть очевидно ровно в тот момент, когда цифра оказывается в статье, презентации или посте.
Человек, который открывает только один документ, этой рамки уже не видит. Для него это просто две противоречащие друг другу цифры.
Самое смешное, что решение этой проблемы я сам уже несколько лет показываю на докладах.
В Source Map есть простая колонка:
«С чем спорит этот источник?»

Она заставляет явно фиксировать такие вещи.
Какие документы противоречат друг другу.
Какие метрики нельзя сравнивать напрямую.
Какие выводы верны только в рамках конкретного эксперимента.
На собственных материалах я эту колонку... не завёл.
Похоже, Source Map нужен не только аналитикам.
Иногда он нужен и автору Source Map. 😄