Заметим, что наши бенчмарки построены на ЗАКРЫТЫХ датасетах. Возможно именно поэтому на них не воспроизводятся некоторые топовые результаты других бенчмарков 😉

Вообще, открытые датасеты сильно упрощают поддержание бенчмарка. Ибо в худшем случае авторы метода сами на нем гоняют алгоритм и присылают автору бенчмарка только результат. Увы, как следствие - очень многие результаты не воспроизводятся (суровая реальность). Мы поддерживаем закрытые датасеты, что позволяет смотреть, кто и как на самом деле работает (очень ценно для понимания, что творится в области). Кстати, именно за код paperswithcode очень любят компании и топовые ресечеры.

Как-то так! )