💡Датасет для обнаружения проблем в коде
SWE-bench - датасет, который был разработан для того, чтобы предоставить разнообразный набор проблем кодовой базы, которые можно было бы проверить с помощью юнит-тестов в репозитории. Полный тестовый сплит SWE-bench включает в себя 2 294 пары issue-commit в 12 репозиториях python.
Таким образом, датасет предлагает новую задачу: решение проблем при наличии полного репозитория и проблемы на GitHub.
Для загрузки датасет с помощью Python-скрипта можно возпользоваться следующей командой:
from datasets import load_dataset
dataset = load_dataset("princeton-nlp/SWE-bench")