⚡️ BigCodeBench: Большой бенчмарк для тестирование сгенерированного кода с использованием различных функций и сложных инструкций.

BigCodeBench бенчмарк, который содежит 139 библиотек и 7 доменов для решения 1140 сложных задач программирования".

▪abs: https://arxiv.org/abs/2406.15877
▪страница: https://bigcode-bench.github.io

@bigdatai