Авторы Chatbot Arena выпустили бесплатное расширение для VS Code, которое даёт возможность тестировать LLM модели для программирования.

Copilot Arena предлагает на выбор несколько вариантов автодополнений от разных моделей. Кажется отдельная арена в виде плагина может поднять на новый уровень процесс оценки моделей для кода, особенно учитывая, что автодополнения не особенно охвачены бенчмарками, рейтингами и исследованиями. В режиме арены, с постоянно новыми пользовательскими данными нет конкретного набора задач (бенчмарка), на которых можно было бы переобучить (overfitting) модель ради попадания в топ рейтинга без реально хорошего результата, а значит результаты будут относительно точными.

PS: Не забывайте, что ваш код будет отправляться хостерам моделей на арене. Для опенсорсных проектов или личных экспериментов это вполне ок, но если вы создаете что-то коммерческое, наверняка вы подписывали договор, что никому не будете показывать ваш код.