StarCoder — открытая языковая модель для кода

Обучена с уважением к открытым лицензиям, внутри 80+ языков программирования. Основой послужил набор данных The Stack, Github и данные со StackExchange платформы. Внутри 15.5 млрд. параметров. Тренировалась на 512 x Tesla A100 в течение 24 суток.
Статья со всеми описаниями.

⭐️ Ещё есть NER-модель для извлечения всяческих чувствительных данных.

⭐️ С автокомплитом можно поиграться здесь.

⭐️ Попросить сгенерить код, объяснить или попробовать решить задачу можно в чатике.

⭐️ Инструкция по файн-тюнингу тут и большая статья на архиве.

⭐️ Есть ещё плагин для VS Code (не забудьте отключить когда пойдете писать прод код ;)

Мы пощупали, работает довольно прилично. Несмотря на лицензионное соглашение, что нельзя для эксплойтов и т. п., она весьма себе их генерит.