Baidu выкатили ERNIE 5.1 Preview

Модель уже доступна и сразу залетела на 13-е место в мире в Text Arena от Arena. Среди китайских лабораторий - первое место.

По отдельным направлениям результат ещё интереснее: Math - 9-е место, Legal & Government - 1-е место, Business, Management & Financial Ops - 4-е место, Software & IT Services - 7-е место.

ERNIE 5.1 Preview построена на базе ERNIE 5.0, но Baidu ужала общее число параметров примерно до одной трети, а активируемые параметры - примерно до половины от прошлой версии.

При этом заявленный pre-training cost - всего около 6% от стоимости сопоставимых моделей. То есть Baidu пытается играть не только в «кто больше», а в «кто дешевле, компактнее и всё ещё достаточно силён».

Попробовать можно здесь: https://ernie.baidu.com