Жена спросила: а если у нас столько шарящих в ИИ людей - и звезды Kaggle, и победители межнара по ИИ, почему все еще нет своей конкурентной нейросети, а не китайского опенсорса с дообучением? (Про заслуги китайского Qwen в отечественном ИИ я жене уже рассказывал)

Я тяжело вздохнул и ответил, что этому слегка мешают три обстоятельства.

Во-первых, наш язык, в отличие от английского, не стал международным, а жить в России, не говоря по-русски, довольно затруднительно. Поэтому возможности привлекать лучших ученых и инженеров со всего мира у нас существенно ограничены. Сюда же добавляется довольно скромная демография: в Китае тоже не то чтобы очень удобно жить англоговорящим, но там пошли по пути, когда и своих кадров на многое хватает. Во-вторых, наша экономика пока что увы не входит в топ-3 экономик Мира, и на сопоставимые инвестиции в ИИ у нас просто не то чтобы есть деньги. Ну и в-третьих, конечно нельзя не вспомнить про отставание в микроэлектронике и отсутствие каких-то перспектив на свое железо для ИИ.

Конечно, остался вопрос, значит ли, что в России своих LLMок так и не появится. И тут конечно ответ не столь категоричный. Во-первых, очень может быть, что через несколько лет модели выйдут на плато по качеству, а вычислительные мощности какого-нибудь нового железа от Nvidia будут позволять делать pretrain до качества, слабо отличимого от топового на практике. Во-вторых, альтернативные подходы к архитектуре (SSM или какие-нибудь особо экзотические ветки развития attention) могут все же дать результат и удешевить процесс для всех. В-третьих, чтобы сократить отставание не нужно во всём прям быть первыми, а быть вторым или третьим существенно дешевле.

Так что если кратко - это дорого, сложно и пока никому не было настолько сильно нужно, но на горизонте нескольких лет ситуация может и поменяться.

А как бы ответили вы?