Интересная биполярочка развилась в сфере.

Часть людей орёт, что компухтеры станут слабее, потому что вся нагрузка опять уйдёт в облака, в дата центры на эти ваши ЛЛМ.

Вторая часть осторожно говорит, что надо бы делать маленькие ЛЛМ, затачивать их под какие-то понятные и простые цели, ужимать до условных 300Мб памяти и запускать под потребности на мелких девайсах. А тяжёлые задачи, их да - на взрослые модели

Если кому интересно, рекомендую поставить на трубку Edge Gallery (на отвратительный Андроид точно можно). Там несколько компактных моделей для запуска на телефоне. Мультимодальных даже. Работают даже без тырнетов (не забудьте предварительно их скачать). Ради интереса можете запустить самую тяжёлую gemma 3n и кидать в неё фоточки разные и задавать вопросы по ним.

Так вот в этом приложении есть последний раздел. В нём предлагают открыть страничку в тырнете, выполнить простую инструкцию и получить дообученную под ваши потребности модельку. Будет понимать ваш голос и текст. И будет управлять некоторыми функциями на вашем телефоне без доступа к тырнету. И моделька эта вмещает всего лишь 270М параметров, что как раз меньше тех самых 300 мб

Даёшь каждому 100500 моделек в телефон! Иначе нахера нам в них много памяти и быстрые процессоры?