В конце 2022-го начинал писать кросплатформенный KMP core в надежне быстренько сделать несколько приложений, когда LLM доведут до ума на мобилках локально. Тогда не хватило мотивации — и бросил. Но каждый год возвращаюсь посмотреть, насколько LLM работоспособен.

Как обстоят дела сегодня? Всё так же.

it’s not yet possible to do tool calling — and thus achieve agentic behavior — on mobile devices — c. blogpost

Ресерч ведется, но цифры пока не впечатляют: уменьшение размера модели на 68.66% при увеличении времени ответа. Кажется, что можно еще годик в эту сторону не смотреть.