Походный AI на вашем iPhone

Пользоваться AI от вендоров типа ChatGPT не всегда получается, да и не все хотят. Я писал об этом вот тут. Вкратце — забота о приватности и экономия на подписке.

Для этого есть локальный AI. На компьютере установить его проще простого — Ollama. Но иногда комп доставать не сподручно. А на телефоне Ollama нет. И когда ты уже готов смириться и написать привычному ChatGPT — обнаруживаешь, что нет сети ✋

Я вот столкнулся с этим в поездке дикарями кататься на коньках на озере Севан. Фотопруфы прилагаю ⛸

И вот тут меня выручило годное приложение для локальной установки LLM на iPhone!

Locally AI

Полностью бесплатная приложуха, которая по подобию Ollama в один клик загружает опенсорсные модели прямо на ваш смартфон!

В описании каждой модельки написано:
- что за модель
- что она умеет: текст/вижен/thinking mode
- сколько она весит
- какие модели подходят для какого телефона.

Потестил несколько моделей. Ну и могу сказать, что меньше Gemma 4B — все баловство. А вот Gemma 3n E4B — отвечает шикарно. На простых вопросах вполне сопоставимо с большими моделями!

- Сориентировала меня на каком льду можно кататься, а на каком не стоит.
- Помогла там, где беспомощен обычный гугл транслейт: мне оператор прислал транслитом сообщение на армянском. Gemma его легко перевела!
- А в ресторане помогла разобраться, что там за блюдо подают и какое у него БЖУ. И все это без сети!

Так что теперь это моя походная моделька. Всегда со мной на телефоне 👍

Заместители