🧠 За милой мордочкой ScreenCat скрывается ИИ-движок.

Я встроил прямо в приложение бинарь Ollama — он запускается локально при первом старте и предлагает скачать модель LLaMA 3.1 8B. Всё оффлайн, всё приватно. Такой модели хватает для умного котика 🙂

Кот работает на системе промптов: я формирую для него описание окружения и текущего состояния — и модель решает, что делать. Например, если он голоден, рядом открыт Xcode, и на экране ошибки — он может подойти и «пожалеть» разработчика.

Инфу кот получает из окна вокруг себя — область 400×400px. Чтобы увидеть остальной экран, ему нужно ходить. Это не абстрактный ИИ — он реально «смотрит» на экран и воспринимает только то, что рядом.

Контент из приложений читаю через Vision, чтобы понять, что именно там происходит: код, сообщения, статьи и т.д. Всё это добавляется в prompt — и кот реагирует.

Скоро покажу примеры того, как он ведёт себя в разных ситуациях.

#screencat #ai