В зависимости от системы она может запускаться на процессоре или на видеокарте. С ней можно пообщаться через расширения типа Page Assist.
Интересно, что доступ к модели есть у любой страницы. На бумаге идея хорошая - вы можете сделать веб-приложение, которое предлагает пользователю бесплатные ИИ-фишки, не тратя деньги на сторонние API.
На практике реализация странная. Нет никаких "разрешений для сайта", как в случае с доступом к микрофону или камере. Вам нужно один раз дать общее разрешение, и модель становится доступна глобально. Это значит, что любой сайт, который открыт среди десятка ваших вкладок, может простым JS-кодом делать инференс на вашем компьютере без вашего ведома.
Я провел тесты, где html-страница в бесконечном цикле задавала модели вопросы. Одна вкладка съела 85 процентов карты 4090.
Помимо этого модель добавляет себя к fingerprint вашего браузера - как еще один косвенный признак, по которому можно выделить именно ваш ПК. JS уже знает какие у вас установлены шрифты, языки, расширения, оборудование и так далее - а теперь еще и параметры LLM.
Отключить это дело можно вот тут:
chrome://settings/system
Пункт настроек называется "ИИ на устройстве" или "On-device AI". Помимо очевидного буста безопасности это освободит около 5 гигабайт на системном диске.
#безопасность