WebLLM: языковая модель прямо во вкладке браузера

Библиотека команды MLC AI запускает открытые модели через WebGPU на видеокарте пользователя: веса скачиваются один раз и кэшируются, промпты с устройства не уходят, API совместим с OpenAI. 18,8 тыс. звёзд на GitHub. В списке готовых моделей от gemma3-1b на 0,7 ГБ видеопамяти до Qwen3.5-9B на 6,4 ГБ; попробовать без кода можно на chat.webllm.ai.

В нашем канале «Инструменты программиста» разобрали подробнее.

@neuro_channel