​​⚡️WebLLM — высокопроизводительный браузерный движок для инференса LLM

WebLLM — это высокопроизводительный механизм вывода LLM в браузере, который переносит вывод языковой модели непосредственно в веб-браузеры с аппаратным ускорением.

Все работает внутри браузера без поддержки сервера и ускоряется с помощью WebGPU.

Также WebLLM поддерживает целый ряд моделей, включая Llama 3, Phi 3, Gemma, Mistral, Qwen и многие другие.

🖥GitHub
🟡Доки
🟡Чат с WebLLM

@Devsp — Подписаться