🚀 WebLLM engine: высокопроизводительный браузерный движок инференса LLM!

Web LLC предотсавляет локальное графическое ускорение с помощью WebGPU, полностью совместимый с OpenAI API и встроенную поддержку web workers для разделения серверных операций.

https://blog.mlc.ai/2024/06/13/webllm-a-high-performance-in-browser-llm-inference-engine

@machinelearning_ru