LiteRT.js оставляет AI-вычисления на устройстве пользователя
Google выпустила LiteRT.js: .tflite-модели запускаются в браузере через WebAssembly, WebGPU и экспериментальный WebNN. Счёт за серверный inference исчезает, а входные данные остаются на устройстве. Взамен скорость зависит от железа пользователя. Перед внедрением проверьте холодный старт, размер модели и скорость на слабом ноутбуке: свои бенчмарки Google сняла на MacBook Pro с M4.
Post #803
4