🤖 Ollama навчилась не балакати, а вирішувати

В Ollama 0.35 зʼявилась точка доступу /v1/systemone для моделей рішень на базі Jev API від TypeSafe. Надсилаєш текст як state і набір іменованих питань, а локальна модель відповідає на всі за один запит. У відповіді вибір, ймовірності по варіантах і впевненість.

Для чого: сортування тікетів, маршрутизація запитів між моделями, модерація контенту.

Три моделі вже доступні:
→ nimble - відкрита 9B від Bespoke Labs
→ tev1 - експериментальна 4B від Together AI
→ tev1:0.8b - експериментальна 0.8B

Nimble 9B у середньому видає рішення за 91 мс на MacBook Pro з M5 Max. У демо вона в реальному часі грала в Pac-Man. Без мережі й без оплати за токени.

Для дрібних рішень це чесніша схема, ніж гнати кожен тікет через велику чат-модель: у прикладі з блогу відповідь займає один вихідний токен.

https://ollama.com/blog/ollama-now-supports-jev-style-decision-models

📎 Читайте також:
→ Ollaya - як Ollama, тільки моделі вирішують
→ CanIRun.ai - які локальні моделі витягне твій комп
→ Ollama v0.19 - локальні моделі на Mac літають

#ollama #локальнімоделі #ai