+ 1 одна опенсорсная моделька среднего размера, сумевшая справиться з задачей - iquest-coder-v1-40b-instruct int8.
Решение тут. Скорость, правда, такая себе, 3.90 tok/sec
#balltest
Post #1957
8.56K
АйТиБорода Модель на 20B прям совсем никакущая показалась. А вот кватнованая в 4 бита 120B моделька - третья на моей памяти из локально мною запущенных: которая сумела решить задачу с крутящимся кубом и шариком внутри: https://jsfiddle.net/itbeard/bru4zgf0/1/ До этого…
