Как размышление прикручивают к маленьким моделям

Если бы LLM были дешевле и быстрее, то половину продового ML можно было бы выключать 🤪. Поэтому нам с вами нужно пристально смотреть на тренды в оптимизации и поиске более дешевых решений. Направление мысли сейчас совсем поменялось.

В линкедине один блогер запостил статью, где исследователь из Samsung перенесла механизм размышлений (reasoning), который впервые изначально появился у больших LLM, на небольшой 7M энкодер. Т.е. модель в 1000 раз меньше небольшой LLM.

Размышления, кто не знает, это когда модель специально обучают решать задачу по шагам. Подход, который значительно повысил способность моделей писать код и решать математические задачи.

На вход модель берет входной запрос и выход с предыдущей итерации. И так ее прогоняют несколько раз. Между итерациями модель обменивается состояниями последнего слоя, а не токенами 🧠. То, что в традиционном ризонинге LLM обменивается информацией между шагами словами, выглядит мягко говоря неестественно .

#tech@big_ledovsky