AGI будет создан скоро. Много лет я изучал современные алгоритмы deep learning и RL и классические алгоритмы из формальных методов, логического программирования, constraint optimization etc

Сейчас делаю ставку на адаптивные Large Language модели. Это системы которые могут обучаться без gradient descent, за счет автоматического промпт инжиниринга. На данный момент фокусируюсь на контроле аутпута LLM. Дело в том что мы можем контролировать аутпут LLM с помощью масок. То есть обнулять вероятности тех слов которые мы не хотим чтобы генерировались. Таким образом на самом деле проблема галлюцинации нейронных сетей вовсе не проблема. С помощью масок мы можем контролировать чтобы LLM выдавала только те токены которые мы хотим.
Все это верно когда мы генерим один токен, но в практической задаче нам нужна последовательность где каждый токен обусловлен предыдущими. Есть разные методы декодирования LLM. Простейщий метод это жадный алгоритм где мы берем каждый раз токен с самой высокой вероятностью, важно понимать что жадный алгоритм не означает максимальную вероятность всей строки. То есть мы беря каждый раз самый вероятный токен, мы не получаем самую вероятную строку. Жадный алгоритм в данному случае всего лишь один проход в глубину. Чтобы получить самую вероятную строку мы должны делать поиск в ширину, но на практике мы быстро получаем комбинаторный взрыв. Так же есть другой способ декодирования это просто сэмплирование из категориального распределения. В данному случае строки которые мы получим так же не будут самими оптимальными и слова в строке могут выглядить не связанными.
Те кто давно занимается автогенеративными моделями знают beam search, когда мы комбинируем жадный алгоритм с поиском в ширину. На данный момент beam search это основной метод который применяют на практике ресерчеры.

Таким образом вся задача сводится к прунингу спейса, чтобы победить комбинаторный взрыв. Это область которая давно изучается в таких направлениях как program synthesis, формальные методы, counter guided program synthesis, sat solvers.

В данном канале буду публиковать различные пейперы связанные с large language models, AGI, formal method, practical research etc