У нас есть GPT дома
…и она написана на SQL.

Да, именно так — разработчик Алексей Боленок написал генеративную нейросеть на SQL.

Наверное, на этом пост можно закончить и просто дать ссылку на оригинал статьи в блоге Алексея и на перевод на Хабре.

Но все-таки расскажем немного, что вас ждет.

LLM способны генерировать логичные тексты на естественном языке за счет того, что предсказывают, в каком порядке слова должны идти друг за другом. Алексей показал, что происходит «под капотом» LLM, когда она это делает.

Если совсем кратко:
🔵Модель получает промпт и преобразует его список токенов.
🔵Затем она возвращает массив кортежей — строк и чисел. В строках — токены (слова или их части), в числах — вероятность, с которой этот токен «подойдет» для ответа.
🔵 Модель выбирает подходящий токен и вносит его в список. Так она последовательно токен за токеном строит ответ.
🔵 В конце концов, она преобразует токены в текст.

Все эти шаги Алексей реализовал с помощью SQL-запросов — всего понадобилось 500 строк, чтобы получить модель, которая смогла поздравить его с Новым годом. Просто пост он выложил 31 декабря. 🎄

Для тех, кто хочет перейти сразу к делу и пощупать GPT на SQL своими руками — репозиторий с кодом на Гитхабе.