Пока лечу дальше, посмотрел часовую лекцию про LLM - Intro to Large Language Models от Andrej Karpaty. Потом добавлю ссылку на YouTube.

Что интересного:
— ЛЛМки как бы черный ящик. Туда загоняют кучу текста, тренируют, на выходе получают параметры. Как конкретно эти параметры варятся внутри ЛЛМ - не очень то и ясно.
— Тренируют модели в несколько заходов: сначало базово на текстах из интернета, а потом тюнинг на диалогах с реальными людьми. Базовая тренировка супер ресурсоемкая процедура - стоит несколько миллионов долларов.
— Модели формируют ответ на вопрос просто подбирая наиболее подходящие слова одно за другим.
— Есть большая проблема с безопасностью. Легко обойти защиту и заставить условный ChatGPT выдать в ответе рецепт динамита.
— Следующий шаг это модели, которые будут способны формировать дерево ответов, и выбирать лучший из них.

В лекции нормальный прям ликбез, советую.

——
У Этихада на борту мессенджеры работают бесплатно, так что где то над Индийским океаном пост публикую. Круто?