Мысль 4:
Интересно то, и как меняется само обучение.

Раньше, чтобы воспользоваться какой-то концепцией, надо было сначала более-менее её изучить. Сейчас иногда достаточно просто узнать, что такая концепция существует.
Услышать термин или узнать фреймворк.

А дальше приходишь с этим в LLM и начинаешь раскручивать:
Что это? Почему оно работает? Какие здесь первые принципы?
Как это связано с моей задачей? Какие есть альтернативы? и тд

За несколько часов проходишь путь, на который раньше потребовались бы недели.
Сама нейронка далеко не всегда приведёт к нужной идее. Если задать неправильный вопрос, она будет помогать тебе двигаться в неправильном направлении.

Важнее становится не знать много, а расширять кругозор.
Читать разное. Слушать умных людей. Узнавать, какие концепции используют в соседних областях. Запоминать незнакомые слова и абстракции.

Иногда одного слова достаточно, чтобы придумать новую ветку решения задачи.
Например, долго пытался понять, почему агент внутри AdSpyLab получался тупым. Улучшал промпты, что-то ещё подкручивал. Потом встретилось слово "харнесс".
И само существование этой концепции заставило меня по-другому посмотреть на задачу и запустило целую цепочку доработок.

Похожая история была с векторами и эмбеддингами, когда я думал о том, как автоматически группировать похожие рекламные креативы.
Не нужно было проходить курс по embeddings. Достаточно было узнать:
«Существует вот такая математическая абстракция, которая, кажется, подходит к моей задаче». Дальше уже можно было раскрутить всё вместе с LLM до первых принципов, понять ограничения и собрать рабочее решение.