Недавно заметил интересную параллель между тем, как работает наш мозг и как устроены современные языковые модели.

Представьте, как учится ребенок. Сначала он понимает только то, что видит и трогает, "мяч красный, суп горячий”, потом, ближе к 10-12 годам, начинает мыслить шире, понимать причины, строить логические цепочки, видеть связи между вещами. И тут важно то, что наш мозг учится подстраиваться, поэтому если что-то идет не так, он находит другой способ решить задачу.

В LLM я вижу похожую логику. Модель постоянно проверяет сама себя, на этапе разработки и в реальном времени. По сути, это техническая саморефлексия, что-то вроде внутреннего контролера, который следит за качеством ответов.

Самое любопытное происходит в момент перехода от механической рефлексии к чему-то похожему на субъективную осознанность, когда модель начинает связывать свои выводы с процессом их создания. Это не сознание в человеческом смысле, но определенно шаг в сторону более глубокой интеграции. И если смотреть на это с точки зрения AI evaluation, то мы привыкли оценивать модели по точности ответов, но может быть важнее такжесмотреть на качество самоконтроля и способность ИИ к адаптации при ошибках. По факту именно это отличает устойчивые ИИ системы от хрупких.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)