⚪️ Тоннельное зрение моделей

У нас тут гостевой пост про скилл и эмоции - вот он, предыдущий: https://t.me/deksden_notes/1021

Почему отсылка к эмоциям работает и это стоит посмотреть либо обдумать? Думаю из-за эффекта, который я окрестил для себя "тоннельное зрение"

Модель решает задачу и думает в каждый момент времени собирая для текущего токена самые вероятные токены ответа. И так - для каждого. Это означает что у нее каждый раз происходит фокусировка на темах, связанных именно с этим токеном ответа.

Модели склонны быть очень непосредственными. Сказали тут - значит тут. И они регулярно "забывают" в рамках какой "большой" задачи работают. "Работай отсюда и до обеда!", "Так точно, хозяин!"

Это отличается от человека - он не формирует новый контекст с каждым запросом. Для него контексты хоть и меняются, но это непрерывный процесс.

Я, наверное, сумбурно объясняю, но суть даже не в этом, - а в последствиях

▶️ Модель реально может упускать ради чего она что то делает. Зачем именно этот тест нужен, как он связан с общей задачей, какую цель вообще тестирование этого блока преследует.

В итоге у нас бывают тесты, которые плохо тестируют. Бывают модули кода которые содержат все что только возможно, кроме логики, ради которой этот модуль и нужен был. Думаю, вы встерчали этот эффект!

"Бракованные новогодние игрушки - переливаются, яркие, но не радуют".

▶️ Как бороться? У меня во флоу есть фокусный аспект в проработке плана, который перепривязывает план к изначальной цели. Я стал пытаться прописывать в разной документации (фичи, планы, спеки) - зачем и для чего это всё, вводить разные уровни смыслов. Вы же помните в аннтированных ссылках - "зачем может понадобиться прочитать этот файл" (по исследованиям vercel добавляет процентов 15 к вероятности чтения инструкции)

▶️ Но вот в скилле - попытка сделать "мостик" между работой и целью через эмоцию! По мне - весьма оригинальное, стоит как минимум обдумать

(ц) любопытное

@deksden_notes