Написал статью с целью раскрыть вопрос в конце последнего поста - откуда берется ICL - насколько это представляется возможным.
https://uzooplatform.com/en/pages/icl-yavlyaetsya-svoistvom-struktury-estestvennogo-yazyka
Вся идея в общем-то на схеме. В статье, к сожалению, заметно больше математики, чем обычно, но без этого было никак. В ней, я бы сказал, удалось аналитически подойти еще ближе к тому обстоятельству, что естественные языки от нас что-то скрывают - а именно структуру, делающую математически возможными обобщения (предсказания) на всем пространстве языка по нескольким примерам, доказательством чего и служат современные нейросети. Хотя, если вдуматься, и без нейросетей человеческий интеллект это делал, только механика оставалась для нас неявной.