Вышла еще одна статья, которая показывает ограничения LLM. Чтобы улучшить неопределенность предсказаний LLM в 10 раз, требуется увеличение числа параметров на 10 порядков. Не в 10 раз, а в 10 миллиардов раз, с 10^14 до 10^24. Для сравнения на графике показано масштабирование MC (Monte Carlo), где требуется увеличение всего на 2 порядка. Проще говоря, качество сильно расти не будет просто от увеличения числа параметров. Сама статья: The wall confronting large language models (pdf)