Три причины, по которым LLM по сути своей плохо подходят для автоматизации программирования:
1. Сложность токенизации программного текста, в котором много запутанного смысла, и играет роль место каждой "запятой".
2. Сложность применения контекстных окон к программному тексту. Сильное подозрение, что тут и очень больших окон не хватит.
3. Сложность самого процесса обучения LLM-ок "программированию".