GPT4ALL -- отличный десктопный локальный AI, дюжина опенсорсных LLM на выбор, код пишет ничуть не хуже хвалёной ChatGPT. Жаль, почему-то поддержку GPU не сделали (причём даже хвастаются этим), но и так на среднем процессоре генерит ответы и код практически в реальном времени.

Можно самостоятельно дообучать под свои задачки: Our released model, GPT4All-J, can be trained in about eight hours on a Paperspace DGX A100 8x 80GB for a total cost of $200.

Есть простой биндинг на питончике, можно теперь локально или корпоративно пихать AI вместо белковых программистов куда угодно в свои проекты.