топ 3 тула, для старта и ознакомления

https://huggingface.co/ - самый большой хаб, где хранят все доступные открытые модели и их веса, которые можно просто скачать

https://github.com/ - уже нам привычный гитхаб, огромная куча софта вокруг локального ии (и не только)

https://local.ai/ - сайт моего знакомого 0xSero который просто помешан на локальных моделях, методах их сжатия и так далее, на этом сайте легко можно глянуть как модели ведут себя на определенном железе, и что там вообще можно запустить, пока пара карт/боксов, но уже полезно