tinygrad это конечно хорошо, но через ThunderBolt (даже 5) максимальная скорость передачи данных это 8GB/s. Для карты в вашем домашнем компе (не серверной стойке) через PCIe 4.0 x16 будет 31.5 гб.
Т.е. для заполнения видеокарты один раз надо будет ждать 5 секунд против одной.

История исключительно для локального инференса