Бенчмарк Whisper.cpp на 60-минутном файле с русской речью:

▫️large-v3 [GPU]: 15:40 (4x)
▫️large-v3-turbo [GPU]: 5:45
▫️large-v3-turbo [GPU+NPU]: 3:20 (18x)

Как видно из цифр и скрина: использование NPU (ANE - Apple Neural Engine) не только ускоряет инференс, но и существенно повышает энергоэффективность.

А теперь о болях:
при помощи утилиты мониторинга видно, что температура чипа под нагрузкой достигает неприличных цифр, при этом вентилятор продолжает работать бесшумно. Это всё потому, что вентилятор крутится на 20% от полной мощности и никакими ухищрениями (штатными настройками макоси) не получилось сдвинуть эту настройку с мёртвой точки. Конечно же с точки зрения Эппла это не баг, а фича (ведь ваш мини будет оставаться бесшумным при любых нагрузках, охраняя ваш чуткий сон), но мною это воспринимается как подлый запрограммированный износ и ограничение доступа к железу.

И о решении этой боли:
Нужно всего лишь купить😄 одну из двух существующих на сегодняшний день программ для контроля оборотов вентилятора (TG pro или macsfancontrol). Более того - обе программу существуют только в виде GUI-варианта. Это просто счастье неимоверной величины, о котором я не мог мечтать сидя под линуксом на "железе простолюдинов"😃

Программы конечно красивые и считывают несколько десятков температур различных комплектующих макмини, но мне-то нужна единственная фича: поддать газку на единственной вертушке 🙏

PS: Пока сижу на триале и, кажется, знаю что себе на рождество подарю 🤬
(быть может за две недели еще какие-то моменты всплывут, требующие срочной покупки супер-навороченной программы с супер-красивым GUI 😳)

@embedoka