یه نفر یه پروژه جالب منتشر کرده که می‌تونه هر وب‌کم رو تبدیل کنه به چندتا تشخیص‌دهنده‌ی زنده‌ی AI؛ از تشخیص احساسات و شمارش گرفته تا تشخیص اشیا، اونم با اجرای کاملاً لوکال روی دستگاه.


سرعتش بالاست، روی Apple M5، اجرای PyTorch/MPS با FP16 حدود 210ms و اجرای MLX با 8-bit حدود 160ms در p50 تأخیر داشته؛ یعنی برای پردازش زنده‌ی تصویر، به سرعت قابل توجهی رسیده.

توی بنچمارک کنترل‌شده‌ی 9 سؤالی هم latency از 358.5ms به 259.6ms رسیده؛ یعنی 27.6٪ کاهش تأخیر. جالب‌تر اینکه هر 84 تصمیم از 84 تصمیم بین روش‌های مقایسه‌شده با هم match شدن.

علاوه بر کد کلی از تجربه ارزشمندش هم نوشته:

github.com/yoheinakajima/glance-speedlab

@Linuxor