💻 whatcanirun — які LLM запустяться на вашому залізі

Інструмент для визначення сумісності локальних мовних моделей з конкретним обладнанням на основі реальних даних продуктивності.

Ключові можливості:
• Показує реальну швидкість виконання у токенах/сек
• Відображає споживання пам'яті для кожної моделі
• Визначає стабільно працюючі моделі для конкретного чипа

📊 Дані базуються на тисячах реальних бенчмарків від користувачів
⚡️ Технології: TypeScript
🎯 Безкоштовний інструмент без обмежень

Переглянути репозиторій


Підписатися • GitHub 🇺🇦

#ai #ml #tools #web #nodejs