⚡️ WORLD INTEL BRIEF

• 🔬 Жадное декодирование LLM оказалось невоспроизводимым при смене точности: одна модель с одинаковыми промптом и алгоритмом на том же оборудовании выдаёт разные ответы в BF16 и FP16. arXiv
↳ Смена точности инференса ломает предположение о воспроизводимости даже без смены модели или GPU.

—
📡 @azalio_tech_summary