Сегодня поговорим о ускорителе инрференса нейронных сетей от SAPEON.
Раньше я не встречал ускорителей, которые работают только с целочисленной арифметикой. На выбор int4/8/16 и никаких тебе флотов-754, брейнфлоатов и тем более позитов.
Что из себя представляет SAPEON X220? Наша любимая числодробилка с внушительными тэрраопсными вычислительными показателями -
Сomputation Capability
(INT8)
87 TOPSBoost 100 TOPS
(данные взял из этой презентации)Для сравнения у NVIDIA A2 -
Peak INT8 Tensor Core 36 TOPS | 72 TOPS*1)при этом нвидия отлично работает с флотами
2) *With sparsity - 72 TOPS достигается при наличии большого количества нулей в наборе данных
Выше нашел только у VERSAL от AMD/Xilinx,
с показателем 145 TOPS (INT8).
Стоимость продукта для сравнения с конкурентами пока не известна, ждем апдейтов на сайте производителя.
Вопрос к читателям 🤓 канала. Насколько распространен подход инференса нейросетей используя только целочисленную арифметику? Я от темы ML/AI далек и буду рад любым ссылкам и ответам в комментариях 😅
