Недавно я прочитал с интересом новости от компании Intel — что впервые за долгое время дела у них идут хорошо и даже есть что предложить в смысле AI-чипов, способных конкурировать с GPU от NVIDIA. CEO компании Лип-Бу Тан даже заявил, что CPU могут стать основным решением для AI-инференса в будущем, потому что лучше подходят для этого, хотя для обучения нейросетей GPU по-прежнему останутся главным железом. Мне сразу же захотелось проверить это сильное утверждение, к тому же мне попалась статья от LMSYS, в которой говорится о том, как запустить на SGLang модели вплоть до DeepSeek R1 на процессорах Intel Xeon 6. И я проверил — арендовал процессор этого поколения (Intel Xeon 6975P) и прогнал на нем бенчмарки до десяти параллельных потоков, на разных моделях от 3B до 70B. И сравнил side-by-side с 2x RTX4090.
Смотрите как это было: https://youtu.be/cj9DeghSG_I
А теперь вкратце выводы. Шестое поколение Intel процессоров Granite Rapids — это интересный шаг в сторону реалистичного AI инференса на CPU, но пока еще выглядит как proof-of-concept, не предназначенный для масштабирования в продакшене, и тому же слишком дорогой. Если Intel действительно собираются забрать у NVIDIA нишу AI-инференса, то им придется увеличить в разы возможность параллелить перемножение матриц в своем AMX — наборе CPU-расширений для операций, связанных с AI-нагрузками. И в то же время сделать свои чипы минимум в 6 раз дешевле. На это, видимо, уйдут годы, а GPU-инференс за это время тоже может эволюционировать.