Вчера вновь просматривал кучу AI‑продуктов и наткнулся на ребят, которые делают инфраструктуру для открытых моделей Cerebras.
Сказать, что я удивился, ничего не сказать. Если вы не видели, как LLM может отвечать действительно быстро, то вам обязательно надо на это посмотреть.
До 3k токенов в секунду для модели gpt-oss-120b.
Приложил небольшую демонстрацию, сравнение их инфры и ответа Claude. Целое видео не стал выкладывать, оно длится минуту, но всё понятно уже через 15 секунд.
Чтобы попробовать их в API, тыкать сюда
Чтобы попробовать в чате, сюда