Опенсорс-альтернатива OpenAI o1

Недавно SambaNova Systems продемонстрировали свою альтернативу OpenAI o1 на базе Llama 3.1 Instruct. Это демо, доступное на HuggingFace под названием Llama3.1-Instruct-O1, работает со сложным системным промтом, который инициирует пошаговый подход к решению задач. Это похоже на Chain-of-Thoughts промптинг, используемый OpenAI. Демо работает на 405B версии Llama. Для обеспечения высокой скорости инференса — 129 токенов в секунду — SambaNova использует свой AI-чип, SN40L.

Можно ли в теории запустить такую же систему в GPU облаке, например, immers.cloud? В этом поможет квантизация LLM и высокоскоростные серверные видеокарты NVIDIA.

Более подробный разбор подобных систем, а также альтернативных подходов к использованию LLM, вы можете найти на YouTube-канале Руслана, где он регулярно делится своим опытом и разбирает новейшие разработки в области искусственного интеллекта.