Делимся серией подкастов и статей про выбор моделей и self‑hosted LLM.

Часть 1: как выбирать модели? Публичные бенчмарки превратились в маркетинг — лаборатории доучивают модели прямо на тестах, и цифры растут, а поведение на реальных задачах нет. Рабочий путь для компании — закрытый бенчмарк на своих репозиториях с метриками вроде доли задач, доведённых до PR без вмешательства разработчика. Смотреть на RUTUBE / Читать в РБК

Часть 2: практика self-hosted LLM. Разбираем железо от игровых GPU до серверных решений и альтернатив NVIDIA. Сравниваем фреймворки инференса: TensorRT-LLM, vLLM и llama.cpp решают разные задачи и плохо взаимозаменяемы. Отдельно про квантизацию — 4 бита стали практической точкой баланса качества и скорости. Смотреть на RUTUBE

Часть 3: в работе.

Veai в других соц.сетях: РБК / Хабр / Дзен / ВК / Макс

#Veai #УправляемыйAI #AIразработка #SDLC #ИИкод #КачествоКода #AIгенерациякода #AIagents #ИИагент #LLM