Пришло добро от уважаемого ПК уважаемой конфы DevOops.
12-13 октября еду выступать в Питер.
Рассказать про отборный трешачок, поджидающий ничего не подозревающего дево-пса/SRE инженера, которому предстоит вывести LLM-инференс в боль-мень серьезный продакшен.
А не этот ваш
docker run vllm/vllm-openai:latest.Прям по списку, что может отхлебнуть (и гарантированно отхлебнёт) при принятии на эксплуатацию. И что выедет голову во время самой эксплуатации. И как к этому быть готовым. Хотя бы морально 🙈
В общем, старая добрая техно-дичь 🫶