MedGemma и вайбкодинг

1. Недавно я прочитал про модель MegGemma (специализированная медицинская модель от Google) и захотел её потестировать.
Модель открытая, но API нет, нужно настраивать на своём сервере.
2. Я давно хотел попробовать вайбкодинг.
3. В декабре мы выиграли грант 300 000 на IT инфраструктуру от Selectel, который нужно потратить за 2 месяца.

3 этих обстоятельства привели к тому, что в пятницу вечером я арендовал сервер с A100 и решил навайбкодить telegram-бот для диалога с Medgemma)

4 вечера вайбкодинга, разбирательсв с сервером, моделью, квантизацией, токенизацией, мусорными токенами и прочими терминами, смысл которых я теперь понимаю лучше - и первая версия бота готова!

Пока смог запустить только 4b, на 27b сохраняется проблема с мусорными токенами.
Нормально генерирует она пока только на английском и медленно, но работает!

Про то, зачем мне вайбкодинг и его огромную пользу для менеджеров я напишу отдельный пост.
Там не будет про то, что AI заменит программистов)
Я по прежнему считаю что программировать должны программисты.

А сейчас просто вспомнил со времен когда сам работал разработчиком - ту маленькую радость от момента, когда ты что-то делал, делал и оно наконец заработало)

Дорабатывать проект и тестировать MedGemma буду уже завтра, а то и так 3 дня подряд по пол ночи вайбкодил)