Не прикасался к проекту две недели, был занят основной работой и параллельно пытался настроить домашний "чатгпт"(связка телеграм бота confy и llm модели).
Все началось с изучения llm моделей на домашнем пк. В lm-studio, пробовал общаться с нейросетью gemma4, которая предложила мне пересесть с lm-studio на ollama(для оптимизации процессов в будущем). Оказалось что через нее удобно составлять промпты для генераций и обработки картинок в confy. Единственная проблема что нормально может работать только одна программа на компе, вместе они мешают друг другу так как съедают все мои 64гб оператвной и 8гб видеопамяти.
Для меня стало открытием что можно привязать телеграм к ллм на компе и общаться с ним почти как с чатгпт. В целом реализовать такой функционал получилось, навайбкодив мощностями моего компа,
отдельно бота который по запросу в телеге обрабатывает фотографии, бота который общается и анализирует фотографии и бота который переключает режимы взаимодействия с ботом.
Почему три бота? Да потому что я упёрся в лимит моего железа, каждый раз при попытке собрать всех моих трансформеров в одного, контекстное окно моего пк начинало переполнятся и ллм улетала в галлюцинации, а я начинал танцевать с бубном вокруг всего этого великолепия.
Тогда то я вспомнил про мой китайский друг deepseek. Буквально за пару часов удалось собрать рабочий билд.
Поэтому у меня появился Яицкий казак в Т-позе, не только для привлечения внимания но и для дела.