Недавно обнаружил, что один из моих любимых научно-фантастических авторов выпустил очередную книгу, которая доступна только в виде аудиокниги в виде монолога. А я не очень привык к аудиокнигам, поэтому мы делаем что? Правильно, покупаем аудиокнигу, качаем mp3 и зовём на помощь нейронки чтобы а) транскрибировать б) перевести.

И если с первым проблем особо не возникло, какая-то из моделей вполне справилась локально за некоторое время, то вот со вторым - возникла трудность, потому что перевести en / ru эта модель не очень предназначена, а другие модели вроде Aya-23-8B не подходят под llama.cpp, а конвертить - ну там прямо таки linux way - это собери, тут напиши скрипты на питоне, разберись почему это говно не работает, запусти стопицот раз. И вобщем я начал искать какой-то движок, который бы мне перевёл 600 КБ текста с минимальными телодвижениями оффлайново. Потому что онлайново - это стоило бы денег :)

И нашёл кажется интересный движок msty, который можно self-hosted под Windows/Mac/Linux, умеет RAG и разные NVIDIA/AMD GPU и содержит даже какую-то коллекцию промптов. И что самое клёвое - очень удобный поиск и загрузка моделей, прямо из UI.

Качаю, пробую :) #llm