Люди «файнтюнят» (это цитата) LLM-ки чтобы сделать прототип. Хотя выручки еще нет. А ведь обычный RAG бы уже решал эту проблему мгновенно.
Для справки, что файнтюнить так, чтобы это дало результат и улучшения метрик (кроме количества денег, которые ML инженер получит себе на карточку) крайне сложно и умеют единицы. Да это даже бессмысленно делать, когда нет ни разметки, ни клиентов для сбора фидбека. Галлюцинации все равно будут, а значит сверху все равно будет RAG.
Бедных стартаперов в РФ убивает не отсутствие легких денег, а собственное «Горе от Ума».
Я бы если услышал, что умный DS в моей тиме начал дообучать LLM на GPU (а это не целевая фича и выручки еще нет), то это был бы его последний день в тиме. Лучше возьму на его зп еще 10 DS вайкбодеров и 20 тиктокеров.
Им, кстати, денег опять не дали.