Как кушоть дорогие модели типа фубли и не сильно разориться
#лайфхак@sillytavern1
Я уже упоминав, что сижу на фейбл 5.1 и оч экономлю. Я щас кушою с
линкапи, потому что хочу покушац наиболее адекватного официального клодика (впрочем, я хз, насколько это так, но верим линку, наверное). Конечно, качество у линка выше, чем у каких-нибудь кодерских реверсов или киро, на которых я тоже посидев для сравнения (хотя на линке тоже есть группы с киро и дешёвыми моделями, если хотите сэкономить).
Кстати, вышел попус 5.5, он значительно дешевле, раза так в 2 или даже больше.
Предупреждаю: если вы играете активно и каждый день, то даже на таких ограничениях вы потратите на фублю на линк апи, юзая группы Pro и Max, около 4.5-5к в мес, ну а на попуса порядка 2-2.5к рублёв, что уже лучше.
В общем, сами лайфхаки:
1. Поставьте общий контекст 5-6к токенов. Дада, вы не ослышались)) Плюсы кроме экономии: ботик быстро забудет свои/ваши ошибки, а ещё будет писать более свежо и адекватно, чем на больших контекстах, т.к. мы его не перегружаем. А как же избежать амнезии? Об этом ниже.
2. Сократите максимально промты пресета, карточку перса и юзера, чтобы они все укладывались в 1к контекста. Фубля и попус оч хорошо кушают лаконичные карточки без доп. разжёвывания, имхо.
3. Установите ограничение на длину сообщения бота в 1-1.5к или меньше. Врубаем автообрезку незаконченных предложений. Reasoning Effort и Verbosity ставим Auto или минималку.
4. Чтобы не терялась связность контекста, можно в пресет пихнуть мой промт:
Add naturally in your scene time of day, place, items around, recent events, clothing if changing, {{char}}'s state and where are characters, their positions.5. Вместо промта выше можно юзать ну очень кратенькие инфотабы, но я не вижу смысла, потому что они могут тупить и слополупить модель, а ещё иишки любят добавлять маркдаун, и это допом сжирает токены.
6. Можете вместо промта выше ещё юзать дефолтное расширение таверны Summarize и поставить ограничение в 100-200 токенов, но! Во-первых, там нельзя самрайзить более дешёвой моделью, а во-вторых, несмотря на настройки, клодик начинает пихать самрайзы прямо в посты почему-то.
7. Поэтому я написав
свой расшир, схожий по функционалу, но с возможностью самрайзить более дешёвой моделью и скрывать сообщения из контекста. Сейчас я его дополнительно тестирую и отлавливаю баги.
8. Если клодик прям галлюцинирует, что бывает и на более крупных контекстах, во-первых, темпу делаем 0.58-0.6, а во-вторых, советую мой промт:
Stay consistent with characters details, backstory, and plot facts already established—DO NOT contradict them or invent new ones. Base it only on what was actually mentioned.9. Важное! НЕ МЕНЯЕМ ПРОМТЫ пресета и карточек персов в процессе игры, не редачим посты, НИЧО НЕ МЕНЯЕМ, чтобы у нас сохранялось КЭШИРОВАНИЕ, которое уменьшает траты в несколько раз. Если хотите поправить/направить ботика, используйте в своих последующих постах ooc-инструкции.
10. Можете юзать
мой пресет, я там врубив заранее те тоглы, которые юзаю для фубли и попуса, всё максимально лаконично. Редачьте, но помните, что мы экономим и жирные промты не суём.
Ну и очевидное: все мета-штуки типа хтмл/цсс/имагенов/статы/большие красивые инфотабы/расширы, разжирающие контекст, и тому подобное, отрубаем. Либо скидываем как задачу более дешёвой модели, а сами эти мета-штуки выносим из ролки и её контекста максимально. Если уж вы не можете без них, юзаем регексы и вычищаем ими, например, инфотабы и хтмл, но тогда и бот тупеть будет, и лишний контекст на них тратится, если оно инжектится в рп.
Я теперь, пожалуй, даже советую играть на маленьких контекстах типа 6-8к, даже если у вас не стоит вопрос экономии слишком жёстко. Потому что модель пишет свежее и умнее. Мой расшир на самрайз, например, позволяет оставлять минимально 2 последних сообщения в чате, а остальное сокращать до значимых фактов. И я не понимаю, почему в таверне не реализовано по дефолту нечто вроде вычления важных фактов из каждого сообщения со скрытием самих длинных сообщений из контекста