Я проникся сервисом Cloudflare.
Он волшебен )
Тратить на какую-нибудь сортировку или теггирование лимиты клода / кодекса / какой - то иной путевой модели - ну вообще не рационально. ни под каким углом.
Например слушает ваш агент (который висит на подписке) вашу телегу (а может у вас отдельный аккаунт тг даже, который слушает множество источников) и что он все это будет перебирать за токены? - такое себе решение.
Можно поднимать локальную модель - если у вас есть железо подходящее и электричества не жалко то конечно ок.
Или от разных апишек и сервисов можно набрать какое количество квот и под них писать интерфейсы - сомнительно но окэй.
В общем запилил я ... дашборд ;)
С локальным прокси через который можно работать с разными моделями и аккаунтами ротируя ключи в бд через один эндпоинт на localhost
типа omniroute только на минималках и питоне кто пользуется
Дашборд:
• позволяет из UI следить за всеми ключами / воркерами / доменами cf
• актуализировать списки предоставляемых моделей и тестировать на горячую
(выбираем из списка моделей те, которые хотим протестировать ,
апи вызывается с одинаковым промптом для всех,
смотрим какая из моделей лучше подходит под нашу текущую задачу)
Надо понимать что это, все же, чернорабочие, а не высоко квалифицированный инженер. Однако они могут трудиться на вашем предприятии бесплатно и круглосуточно
скачать на гитхаб ⬇️
——————————-
github | by w3bgr3p.dev with ❤️