Удивил меня Github отсутствием адекватных готовых серверов под Т5 модели с поддержкой OpenAI API
vLLM вообще решил не выпускать поддержку

Спасибо Никите подкинул пример я дописал через Cursor и упаковал в docker-compose

Запустил на своем сервере в 3 инстанса модель
Без токена можно попробовать протестировать свой RAG или один из доступных кейсов:

API: https://emb-frida.neuraldeep.tech/docs#/

curl -X 'POST' \
  'https://emb-frida.neuraldeep.tech/embed_batch' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "texts": [
    "Кошка", "Cобака", "Птичка"
  ],
  "prompt_name": "paraphrase"
}'

Префиксы

1. Семантический поиск - создание поисковых систем с пониманием контекста на русском и английском языках (используя префиксы search_query/search_document)

2. Определение дубликатов контента - автоматическое выявление похожих текстов с разными формулировками (paraphrase)

3.Классификация документов - автоматическое определение тематик документов или категоризация текстов (categorize_topic)

4. Анализ тональности - определение эмоциональной окраски текстов (categorize_sentiment)

5. NLI (определение логических взаимосвязей) - установление логических отношений между текстами (categorize_entailment)

API полностью совместим с OpenAI embeddings API, что позволяет легко интегрировать модель с существующими RAG-системами и LangChain/LlamaIndex фреймворками.