Здесь ты найдешь понятные лайфхаки и примеры использования LLM в повседневной жизни и бизнесе.
Подпишись, чтобы вместе шаг за шагом разбираться в технологиях, которые уже меняют наше будущее.
Post #15
150
Forwarded from Валера Ковальский
Удивил меня Github отсутствием адекватных готовых серверов под Т5 модели с поддержкой OpenAI API
vLLM вообще решил не выпускать поддержку
Спасибо Никите подкинул пример я дописал через Cursor и упаковал в docker-compose
Запустил на своем сервере в 3 инстанса модель
Без токена можно попробовать протестировать свой RAG или один из доступных кейсов:
API: https://emb-frida.neuraldeep.tech/docs#/
Префиксы
API полностью совместим с OpenAI embeddings API, что позволяет легко интегрировать модель с существующими RAG-системами и LangChain/LlamaIndex фреймворками.
vLLM вообще решил не выпускать поддержку
Спасибо Никите подкинул пример я дописал через Cursor и упаковал в docker-compose
Запустил на своем сервере в 3 инстанса модель
Без токена можно попробовать протестировать свой RAG или один из доступных кейсов:
API: https://emb-frida.neuraldeep.tech/docs#/
curl -X 'POST' \
'https://emb-frida.neuraldeep.tech/embed_batch' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"texts": [
"Кошка", "Cобака", "Птичка"
],
"prompt_name": "paraphrase"
}'
Префиксы
1. Семантический поиск - создание поисковых систем с пониманием контекста на русском и английском языках (используя префиксы search_query/search_document)
2. Определение дубликатов контента - автоматическое выявление похожих текстов с разными формулировками (paraphrase)
3.Классификация документов - автоматическое определение тематик документов или категоризация текстов (categorize_topic)
4. Анализ тональности - определение эмоциональной окраски текстов (categorize_sentiment)
5. NLI (определение логических взаимосвязей) - установление логических отношений между текстами (categorize_entailment)
API полностью совместим с OpenAI embeddings API, что позволяет легко интегрировать модель с существующими RAG-системами и LangChain/LlamaIndex фреймворками.
- 🔥 2
- ❤🔥 1
