Авторский канал про инженерию умных систем.
SDD, AI/Human collaboration, инженерное мышление.
Связь: @m0n0x41d
Post #389
189

Значит, Эмбеддинги.
Вчера у меня в гостях был мой замечательный дружище, который сейчас работает в одной махровой компании – у них там всякие интеграции аккаунтингов, онлайн магазины и так далее.
Ну, говорю же – махровая 😊
Зашел долгий разговор про эмбеддинги, начиная с "а что с ними вообще можно сделать?"
Я весь разговор пересказывать не буду, но TLDR такой – никакие эмбеддинги им там не нужны, и старое решение работает более чем замечательно.
На сам вопрос "что сделать то можно", я много и рассказать не смог, потому что со страхом и ненавистью RAG все понятно, а остальные кейсы хоть и крайне специфичные, но с разной скоростью всегда сваливаются в "насколько X похоже на Y" 😯
Мы сначала подумали что можно было-бы сделать улучшенный поиск товаров, но в итоге оказалось что улучшать попросту нечего – там сейчас очень и очень шустро поиск работает на redis c redis-search плагином.
---
Но вообще хороший пример некоторого более общего применения эмбеддингов это идея библиотеки semantic-router.
Я уже неоднократно ее использовал для того чтобы собирать пайпланы с высоким требованием к точности "выбора". При том выбирать то можно почти что угодно :)
Например RAG источники, правильное под-системы (агент, если хотитите. Основная идея либы), или даже выборать функций для вызовов.
Последнее получается много лучше чем нативные function-calls, как минимум потому что можно добиться большей степени детерминированности и в смысле конечного результата, и в смысле работы самой системы если строим pipeline/workflow без всяких графов.
Самое классное что есть под капотом у semantic-router это fastembed – быстрая векторная rust молотилка, работающая на ONNX. Оно легкое и более чем сносно работает без GPU.
В общем если вам правда надо в эмбеддинги – рекомендую сразу смотреть на fastembed.
А на счет "правда" и "надо" напишу позже отдельно 📝
Вчера у меня в гостях был мой замечательный дружище, который сейчас работает в одной махровой компании – у них там всякие интеграции аккаунтингов, онлайн магазины и так далее.
Ну, говорю же – махровая 😊
Зашел долгий разговор про эмбеддинги, начиная с "а что с ними вообще можно сделать?"
Я весь разговор пересказывать не буду, но TLDR такой – никакие эмбеддинги им там не нужны, и старое решение работает более чем замечательно.
На сам вопрос "что сделать то можно", я много и рассказать не смог, потому что со страхом и ненавистью RAG все понятно, а остальные кейсы хоть и крайне специфичные, но с разной скоростью всегда сваливаются в "насколько X похоже на Y" 😯
Мы сначала подумали что можно было-бы сделать улучшенный поиск товаров, но в итоге оказалось что улучшать попросту нечего – там сейчас очень и очень шустро поиск работает на redis c redis-search плагином.
---
Но вообще хороший пример некоторого более общего применения эмбеддингов это идея библиотеки semantic-router.
Я уже неоднократно ее использовал для того чтобы собирать пайпланы с высоким требованием к точности "выбора". При том выбирать то можно почти что угодно :)
Например RAG источники, правильное под-системы (агент, если хотитите. Основная идея либы), или даже выборать функций для вызовов.
Последнее получается много лучше чем нативные function-calls, как минимум потому что можно добиться большей степени детерминированности и в смысле конечного результата, и в смысле работы самой системы если строим pipeline/workflow без всяких графов.
На дворе 2025 год а loop-like LLM агенты до сих пор в бесконечные циклы проваливаются.
Самое классное что есть под капотом у semantic-router это fastembed – быстрая векторная rust молотилка, работающая на ONNX. Оно легкое и более чем сносно работает без GPU.
В общем если вам правда надо в эмбеддинги – рекомендую сразу смотреть на fastembed.
А на счет "правда" и "надо" напишу позже отдельно 📝
- 🌭 1


