Протестировал высокозведные opensource решения для обучения: KnowNote и DeepTutor (локальные аналоги NotebookLM)

• KnowNote не заработало в полную силу (кроме режима чата), так как у выбранного эмбеддера нельзя было настроить размерность, и, соответственно, RAG там не функционировал.

• DeepTutor (с 10к ⭐️) пришлось немного помучиться с зависимостями, так как проект построен на больших библиотеках (например, LightRAG и RAGAnything), которые тянут за собой длинный хвост сторонних пакетов. При запуске через Ollama выяснилось, что POST-запросы к ней реализованы некорректно. Эту проблему я решил с помощью LM Studio (оба сервиса позволяют запускать LLM локально). Но режим генерации вопросов почему-то не работал. А функция Problem Solving иногда могла выдать неплохие ответы по загруженной PDF-ке, но чаще всего падала из-за переполнения контекста (после 36!! API-вызовов)

• Но порадовал прогресс LM Studio - есть возможность частичного инференса на GPU, если не хватает памяти