Сравнил USER2 и Qwen на вопросах 1С. Цифры на картинке.

📦 В оригинальном репозитории в тестах используются оба признака: • search_query • search_document

Локально я попробовал и другой вариант — пометить только вопрос, и внезапно результаты оказались даже лучше 😁

🧠 У Qwen search_query соответствует Instruct. Без этой фразы Qwen ищет хуже.

📄 Фраза доки Qwen: • Instruct: Given a web search query, retrieve relevant passages that answer the query.
🛠 Моя фраза под 1С: • Instruct: Given a 1C developer question, retrieve the matching 1C code fragment (BSL, query language, or module) that answers it.

📈 С такой фразой Qwen вырывается вперёд на длинных вопросах.

👀 Ещё наблюдения:
• Облачная 8B и локальная 8B Q8 отличаются на грани погрешности
• Кванты 4B ниже Q8 брать не советую

✅ По итогу 4B Q8 с фразой под 1С на коротких вопросах даже лучше 8B, на длинных чуть слабее. Зато скорость выше (быстрее облака примерно в 5–6 раз). А User2 - супербыстрая.

Ебенч 😁: https://huggingface.co/datasets/PruhaNLP/1C-Ebench