На прошлых выходных проглотил несколько новых курсов от Andrew Ng. В целом, я уже давно играюсь с prompt engineering'ом LLM моделей, но нашлось несколько трюков, которые мне понравились

Итак, вот несколько выводов, которые мне больше всего запомнились.

⛓️ LangChain for LLM Application Development
- LangChain это новый "pandas", но не для таблиц, а для дизайна промптов LLM моделей.
- Слово Chain тут не зря. Оказывается, заставить LLM плясать под твою дудку можно не одним промптом, а цепочкой из нескольких.
- Зачем выбирать подходящий промпт, если можно попросить LLM выбрать подходящий промп самой среди предложенных с пояснениями?!
- Не можешь пихнуть нужную инфу в промпт - просто отфильтрую нужный фрагмент с помощью similarity search и проблема решится.
- Чтоб LLM не фантазировала и не тупила при подсчетах - скорми ей специальную базу знаний.
- LLM это не база данных, это штука, которая умеет делать выводы, если ей верно подсовывать актуальную информацию.
- Как оценить качество ответа модели? Дать сделать ей это самой.

📀 LangChain Chat with Your Data
- LangChain может распарсить почти любой фрагмент данных и превратить его в базу знаний. Будь это Ютуб, Ноушен или тупо набор PDF файлов.
- Как впихнуть невпихуемое? Сделать сперва по БЗ предварительный similarity search
- Что если БЗ не хватает для ответа на вопрос? - Подгружаем ей внешние БЗ + добавляем силу GPT и тогда качество вполне себе ок.
- Чаты в LangChain позволяют сплитить диалог хоть по сообщениям, хоть по токенам и тп. Оптимальнее всего тянуть именно сумаризированный диалог.

👨‍💻 ChatGPT Prompt Engineering for Developers
- Если тебе кажется, что LLM тебя не понимает, значит ты не шаришь, как ей это объяснить.
- Если LLM сильно тупит, дай ей несколько примеров из БЗ. Почти всегда качество сильно выше.
- LLM могут все равно отклоняться от намеченных указаний, лучше подстраховаться пост процессингом .

Прохожу курсы вместе вас, не благодарите!

Говорят, скоро курсы сделают платными. Оно и понятно, считай за бесплатно дают подергать ChatGPT API.