Было много обсуждений и комментариев по поводу моделей в ChatGPT, и за последние несколько недель результаты API стали намного хуже.

Evals — это платформа для оценки LLM (больших языковых моделей) или систем, построенных с использованием LLM в качестве компонентов. Он также включает реестр сложных оценок с открытым исходным кодом.

https://github.com/openai/evals