(это серия из постов, начало тут)

3. А чё делать то?

Карпати предлагает за неимением лучшего полагаться на вайб-чек. Пробуешь на своих задачах и смотришь, норм или нет. Тут легко себя обмануть из-за предвзятости и всяких искажений. Но что поделать.

Мои советы такие:

* Открывать сразу несколько вкладок с разными моделями при каждой задаче и пробовать.
* Субьективно смотреть, за какой нейронкой нужно меньше переделывать.
* Не гоняться за цифрами. Намного важнее, чьи продуктовые фичи тебе реально нравятся и за какую подписку ты уже отдаешь 20 баксов.
* Если все таки хочется циферок, юзай LifeBench https://livebench.ai/#/. Авторы пишут, что он решает проблемы хакинга, устаревания, однобокости и субьективности.
* Если делаешь продукт на основе моделей, вот классный гайд от HuggingFace о том как собрать свой бенчмарк.
https://github.com/huggingface/evaluation-guidebook/

А пока, если вы ждали знак, чтобы попробовать что то кроме ChatGPT, то вот он:

https://claude.ai
https://gemini.google.com
https://grok.com
https://chat.deepseek.com
httрs://сhаt.openai.сom

Дальше будет еще несколько постов, где расскажу, что интересного у каждой модели и сделаю саммари вайб-чеков других людей.