Харнесс-инженерия не для нищебродов 🫠

Давайте представим, что вы хотите показать и рассказать всем насколько круты в харенсс-инженерии и что реализованный вами агент кладет на лопатки всех и вся? 😄

Представили?

А теперь присядьте и доставайте из тумбочки губозакатывательную машинку... ведь самый простой вариант что-либо доказать этим ии-абьюзерам - прогнать агента на всех признанных сообществом бенчмарках (то, насколько они кривые и что показывают далеко не то, как есть на самом деле - оставим в стороне) 😏

При этом, желательно не один раз, а несколько и с разными LLM 😘

Так, вот, в минимальном приближении, такое бахвальство встанет в ~$10,000 🤩

Мне теперь понятно почему все научные статьи, обмазаные результатами бенчмарков написаны сотрудниками биг-биг-теха или спонсируются ими... для обычного ученого проход в этот "элитарный" клуб тупо закрыт из-за отсутствия таких денжищь на проведение исследований 🥲

p.s. И это озвучена только стоимость одного прогона бенчмарка в полной комплектации, а уж сколько требуется на всякие эксперименты, которые проводятся в процессе исследования - представить страшно🫠