Post #1561
2.04K
IT Does Matter Обновил бенч. Теперь так: https://vibecoding1c.ru/bench. Субъективно могу отметить более четкое следование инструкциям. Но кажется как минус словило более частую "human in the loop" когда надо и когда не надо. А так косяки одни и те же с предшественниками…
Может у кого есть классные задачи на бенч? Усложнять надо конечно... Примеры где SOTA модель ошибалась. Хотя бы без mcp и правил. Желательно без привязки к метаданным. Есть у кого варианты?
- 🤔 2
- 👍 1