Выделила время потестировать Jev от Typesafe.

Взяла открытую базу рецептов TheMealDB, все блюда с фотографиями. Для каждого блюда отправила в Jev текст рецепта и шесть вопросов. Он оценил каждое блюдо по пяти шкалам: быстро, дёшево, полезно, впечатлит гостей, просто для новичка. Решил, полноценное ли это блюдо, и сам отсеял десерты, соусы и хлеб. К каждой оценке приложил уверенность, так что видно, где он сомневается.

Весь прогон занял чуть больше минуты, обошлось всё в $0.0455.

Сделала два прогона, и они дали чуть разные оценки. В среднем оценка гуляет на несколько сотых по шкале от нуля до четырёх. Если выставить все ползунки на пять, первые места отличаются на доли балла, и соседние блюда меняются местами между прогонами.

Лучше, наверное, добавлять большую градацию шкалы, или выбирать шкалы, по которым блюда сильнее различаются, ну или делать несколько прогонов и и вычислять среднее.

@wealldesigners