Шел 3814-ый день погружения в локальный нейрослоп. Одебилел окончательно, начал строить домики из видеокарт, до самих бенчмарков пока не добрался.

Эксперты из каментов, стоит ли помимо перплексии делать простой тест на задачках из своего датасета в формате "llm as a judge"? Ну типа, я думаю нахрена на это время тратить, если разница в качестве между одной и той же квантованной моделью будет не такая сильная.

Вот между Q8 и Q4 есть видимая разница. А вот между различными версиями Q4 хз как проверять. Короче, сложна.

UPD:
В основании BC-250, про нее отдельный видос
Слева RTX 2060
Справа RTX 3070
Сверху GTX 1050

На заднем фоне:
Снизу CMP 90HX
Сверху RTX 5070 Ti

Компик имеет 32 гига DDR5 оперативки, которые я купил за 12 тысяч рублей. Зажопил лишнюю десятку на 64 гиг, так как в прошлом компе было 64 гиг DDR4 и я не знал чем ее забить 👽