У меня ж нет как такого опыта в администрировании серверов на боевых реальных машинах, потому дохожу до всяких идей по своему.

Как мне сказала ИИшка, мой план это дефолт на серверах.

У меня ближайший план по улучшению коммутации между моими серверами таков:

1) Не обновлять текущее оборудование, слишком дорого и не нужно
2) Купить больше проводов Cat-e5
3) Купить на PCI-e по больше сетевых интерфейсов
4) Подлючить все сетевые интерфейсы в мой текущий коммутатор
5) В Линуксах настроить эти физические интерфейсы в отдельную локальную сеть без gateway
6) Радоваться что файлы будут между серваками гулять по отдельным гигабитам и не мешать шлюзовым портам!

Мой нынешний коммутатор позволяет это сделать потому что у него честная не блокирующая коммутационная матрица на 48 Гбит/с - для 24 портов это ровно 2×1 Гбит на каждый порт (приём+передача), то есть свитч физически тянет одновременную полную нагрузку сразу на всех портах без просадок. Так что не нужно покупать новый коммутатор - можно просто воткнуть в него ещё пачку линков и развести трафик логически, без апгрейда железа.

По сути получится "сеть в сети": те же провода, тот же свитч, но с отдельными IP без шлюза — и бэкапы между серверами перестанут отжирать пропускную способность у интернет-канала.

Правда не факт что я успею это реализовать... Так как у меня еще дел тут дома много

Я знаю что тут люди сидят со своими дешевыми и не очень железяками, кто тоже интересуется всякой такой лабудой, расскажите как у вас там дела =)