Есть много опенсорсных разработок, которые подходят для установки на VPS. Среди них универсальные решения вроде b1gMail, который работает на любом дистрибутиве и может интегрироваться с Postfix. Или emailwiz — баш-скрипт для полной автоматизации установки серверов Postfix/Dovecot/SpamAssassin/OpenDKIM на Debian. Есть и готовые контейнеры с конфигами, как docker-mailserver, там уже всё настроено.