https://lipanski.com/posts/smallest-docker-image-static-website

Я для этого использовал nginx, а затем caddy из-за встроенного letsencrypt. Но поскольку обычно у меня в компоузе есть какой-то прокси для роутинга урлов (caddy/traefik) и обслуживание сертификатов лежит там то возможно стоит попробовать.