Да, трябва ти reverse proxy, най-добре Traefik или Nginx Proxy Manager. Те автоматично ще добавят SSL сертификати за новите контейнери. В docker-compose.yml трябва да сложиш правилните labels, за да знае проксито как да насочи трафика.

Аз ползвам Traefik – супер удобен, сам намира новите контейнери и слага сертификатите. Имаш ли вече нещо работещо или тепърва почваш?