В първия отговор дадох някаква общо взето по-обща информация, мързеше ме пък и не бях проверил това онова. Не съм и разработчик

Имах предвид 2-3 неща, първо че ако се използва Loadbalancer е лесно да се сложи един wildcard сертификат на него и толкова.
Връзката между него и отделните машини/контейнери може да бъде със или без криптиране.
Това за сертификата важи и за reverse-proxy-то

Второ ако се ползва application-loadbalancer може да се насочва трафика към определена машина на база на поддомейна за който е заявката.
Трето, може да се използва и session-persistance и заявките да отиват към една и съща машина. Това ако се използва класически лоудбалансър.
Другия вариант е да се вдигне едно reverse-proxy (нямам идея кое е най-добро) и от него според заявките те да се насочват към дадената машина/контейнер - поддомейн.
Нямам опит с подобна конфигурация, вероятно може да стане с четене и ровене

Ето някакъв линк който излезе първи:
https://www.nginx.com/resources/glossary/reverse-proxy-vs-load-balancer/