Ща на меня нашла мысль, она довольно очевидная, но пока ее не придумаешь, она не очевидная.

Ща попробую накатить докер образ pypiserver/pypiserver

Потом можно будет делать примерно что то такое:

pip install --index-url http://server:3141/root/pypi/+simple/ requests

Или через pip/pip.conf

[global]
index-url = http://server:3141/root/pypi/+simple/
trusted-host = server

Это что то типа docker registry, только для питоновских библиотек, но еще и сам умеет подтягивать нужные библиотеки откуда угодно.
Получится такое типа зеркало локальное.

Я пока еще не пробовал это делать, но вот как раз есть возможность. А то прокидывать прокси внутрь контейнеров тоже такая себе приколюха.