TGViewer
Дмитрий Кузьмин | Инженерия данных Дмитрий Кузьмин | Инженерия данных @kuzmin_dmitry91 · 1.75K subscribers
Post #170 1.3K
Вчера я хотел просто добавить Airflow и S3 в проект, но словил квест на 3 часа. В итоге — переустановка IDE и мини-расследование, куда исчезло место на диске C.

Начал добавлять в проект Airflow + S3-совместимое хранилище (MinIO):

остановил контейнеры
переписал тестовый docker-compose.yml под новые сервисы в новой локальной ветке, чтобы не портить продовую
в процессе инсталяции пакетов словил 0 места на C

Самое неприятное то, что чистка “Downloads/Temp” почти ничего не дала. Оказалось, что основной объём сидит тут:

Docker Desktop + WSL2 data
по сути — docker/wsl/data (VHDX файл)

Если видите “место пропало, а файлов нет” — почти всегда это WSL/Docker.

Решение: перенести Docker/WSL на диск D.

Остановить Docker
закрыть Docker Desktop
в PowerShell:
wsl --shutdown

Перенос WSL-дистрибутивов на D я выполнял через настройки Docker Desktop (первый раз туда провалился).

Фейл 1.
Я поломал всё свое окружение в Docker Desktop - ни контейнера, ни образа нет в списке. Поэтому будьте аккуратны, если займетесь миграцией.

Фейл 2.
В процессе ручной/авто-очистки я стер runtime/Java, поэтому PyCharm перестал стартовать во-об-ще!

Решение: переустановка IDE (IDEA/PyCharm), чтобы вернуть нормальный запуск.

✅ Но день не в минус

Я всё равно выкатил Spark-модуль в main в пяти уроках и готовых ноутбуках.
Так что бета-тестеры могут идти дальше, даже если я вчера чуть не ушёл в “docker археологию” навсегда.

Вопрос - где еще удобно разрабатывать?

#путь_DE
  • 🔥 6
  • ❤ 2
  • 👍 2
  • 😁 1
  • 🤔 1
More from @kuzmin_dmitry91
  1. Sep 25, 2026Можно отдельно изучить SQL, Spark и Airflow, а потом всё равно не понимать, как связать их…
  2. Sep 22, 2026Почему RAG-бот иногда отвечает «не знаю» ✍️ В августе я только начинал погружаться в RAG и…
  3. Sep 18, 2026У блога появился свой герой 🐻 В последнее время здесь много пайплайнов, проверок качества…
  4. Sep 15, 2026💬 Какой результат SQL отправить бизнесу? Ребят, одна из частых ошибок в SQL-задачах состо…
  5. Sep 11, 2026Когда пайплайн упал в пятницу в 18:30, но дежуришь не ты. С пятницей! Пусть выходные пройд…
  6. Sep 10, 2026Сначала выучу весь DE-стек У меня переход в Data Engineering тормозился примерно на этой м…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →