TGViewer
Я – Дата Инженер | Евгений Виндюков Я – Дата Инженер | Евгений Виндюков @halltape_data · 5.92K subscribers
Post #717 3.74K
Не смотрел доклад, не разработчик!

Есть много конференций для разработчиков. Там по каждой конфе можно офигеть от кол-ва информации. И вот мы ходим, слушаем с умным видом, но как часто применяем эти решения?

Привожу пример. Смотрел доклад со смарт даты про Спарк. Там команда джимми нейтронов сделала ML модель, которая учится подбирать оптимальные параметры под Spark приложения. По-простому работает так:

1. Спарк запускается с каким-то средними значениями ресурсов.
2. Если джоба не падает, то уменьшаем еще раз, пока джоба не начнет падать. Это значит, что мы нашли идеальные настройки спарка для этих вычислений.


И таким образом, моделька учиться на запусках и подбирает самые оптимальные настройки. И там всякие метрики, дашборды можно показывать, что сократили кол-во затрат и ляля тополя. Бизнес в восторге.

Вот супер крутое решение. Только кол-во людей, кто реально это применит на практике — стремиться к нулю. Тогда зачем слушать этот доклад? (ЦКАТИНА, ТЫ ЧТО ХОЧЕШЬ ПОСПОРИТЬ? А?)

В большинстве команд, на мой взгляд, решение будет состоять из простого увеличения timeout или sla. Типа пусть работает дольше, главное, чтобы работало. И не надо писать никакие сложные модели, обучать их и так далее. У нас че, времени полно на это? А? Але, камон эврибади

А если вы работаете в компании, где очень долго можно получать доступы бигтехе, где нельзя в принципе внедрить сразу какую-то библиотеку, фреймворк или решение, то смысл теряется вовсе. Потому что надо сначала отправить заявку на создание заявки о наличии у вас некой мысли в голове, которая по метрикам должна увеличить.. господи, да остановись уже!

Кстати, если вы реально не знали, но в таких компаниях, ЛИЧНО Я получал доступы 2 месяца. И все это время, пока нет доступов, ты просто крутишь казик на стримах и лутаешь по 100к usd живешь жизнь в ожидании.


Вернемся к конференциям.
Для большинства — они никогда в жизни и не применят таких кейсов. БОльшая часть людей работает просто на работе без амбиций и у них нет задачи покорять этот мир крутыми решениями. Дайте им задачу и вовремя платите зарплату. Остальное не важно. В целом понимаю такой подход. Желательно еще и вообще не работать, а получать бабки на счет.

Лично я в свое время сильно упарывался по конфам. Знаю, что в питоне пустой словарь весит НЕ НОЛЬ! Для чего мне это знать? Не для чего. Можно среди друзей хвастаться, причем сразу после слов про двадцатые диски на бмв.

Единственный момент, когда я смотрю доклады с конференций — это когда ищу решение проблемы. Вот это реально круто. Т.е. мы решаем проблемы по мере их поступления. Просто так идти и искать контент на досуг, я больше не делаю...
  • 👍 23
  • ❤ 12
  • 🔥 9
  • 😁 3
More from @halltape_data
  1. Oct 1, 202610 вопросов по SQL для дата инженера https://www.threads.com/share/_vojZtIpk/ Этот пост на…
  2. Sep 27, 2026Собес на 320к на руки на Дата Инженера! ▶️ https://youtu.be/lZKqJ978e1I Выложил собес. Все…
  3. Sep 26, 2026Накрутчики! Написал в Threads пост о том, как расти в ЗП в ДЕ. В комменты пришел человек,…
  4. Sep 25, 2026Это последний поток BootCamp. ВСЁ. После Нового года мы будем поднимать цену. Поэтому нояб…
  5. Sep 23, 2026Если тебе до 25 и ты уже в IT В промежутке между 17 и 23 годами я учился на инженера в уни…
  6. Sep 20, 2026Собес на Дата Инженера + Лайвкодинг! (Middle) ▶️ https://youtu.be/fypWIMVBKxg На самом дел…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →