TGViewer
Pragmatic ML Pragmatic ML @pragmaticml · 393 subscribers
Post #9 844
Коротко про навыки ML инженера

Я считаю, что каждый ML инженер, кроме своей области ML, должен разбираться еще в двух вещах:
- алгоритмах;
- инфраструктуре, которую он использует.
В целом это верно в том числе и для дата инженеров.

Понимание алгоритмов дает вам интуицию при оценке скорости работы вашего кода (а еще иногда идеи для ускорения).
Однажды я увидел в продакшене код составления драфта рекомендаций, который при добавлении нового объекта, проверял вхождение категории этого объекта в список уже добавленных категорий. Список. Не хэшмапа, не множество, список. Теперь я считаю, что обязательно собеседовать человека на алгоритмы. Даже если ты лид — будь добр, тебе еще потом код ревью делать.

Инфраструктура обычно скользкий вопрос.
Авг ответ: а зачем я должен разбираться в этом, есть же специально обученные люди?
Ну в целом и ответ тоже базированный: может быть тогда проще научить девопса запускать фитпредикт? Заодно сэкономим на ФОТ.

Если вы понимаете, как работает инфра — вы можете быть более продуктивны. В целом считаю, что написать Gitlab CI пайплайн — это не так сложно. Уметь писать докерфайлы — базовый навык инженера уже.

В общем, теперь всегда на собесах спрашиваю что-то наподобие:
- в чем разница между cmd и run в dockerfile?
run описывает как надо собирать образ, а cmd — что нужно по дефолту запускать при старте контейнера;
- в чем разница между докер образом и докер контейнером?
Образ — описание, как нужно будет запускать исполняемую «виртуальную» среду, а контейнер — сама исполняемая среда.

Если хочется детальнее поизучать про Docker и Kubernetes, рекомендую почитать «Kubernetes в действии» Марко Лукша. Книга не первой свежести (2018 год), но все еще актуальная, хорошо описывает базу.
  • 🔥 9
  • ❤ 2
More from @pragmaticml
  1. Feb 13, 2024Cloudflare — пример того, как нужно решать вопросики. Даже за вычетом их крутых продуктов,…
  2. Feb 3, 2024В одной из первых домашек курса Efficient Deep Learning Systems предлагается порешать мале…
  3. Feb 2, 2024На фоне того, что Цукерберг скупает сотни H100 для обучения новых версий LLama, все осталь…
  4. Jan 31, 2024Наверное, стоит отдельно рассказать про топ 1 решение Kaggle соревы из поста выше. Не буду…
  5. Jan 31, 2024Про аугментации. Я довольно давно не копался в CV. Последнее, что я помнил — albumentation…
  6. Jan 30, 2024Про бенчмарки загрузки png картинок. Ужасно сгорел, перебирая разные способы загрузки png…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →