Я больше не знаю языки программирования, на которых пишу

Когда ML-щики вылупляются и покидают инкубатор, часто их ждёт неприятный сюрприз - оказывается, работа не похожа на Kaggle, когда тебе дают готовые данные, и твой конечный результат - это оффлайн-метрика.

Большую часть времени надо работать над предобработкой данных и донесением обученной модели до прода. Кто-то не хочет с этим мириться и отказывается делать что-то полезное, ну и уходит в ресёрч. А кто-то находит способ с этим ужиться.

Не так давно я пережил такое же знакомство с реальностью ещё раз, но уже в квадрате.

Сейчас у нас в компании в районе рекомендательной системы очень жёсткое давление в сторону упрощения. Всё сводится к очень простому и понятному ML-фреймворку, в котором мало места для ML-ных инноваций. Наш объём данных и компьюта такое позволяет.

Можно сказать, на все рекомендации нужен 1 человек, который нормально знает ML, всё остальное это техническое обслуживание концептуально простой системы.

В итоге, мой спектр задач начинает расширяться ещё дальше. То надо раздебажить код на расте, то написать какую-то компоненту на скале. Я не освобождён ни от написания генератора кафка-стрима с обучающими данными, ни от починки применялки, ни от раскатки модели в Kubernetes.

Это было бы ещё ничего, если бы на это не накладывалась наша скорость. Мне нужно прыгать между совсем разными частями системы каждую неделю. У меня нет времени и стимула сесть и нормально выучить раст, потому что к следующему разу, когда он мне понадобится, я уже всё забуду. Я не написал бы на нём даже Hello World.

Выживать в таких условиях помогают два фактора:
1) В большинстве случаев языки ведут себя примерно одинаково. Раздебаживать кусок незнакомого кода в огромной монорепе одинаково сложно что на скале, что на питоне. Скилл и моральная готовность копаться в этом говне прилипает и переносится на следующие разы.
2) Писать компоненту на языке, которого ты не знаешь, с использованием абстракций, которые ты видишь впервые, очень сильно помогают LLM-ки. Бывает, что остаётся только скептически посмотреть на генерацию и в случае чего поправить.

Таким образом, каждую неделю я прохожу через широкий спектр ощущений, начиная от тотального непонимания, что вообще от меня надо и почему этим занимаюсь я, до постепенной адаптации и решения поставленной задачи сквозь смех и слёзы.

Ничего, яйца в кулак и терпим.

@knowledge_accumulator