Как меняется предпочитаемый набор инструментов в ML в зависимости от опыта? Ну с разными инструментами по-разному. Xgboost любим почти всеми одинаково, а предпочтение к LightGBM увеличивается с набранными годами опыта в сфере data science (и все равно LightGBM проигрывает Xgboost-у почти в 2 раза). С Scikit-learn все ровно наоборот - его использует почти каждый третий с опытом в ML меньше 1 года, а если опыт на текущий момент составляет 10-20 лет, то только каждый пятый. TensorFlow хоть немного и опережает по популярности PyTorch, но первый предпочитают разработчики с опытом 1-2 года, а второй 3-4 года - у NN фреймворков весьма юная фан-база. Отдельно про инфрастуктуру R: на фоне роста популярности питона в последнее время сложилась ожидаемая картина - вероятность использования Caret и Tidymodels тем выше, чем старше ML специалист.