Jupyter ноутбуки внесли огромный вклад в развитие data science. Работа с данными и ML моделями стала доступна людям, имеющим самые базовые навыки программирования. Однако при этом они остаются достаточно кустарным инструментом с пачкой недостатков.
Для справки. Ноутбук - это такой большой файл, где подряд идет текст, код и его вывод, в том числе графики. Выглядит он как-то так. Активно используется дата сайнтистами и дата аналитиками
Не вдаваясь в подробный разбор, я хочу поделиться, чем мне не нравятся ноутбуки как техническому менеджеру, который их много читает
- Ноутбуки все-таки сложны для восприятия. Даже если вычищать ноутбуки, в них все равно копится лишний код и выводы. Графики, печатаемые в столбик, занимают очень много места.
- Проверять ноутбуки непросто. Специальных линтеров (проверщиков стиля) нет. Инструментов ревью в системе контроля версий из коробки нет (не из коробки есть, но они пока не прижились на практике).
- Визуализация не закрывает всех потребностей. Таблицы проигрывают экселю и его аналогам. Из коробки очень сложно добавлять фильтры и красить произвольные ячейки в цвет. У интерактивных элементов проблемы с рендерингом после заливки в гит.
Что по конкурентам
Проигравший конкурент ноутбуков - это формат, где на пол-экрана скрипт с кодом, а на пол-экрана отдельное окно вывода. Работать в нем пожалуй даже удобнее, но делиться работой 😳 плохо: выводы в отдельных файлах, а это могут десятки/сотни таблиц и графиков.
Какое-то время развивались 🤪 low-code системы. Это когда вы программируете квадратиками: либо пользуетесь готовыми, либо пишете квадратик со своим кодом. В чистом виде такие системы провалились (например, Azure ML). А Нирвана Яндекса и Kubeflow все-таки не альтернатива ноутбукам.
С точки зрения визуализации есть очень интересный похожий на Jupyter инструмент - это Observable. Обычного кода там нет, только sql запросы и код графиков. Очень советую посмотреть. Мне кажется, что визуальная часть ноутбуков должна выглядеть как-то так. Но проблема Observable, что он исключительно облачный, платный и 🔒 закрытый. Т.е. в гит вы их ноутбуки не положите.
💎 Итого, у текущих Jupyter ноутбуков серьезных конкурентов нет. Это действительно удачный формат. Поэтому я прогнозирую, что новым шагом в развитии будут тоже ноутбуки, только лучше. Скорее всего их сделает какая-нибудь big tech компания.
Там будет хорошая визуализация из коробки, открытый код, удобное ревью и шеринг. Может быть это будут два файла: код и визуальный ноутбук, которые связаны друг с другом. А может быть как и раньше один.
Если вы знаете хорошие инструменты для ноутбуков или их альтернативу, которые решают описанные проблемы, расскажите в комментариях!
—
#tech
🔜 Читайте также
Почему у статистики не лучшие времени
Как я улучшал бота, рекомендующего мемы
Инфляция грейдов