TGViewer
Лаборатория Математики и Программирования Сергея Бобровского Лаборатория Математики и Программирования Сергея Бобровского @lambda_brain · 1.41K subscribers
Post #2410 657
Прекрасное: "Towards Scalable Dataframe Systems".

 В популярных датасайнс-библиотеках типа pandas разработчики без малейшего целостного понимания бессистемно нафигачили сотни методов, которые во многом похожи, и нет чёткого понимания, какие операции действительно фундаментальны.
 
А вот если посмотреть на темку через теорию категорий, то окажется что более 85% pandas API можно покрыть алгеброй из 15 операторов! DataFrame определён формально как кортеж (данные, метки строк, метки столбцов, домены столбцов).
 
Реструктуризация (изменение только схемы) +
 
слияние (группировка и агрегация) +
 
соединение (join между таблицами) образуют сопряжённую тройку и возникают естественно из отображений между схемами.
 
200 операторов pandas - 15 алгебраических операций - 3 функтора миграции + 2 теоретико-множественные операции - проверяемая компилятором схема!
 
В итоге может получиться прекрасный продукт - оболочка pandas как типобезопасный API, где схема данных контролируется на этапе компиляции, а оптимизации (например, удаление мёртвых колонок) следуют из алгебраических законов.
  • 👍 45
  • ❤ 7
More from @lambda_brain
  1. Sep 28, 2026. Облако драгоценностей за неделю. Дипломный проект разросся уже так, что расширил его до…
  2. Sep 27, 2026GELU (Gaussian Error Linear Unit) -- базовая фича архитектуры трансформеров, да и вообще в…
  3. Sep 27, 2026Продолжение сериала "Совершенно не удивлён, и дальше будет только хуже" (с) На этой неделе…
  4. Sep 26, 2026А вы разве не работаете сейчас (на себя, а не на дядю)?? Потребность в программистах уже в…
  5. Sep 25, 2026Гарри Поттер и Методы Математического Мышления Книга 1. Гарри Поттер и Неорганический Инте…
  6. Sep 25, 2026Свежее от ребят (и девчат). ...Так же было собеседование в Сбере, каким то чудом прошел их…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →