Big data world

Состояние инженерии данных в 2024 году

https://lakefs.io/blog/the-state-of-data-engineering-2024

Лучшие SQL-запросы для специалистов по данным
SQL кажется аутсайдером в области науки о данных по сравнению с Python и R. Однако это далеко не так. Я покажу вам здесь, как вы можете использовать его в качестве специалиста по данным. https://www.kdnuggets.com/top-sql-queries-for-data-scientists

Сети Колмогорова-Арнольда (KAN) собираются навсегда изменить мир искусственного интеллекта
Забудьте все, что вы знали о нейронных сетях, KAN здесь, чтобы переписать правила

https://medium.com/international-school-of-ai-data-science/kolmogorov-arnold-networks-kan-are-about-to-change-the-ai-world-forever-687f6d0b4d93

В этом руководстве по Python мы рассмотрим основы настройки элемента управления DataTable с использованием Flet.

https://www.youtube.com/watch?v=Xl7BXURZ_HI

Создание помощника по искусственному интеллекту для частных медицинских учреждений с использованием гибридного облака Qdrant (JWT-RBAC), DSPy и Groq — Llama3

https://ai.gopubby.com/building-private-healthcare-ai-assistant-for-clinics-using-qdrant-hybrid-cloud-jwt-rbac-dspy-and-089a772e08ae

Ускоренный курс линейной алгебры — математика для машинного обучения и генеративного искусственного интеллекта

https://www.freecodecamp.org/news/linear-algebra-crash-course-mathematics-for-machine-learning-and-generative-ai

Изменение графического процессора меняет поведение вашего LLM.

https://medium.com/@anis.zakari/changing-the-gpu-is-changing-the-behaviour-of-your-llm-0e6dd8dfaaae

Прогнозирование диабета 1 типа у детей с использованием электронных медицинских карт в первичной медико-санитарной помощи в Великобритании: разработка и проверка алгоритма машинного обучения
Детей, поступающих в первичную медицинскую помощь с подозрением на диабет 1 типа, следует немедленно направлять в вторичную помощь, чтобы избежать опасного для жизни диабетического кетоацидоза . Однако раннее выявление детей с диабетом 1 типа является сложной задачей. У детей могут отсутствовать классические симптомы, или симптомы могут быть связаны с более распространенными заболеваниями. У четверти детей наблюдается диабетический кетоацидоз, причем эта пропорция не меняется в течение 25 лет. Нашей целью было выяснить, может ли алгоритм машинного обучения привести к более раннему выявлению диабета 1 типа в учреждениях первичной медико-санитарной помощи…

https://www.thelancet.com/journals/landig/article/PIIS2589-7500(24)00050-5/fulltext

Обучение с подкреплением: глубокие Q-сети

https://towardsdatascience.com/reinforcement-learning-from-scratch-deep-q-networks-0a8d33ce165b

Обучение машин с градиентным усилением может занять некоторое время, но есть внутренний трюк, который мы можем применить, чтобы обучение деревьев было намного быстрее. Оказывается, гистограмма — это все, что нам нужно!..

https://www.youtube.com/watch?v=5okmBJaE0kY

10 репозиториев GitHub для разработки мастер-данных
Изучите инженерию данных с помощью бесплатных курсов, учебных пособий, книг, инструментов, руководств, дорожных карт, практических упражнений, проектов и других ресурсов. https://www.kdnuggets.com/10-github-repositories-to-master-data-engineering

Большие языковые модели гораздо линейнее, чем мы думали

https://habr.com/ru/companies/airi/articles/816125/

Mamba — это сильная альтернатива Transformer, которая набирает обороты благодаря своей способности использовать меньшее количество FLOP при сохранении производительности. Однако для некоторых приложений это может не потребоваться. Эта работа показывает, что хорошо настроенная базовая линия CNN превосходит Mamba в ряде задач по зрению.

https://github.com/yuweihao/mambaout

Полное руководство по BERT с кодом
История, архитектура, предварительная подготовка и тонкая настройка

https://towardsdatascience.com/a-complete-guide-to-bert-with-code-9f87602e4a11

Создайте свою собственную среду глубокого обучения на основе C/C++, CUDA и Python с поддержкой графического процессора и автоматической дифференциацией.

https://towardsdatascience.com/recreating-pytorch-from-scratch-with-gpu-support-and-automatic-differentiation-8f565122a3cc

10 бесплатных обязательных курсов по науке о данных, чтобы начать работу
Хотите начать свое путешествие в науку о данных? Тогда позвольте этим курсам помочь вам в этом путешествии. https://www.kdnuggets.com/10-free-must-take-data-science-courses-to-get-started

Доказательство обучения в области машинного обучения/ИИ
Прежде чем приступить к какой-либо математической разработке, мы должны сначала понять основу обучения и то, как оно тесно связано с концепцией ошибки.

https://towardsdatascience.com/the-proof-of-learning-in-machine-learning-ai-4faae3c85fe6

Использование идей теории игр для повышения надежности языковых моделей
Новая «консенсусная игра», разработанная исследователями MIT CSAIL, повышает навыки ИИ в понимании и генерации текста.
https://news.mit.edu/2024/consensus-game-elevates-ai-text-comprehension-generation-skills-0514

PySheets предоставляет пользовательский интерфейс электронных таблиц для Python. Используйте Pandas, создавайте диаграммы, импортируйте листы Excel, анализируйте данные и создавайте отчеты.

py2wasm преобразует программы Python в WebAssembly и запускает их в 3 раза быстрее, чем CPython.

databonsai — это библиотека Python, которая использует LLM для задач очистки данных, таких как категоризация, преобразование и извлечение.

Алгоритмы машинного обучения

Минимальные и понятные примеры реализации алгоритмов машинного обучения
https://github.com/rushter/MLAlgorithms

llama3.np — это чистая реализация NumPy для модели Llama 3.
https://github.com/likejazz/llama3.np