Data Science Links

Ускорение sql запросов к большим таблицам. Оптимизация пагинации
При умеренных объёмах базы данных в использовании offset нет ничего плохого, но со временем база данных растёт и запросы начинают «тормозить». Становится актуальным ускорение запросов.
https://habr.com/ru/articles/744814/

DeepPavlov «из коробки» для задачи NLP на Python
Иногда, в процессе работы, появляются новые задачи, для которых у меня и моих коллег нет готовых решений или каких‑то наработок. Например, не так давно у меня возникла необходимость автоматизированного анализа текстовой информации в публикациях на Хабре для составления отчётов.
https://habr.com/ru/articles/741952/

Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib)
В данном посте я расскажу о возможностях применения параллельных вычислений в интерактивной среде Jupyter notebook языка Python.
https://habr.com/ru/articles/744066/

Нейронные сети врываются в медицину
Я очень рад, что каждый месяц появляются новые, более сложные и интересные архитектуры, реализующие смелые идеи, которые двигают вперёд области Deep Learning, NLP и Computer Vision (CV), но сколько из них реально используются в прикладных задачах?
https://habr.com/ru/articles/748200/

Фильтруй базар! Как мы параллельный русско-башкирский корпус чистили
Чтобы обучать нейросети понимать и генерировать человеческие языки, нужно много качественных текстов на нужных языках. «Много» – не проблема в эпоху интернета, но с качеством бывают сложности. В этом посте я предлагаю использовать BERT-подобные модели для двух задач улучшения качества обучающих текстов: исправление ошибок распознавания текста из сканов и фильтрация параллельного корпуса предложений. Я испробовал их на башкирском, но и для других языков эти рецепты могут оказаться полезны.
https://habr.com/ru/articles/744972/

Проблема исчезающего градиента: причины, последствия и решения
Этот пост в блоге призван описать проблему исчезающего градиента и объяснить, как к ней привело использование сигмовидной функции.
https://www.kdnuggets.com/2022/02/vanishing-gradient-problem.html

Полное руководство по сверточным нейронным сетям
Искусственный интеллект стал свидетелем монументального роста в преодолении разрыва между возможностями людей и машин. Исследователи и энтузиасты одинаково работают над многочисленными аспектами этой области, чтобы добиться удивительных результатов.
https://www.kdnuggets.com/2023/06/comprehensive-guide-convolutional-neural-networks.html

Сингулярность, в результате которой ИИ сам сделает себя умнее людей. GPT-4 играет в Minecraft и самообучается
В этой статье речь пойдет об эксперименте Voyager: An Open-Ended Embodied Agent with Large Language Models, в котором группа исследователей (Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar ) дала GPT-4 поиграть в Minecraft.
https://habr.com/ru/articles/740426/

Геолоцировать пользователя по Tweet-у: машинное обучение, часть I
Модели машинного обучения давно тренируются на постах в соцсетях. Самые большие текстовые корпусы созданы на основе Твиттера — они обогащают тысячи компаний сервисами, а библиотеки — академическими статьями.
https://habr.com/ru/articles/741384/

Сквозная оптимизация в промышленности
В этом посте я хочу рассказать о своем опыте разработки технологии, которая управляет интеллектуальными решениями, используемыми в промышленности, чтобы сделать их работу эффективнее и обнаружить скрытые выгоды для бизнеса.
https://habr.com/ru/articles/742162/

Революционный анализ данных с PandasGUI
PandasGUI обеспечивает беспрецедентно простой и эффективный анализ данных.
https://www.kdnuggets.com/2023/06/revolutionizing-data-analysis-pandasgui.html

Расширенные методы выбора функций для моделей машинного обучения
Освоение выбора функций: исследование передовых методов для контролируемых и неконтролируемых моделей машинного обучения.
https://www.kdnuggets.com/2023/06/advanced-feature-selection-techniques-machine-learning-models.html

Статистика и мониторинг PHP-скриптов в режиме реального времени. ClickHouse и Grafana обращаются за помощью к Pinba
В этой статье я объясню, как использовать pinba с clickhouse и grafana вместо pinba_engine и pinboard.
https://habr.com/ru/articles/449818/

Фундаментальные концепции переобучения и недообучения в машинном обучении
Этот модуль дает интуитивно понятное введение в очень фундаментальные концепции переобучения и недообучения в машинном обучении. Модели машинного обучения никогда не могут делать идеальные прогнозы: ошибка теста никогда не равна нулю. Этот провал происходит из-за фундаментального компромисса между гибкостью моделирования и ограниченным размером обучающего набора данных .
https://habr.com/ru/articles/738128/

Автоматический майнинг изображений
В предыдущих статьях мы рассказали, как создать фотогалерею с собственной поисковой системой. Но где нам найти изображения для нашей галереи? Нам придется вручную искать источники «хороших» изображений, а затем вручную проверять, является ли каждое изображение «хорошим». Можно ли автоматизировать обе эти задачи? Ответ — да.
https://habr.com/ru/articles/739550/

Расчет скидки за первый и последний этаж в Excel
В первой части иллюстрированной инструкции по проведению расчета величины скидки за первый и последний этаж был показан порядок сбора данных с сайтов объявлений силами Excel и первичный анализ собранных данных. Исходные данные разбиты по группам этажности
https://habr.com/ru/articles/740302/

20 проектов по машинному обучению, которые привлекут вас на работу
Если вы хотите выйти на рынок труда в области машинного обучения и науки о данных, вам нужно будет продемонстрировать свои навыки, особенно если вы самоучка, с помощью онлайн-курсов и учебных курсов. Портфолио проектов — отличный способ попрактиковаться в своем новом ремесле и предоставить убедительные доказательства того, что сотруднику следует нанять именно вас, а не конкурентов.
https://www.kdnuggets.com/2021/09/20-machine-learning-projects-hired.html

Глубокое обучение с R
Кого не забавляли технологические достижения, особенно в области искусственного интеллекта , от Alexa до беспилотных автомобилей Tesla и множество других инноваций? Я восхищаюсь достижениями через день, но еще более интересно, когда вы получаете представление о том, что лежит в основе этих инноваций.
https://www.kdnuggets.com/2023/05/deep-learning-r.html

Учим нейросеть принимать решения на основе уже известного опыта
Учим нейросеть играть в Шахматы, загрузив в нее датасеты уже сыгранных партий с известным результатом.
То есть никакого минимакса, деревьев и расчетов на несколько ходов вперед.
Идея в том, что если в нейросеть загрузить много партий, уже сыгранныx другими игроками, то нейросеть будет знать, как поступали другие игроки в соответствующих случаях и к какому результату это приводило.
https://habr.com/ru/articles/721818/

О вариативности результатов обучения нейронных сетей
В данной статье делаем по 10 запусков обучения на каждой паре (количество нейронов скрытого слоя, размера батча) и сравниваем результаты.
https://habr.com/ru/articles/738730/