DataTalks

Автопереобучение моделей в Production. В статье рассматривается процесс автоматического переобучения моделей ML с использованием инструментов MLOps. Модели машинного обучения становятся критически важными для бизнеса, помогая оптимизировать процессы и принимать обоснованные решения, но актуальность и точность моделей может быстро снижаться из-за изменения данных. Автоматическое переобучение моделей в продакшене решает эту проблему, обеспечивая обновление и улучшение моделей без значительных временных затрат.

NLP, Catboost и тематическое моделирование. Статья рассматривает использование новостей и создание ML модели для создания прогнозов в различных областях и отраслях на примере рынка сельскохозяйственных удобрений.

Эксперименты Илона Маска над чипированием людей продолжаются, и он предсказывает, что в будущем люди перестанут пользоваться телефонами и будут использовать мозговые импланты для звонков, СМС и действий в интернете силой мысли.

Исследователи МФТИ провели тестирование цифровой модели и функционального образца робота-гуманоида. Сейчас крупные автопроизводители производители BMW, Mercedes и представители цифрового ритейла, в частности, Amazon, делают первые тесты с человекоподобными роботами у себя на конвейере и на складах. А McDonald’s завершил двухлетний эксперимент с ИИ. Крупная сеть ресторанов "увольняет" искусственный интеллект и заменяет его на естественный. Произошло это из-за большого количества ошибок цифрового коллеги.

🟣 Подборка вакансий в направлении развития Платформы управления данными Ростелекома

🔔 Мы собрали для вас подборку актуальных вакансий в направлении развития Платформы управления данными Ростелекома — собственных продуктов компании, которые позволяют хранить и обрабатывать петабайты информации.

Если вы увлечены большими данными и хотите быть частью команды, создающей инновационные решения для обработки и хранения данных, эти вакансии для вас!

Ansible писатель

Инженер технической поддержки

Database Administrator (DBA) Greenplum

Hadoop Administrator/Data Engineer

Инженер технической поддержки

DevOps Инженер

Минцифры России запустило тестирование технологии GPT на «Госуслугах». Тестируются решения от «Яндекса» и «Сбера» (YandexGPT и GigaChat), обучая их на жалобах граждан, сообщениях чиновников и ответах операторов колл-центров. Первые результаты закрытого тестирования технологии GPT на портале «Госуслуг» ведомство планирует представить в сентябре 2024 года.

«Яндекс» выложил в свободный доступ код YaFSDP. Библиотека YaFSDP от «Яндекса» способна до 25% ускорить обучение больших языковых моделей (LLM). Помимо этого YaFSDP позволяет сократить расходы на оборудование для обучения моделей. Исходный можно найти на GitHub

Собрали для вас интересные статьи за последнюю неделю, в которых подробно и интересно рассматриваются вопросы про работу ИИ.

▶️ Беспилотные автомобили. Статья о том, с какими проблемами и сложностями работают создатели беспилотных технологий при распознавания объектов и интерпретации данных. А также о том, как используется машинное обучение в развитии беспилотных автомобилей.

▶️Машинное обучение. Статья про то, как вообще работает машинное обучение, какие основные принципы и механизмы заложены в его основу. Коллеги рассказывают про метод опорных векторов (SVM), байесовские сети (BN), деревья решений и случайные леса, а также дают инструкцию по началу работы с ML в Python.

▶️Видеокарты. Статья рассматривает выбор графических процессоров (GPU) для обучения языковых моделей. В статью рассматривают различные графические процессоры, включая Nvidia H100, GeForce RTX 4060 Ti и Tesla V100-SXM.

Ученые из Университета Уорика используют искусственный интеллект для анализа космических взрывов. Астрономы до сих пор не знают точно, как или почему происходят эти сверхновые. Новое исследование будет использовать машинное обучение для ускорения экспериментов по сверхновым, это поможет выяснить, как происходят космические взрывы, сравнивая модели взрывов с реальными наблюдениями.

Международная группа ученых разработала новый алгоритм на основе нейронных сетей, который поможет астрономам обнаруживать землеподобные экзопланеты. Пока алгоритм тестировался только на синтетических данных - ученые применили свой алгоритм к трем звездам для проверки способности алгоритма идентифицировать экзопланеты в данных о звездной активности. Алгоритм успешно идентифицировал имитированные экзопланеты.

Т1 Искусственный интеллект и «Ростелеком» объявили о начале долгосрочного сотрудничества.

Соглашение между компаниями, подписанное в рамках Петербургского международного экономического форума (ПМЭФ-2024), направлено на совместную работу по созданию и развитию перспективных решений в области искусственного интеллекта и управлению данными. Стороны объединят усилия для продвижения на рынке продуктов «Платформы управления данными» «Ростелекома», с помощью которой можно заместить решения Oracle, Cloudera, Teradata, IBM, SAP и других вендоров. Подробнее по ссылке

Развитием Платформы управления данными занимается ДЗО Ростелекома - Тдата

ТИБО: сессия «Цифровое развитие. Эра искусственного интеллекта»

Сергей Носов, вице-президент, директор по искусственному интеллекту и управлению данными ПАО «Ростелеком», рассказал, где применяется ИИ внутри компании и в каких направлениях его предлагается развивать дальше.

Полная трансляция

Neuralink хочет привлечь еще 3 пациентов с параличом нижних конечностей для участия в испытаниях интерфейса управления мозгом.

Нолан Арбо стал первым человеком, которому установили мозговой имплант от компании Neuralink. Арбо использует имплант почти весь день для общения в социальных сетях, изучения языков и чтения комиксов.

При этом занимается экспериментами с нейроимплантами не только Илон Маск. Компания Neuralink Rival установила рекорд по использованию мозговых чипов, установив 4096 электродов на человеческий мозг. Компания ставит перед собой цель использовать свой интерфейс мозг-компьютер для восстановления речи и движений у пациентов.

Фонд Джереми Коллера и Тель-Авивский университет запустили проект Coller Dolittle Challenge для межвидовой двусторонней коммуникации. Ученые предлагают премию в размере 10 миллионов долларов за создание реальных диалогов с животными. На текущем этапе исследователи уже разработали алгоритмы машинного обучения для перевода писка летучих мышей и расшифровки эмоций свиней и грызунов.

С 29 мая 2024 Greenplum, на базе которого многие российские компании строили аналитическое хранилище данных перестал быть open source.

Компания «Ростелеком» готова поддержать всех участников рынка, столкнувшихся с последствиями закрытия репозитория и помочь с миграцией хранилищ данных на надежный и стабильно развивающийся дистрибутив своей Платформы управления данными.

Подробнее в статье

30 мая на Дата Саммите DIS Group прошла пресс-конференция.

На пресс-конференции «Ростелеком» и DIS Group договорились о расширении сотрудничества в области управления данными. DIS Group расширит свою линейку в области работы с данными решениями от компании «Тдата», чтобы комплексно решать потребности своих заказчиков и партнеров.

Подробности читайте по ссылке

🦾 Платформа управления данными - один из лидеров российского рынка систем управления и обработки данных

Центр стратегических разработок провел исследование рынка систем управления и обработки данных в России.

В опубликованном отчете содержится оценка динамики рынка управления данными в Российской Федерации, а также прогноз развития на 2024–2030 гг. Согласно отчету, продукты Платформы управления данными ПАО "Ростелеком" показывают отличную динамику год от года и уже занимают 7% рынка аналитических СУБД. Мы входим в ТОП-5 общего рынка СУБД и средств управления данными, а также в ТОП-3 рынка аналитических СУБД и занимаем 2е место по платформе Hadoop.

Подробнее читайте в статье

Сервис для заказа городских поездок Drivee разработал собственную систему модерации заказов на базе машинного обучения. Система позволяет распознавать и классифицировать загружаемый контент от пользователей: некорректные аватары, имена пассажиров и комментарии к заказам. Модерация на базе машинного обучения сокращает нагрузку на ручную работу модераторов и улучшает опыт использования сервисом.

"Инфосистемы Джет" создала сервис на основе языковой модели YandexGPT для автоматизации работы сервисного центра. Алгоритм на базе нейросети определяет тематику обращений в техническую поддержку и автоматически готовит ответы на запросы. Сервис помогает диспетчерам и инженерам работать быстро и качественно, автоматизируя обработку 30% из 13 тыс. запросов.

В "Ростелекоме" чат-боты для технической поддержки абонентов используются с 2022 года. Около 30% обращений закрываются без привлечения сотрудников, и при этом удовлетворенность пользователей стремится к 90%.

Компания Neuralink получила разрешение на вживление нейроимпланта в мозг второму пациенту. И сейчас компания Илона Маска ищет добровольцев.

Напомним, что в конце января Маск сообщил о вживлении первого импланта Neuralink в мозг человека. Впоследствии сообщалось, что он уже может играть в шахматы и другие игры на компьютере «силой мысли». Но позднее компания сообщила о проблемах с имплантом. Несколько тончайших нитей-контактов, которыми чип подключён к мозгу человека, отсоединились, но проблему удалось решить без повторной операции: с помощью обновления программного обеспечения.

При чипировании второго пациента компания обязалась устранить проблемы, для этого ультратонкие провода будут внедряться глубже в мозг следующего пациента.

16 мая прошла торжественная церемония награждения премии для data-driven организаций и директоров по данным Data Award.

🟣 Три проекта дата-кластера Ростелекома стали победителями премии:
рекомендательные модели для B2B клиентов, платформа TeqViser и программа обучения "Дата-инженер"