Arenadata

😏 ADH Cloud 1.4.0: новые возможности Spark в Kubernetes

Группа Arenadata представила новую версию модуля ADH Cloud для универсальной гибридной платформы данных Arenadata Hyperwave (ADH).

❕Главный акцент релиза — развитие экосистемы Spark в Kubernetes: управление жизненным циклом приложений, распределение ресурсов и анализ истории выполнения задач.

Ключевые изменения в ADH Cloud 1.4.0

🔹Оператор Spark — автоматизирует жизненный цикл приложений: от развёртывания и масштабирования до очистки ресурсов.
🔹YuniKorn — управляет очередями задач и распределением ресурсов между пользователями и командами.
🔹Celeborn — переносит shuffle-операции во внешнее хранилище, позволяя запускать Spark на рабочих узлах без физических локальных дисков.
🔹Spark History Server — сохраняет историю выполнения приложений для анализа логов, метрик и статусов после завершения работы.

Другие обновления релиза:

☑️ Интеграция с Prometheus и VictoriaMetrics для сбора метрик состояния оператора Kerberos.
☑️ Использование предварительно созданных секретов Kubernetes с централизованным хранением.
☑️ Расширение возможностей Arenadata Cloud CLI: команда adc list позволяет быстро получить информацию о текущем состоянии инфраструктуры.

📞 Иван Никерин, технический менеджер продукта, Cloud & Data Services:

Тонкое управление вычислительными нагрузками — следующий шаг после запуска движков в Kubernetes. YuniKorn и Celeborn закрывают исторические ограничения Spark в контейнерной среде: непредсказуемое распределение ресурсов между командами и зависимость от локальных дисков.

Подробнее >>

#ArenadataHyperwave #ADHCloud

🎥 Команда Picodata выпустила короткое обучающее видео для тех, кто рассматривает замещение Redis — популярной in-memory СУБД с открытым исходным кодом.

На примере Radix — Redis-совместимого плагина для Picodata — показан процесс развёртывания решения с помощью Ansible.

Из видео вы узнаете:

🔹Как развернуть кластер Picodata с помощью Ansible.
🔹Как установить и настроить плагин Radix.
🔹Как подключить плагин к кластеру.

🇺🇦 Смотреть на YouTube

⚙️ Ранее команда Picodata провела нагрузочное тестирование Radix и Redis, сравнив пропускную способность, задержки и стабильность работы при нагрузке.

➡️Результаты и методика тестирования — на сайте >>

#Picodata #Radix #Redis

💚Российский АПК активно внедряет цифровые технологии: агродроны, спутниковый мониторинг и телематику. Но как превратить накопленные данные в реальный экономический эффект?

📞 В новой статье Максим Власюк, директор по работе с корпоративным сектором Группы Arenadata, разбирает, как аналитика данных помогает агропредприятиям управлять себестоимостью и повышать эффективность производства.

Современный парк техники не даёт преимущества, если производственный отчёт месяц сводится вручную; регулярные спутниковые снимки малополезны, если их нельзя сопоставить с фактической урожайностью и затратами; модель ИИ не компенсирует разрывы и ошибки в обучающей выборке. После нескольких лет активной цифровизации отрасль подошла к более сложной задаче: научиться управлять не отдельными технологиями, а данными, которые они производят.

Вы узнаете:

🔹Как точное земледелие помогает управлять урожайностью.
🔹Как телеметрия выявляет простои техники и перерасход топлива.
🔹Как аналитика помогает управлять экономикой животноводства.
🔹Почему качество данных критически важно для внедрения ИИ.

Подробнее >>

#АПК #МнениеЭксперта

🎥 ADQM & ADQM Control: запись вебинара и презентация уже доступны

Для тех, кто пропустил прошедший 6 августа вебинар об обновлениях Arenadata QuickMarts или хочет вернуться к отдельным темам, собрали запись и презентацию в одном посте.

В материалах вебинара:

🔹ADQM: резервное копирование ADQMDB, развитие собственного форка и улучшение пользовательского опыта.
🔹ADQM Notebook: масштабирование, Dependency Graph и другие обновления.
🔹ADQM Control: анализ загруженности хостов и хранимых сущностей, предиктивное обнаружение проблем.
🔹Планы развития продуктов и ответы на вопросы участников.

📃 Скачать презентацию

Смотрите запись:

YouTube | Rutube | VK Видео

#ArenadataQuickMarts

🏭ИИ, промышленный интернет вещей и цифровые двойники уже помогают нефтегазовым компаниям оптимизировать производство. Однако при масштабировании решений возникают сложности с качеством данных и интеграцией существующих систем.

В материале «Российской газеты» Максим Власюк, директор по работе с корпоративным сектором Группы Arenadata, рассказал, почему масштабирование цифровых решений требует системного подхода к управлению данными:

Главной проблемой все чаще становится не отсутствие технологий, а сложность их масштабирования на реальное производство. Пилот можно построить на одном месторождении, но при переходе к десяткам предприятий часть отработанных процессов ломается. Отрасль постепенно движется к созданию непрерывного цифрового контура управления производством, в котором информация с оборудования поступает практически в режиме реального времени, объединяется с инженерными и историческими данными, анализируется алгоритмами и сразу используется для корректировки производственных сценариев.

❕ Чтобы ИИ мог прогнозировать отказы оборудования или рекомендовать режим добычи, ему необходимы достаточно длинная и качественная история показаний, понятный контекст данных и возможность сопоставлять информацию из разных систем.

💡Компании, которые заранее выстроили системную работу с производственными данными, быстрее получают отдачу от ИИ и цифровых двойников.

Подробнее >>

#МнениеЭксперта #Промышленность

👍HeadHunter сделал Arenadata Catalog рабочим инструментом для аналитиков, дата-инженеров и ИИ-агентов

HeadHunter завершил внедрение Arenadata Catalog — теперь аналитики и дата-инженеры используют систему для поиска и описания данных, работы с их владельцами и связями между объектами. Накопленные метаданные также используются во внутренних ИИ-сценариях.

Масштаб и охват ландшафта данных:

🔹5,8 ПБ — объём аналитического хранилища, охваченного каталогом;
🔹99 590 таблиц описано и 487 баз данных отсканировано;
🔹1 203 Kafka-топика;
🔹1 768 дашбордов;
🔹> 200 KPI и бизнес-терминов описано в системе.

➡️Востребованность каталога подтверждает и внутренний опрос HeadHunter: 72% респондентов регулярно используют Arenadata Catalog для поиска описаний таблиц, схем и колонок.

📞 Селим Алкадарский, руководитель направления Data Platform HeadHunter:

Когда мы поняли, что потребности в компании в дата-каталоге всё время растут, развивать свой продукт стало нерационально. В итоге экономически эффективнее оказалось взять решение с рынка. Для нас было важно не только закрыть текущие потребности, но и выбрать решение с понятной перспективой развития.

Подробнее >>

#HeadHunter #ArenadataCatalog

6️⃣ В нашем блоге на Хабре вышла новая статья о плагинах в Picodata — механизме, который позволяет расширять возможности СУБД и реализовывать собственную логику на Rust прямо внутри процесса базы данных.

Автор — Дмитрий Кольцов, начальник отдела решений Picodata. На примере плагина croner в материале разбирается работа с плагином: от его структуры и настройки до сборки, установки и запуска в кластере.

💡Вы узнаете:

🔹зачем переносить часть логики приложения в плагин Picodata и в каких сценариях это может быть полезно;
🔹как устроен плагин Picodata и какие возможности для работы с СУБД предоставляет SDK;
🔹как задаются конфигурация, миграции и сервисы плагина;
🔹как собрать и установить плагин в кластер Picodata;

☑️ Кому будет полезно?

Rust-разработчикам, разработчикам СУБД и backend-сервисов, архитекторам и инженерам, которые работают с Picodata и хотят расширять возможности системы под собственные задачи.

Читайте и комментируйте на Хабре >>

#Picodata #Rust #Хабр

⚡️ADQM Notebook и ADQM Control появились в официальной документации 😆 ClickHouse

ADQM Notebook и ADQM Control представлены в официальной документации ClickHouse — в разделе Commercial на странице Visual Interfaces from Third-party Developers.

Оба решения развиваются вокруг Arenadata QuickMarts (ADQM) — кластерной колоночной СУБД Arenadata на базе ClickHouse.

➡️ADQM Notebook дополняет стандартный веб-интерфейс ClickHouse. В нём можно работать с SQL и markdown-ячейками, смотреть результаты и планы выполнения запросов, получать статистику из системных таблиц, исследовать связи между объектами базы.

➡️ADQM Control помогает следить за кластером ADQM и анализировать его состояние. Он собирает в одном интерфейсе метрики Prometheus и данные о хостах, таблицах и запросах.

📞 Дмитрий Безруков, технический руководитель Arenadata QuickMarts:

С upstream-сообществом ClickHouse мы взаимодействуем уже более семи лет, и у нас в команде есть опытные разработчики самой базы данных. Как результат, за эти годы компания периодически попадает в число топ мировых контрибьюторов в ядро ClickHouse. Мы давно развиваем вокруг ADQM собственный набор решений для работы с запросами, анализа и эксплуатации кластеров, выстраивая полноценную замкнутую экосистему для наших клиентов. Включение ADQM Notebook и ADQM Control в официальную документацию ClickHouse знаково для нас тем, что теперь информация о них представлена там, где профильные специалисты ищут инструменты для работы с СУБД.

Подробнее >>

#ArenadataQuickMarts #ClickHouse

🏭 ИИ всё активнее применяется в промышленности — для прогнозирования отказов, оптимизации ремонтов и энергопотребления, контроля качества. Но эффективность таких решений во многом зависит от того, насколько система управления данными готова к использованию искусственного интеллекта.

📞 В новой статье Максим Власюк, директор по работе с корпоративным сектором Группы Arenadata, рассказал, как подготовить данные к промышленному применению ИИ и какую роль в этом играет каталог данных.

Из материала вы узнаете:

🔹зачем ИИ нужны не только большие объёмы данных, но и контекст, качество и единая трактовка;
🔹как каталог связывает технические метаданные, бизнес-термины, Data Lineage, правила качества и ответственность за данные;
🔹как Data Governance, MDM и управление НСИ помогают выстроить управляемую среду для ИИ;
🔹почему ИИ-пилоты часто не доходят до промышленной эксплуатации.

📊 По данным опроса Arenadata на ArenaDAY 2026, более 60% респондентов считают Data Governance и качество данных критически важными для эффективного использования ИИ. При этом каталоги данных и MDM полностью внедрили только 10% организаций, частично — 41%.

💡 Каталог данных не решает все задачи промышленного ИИ сам по себе. Но вместе с Data Governance, Data Quality, MDM и Data Lineage он формирует инфраструктуру доверия, без которой сложно масштабировать модели и использовать их в производственных процессах.

Подробнее >>

#DataGovernance #ИИ

👍Arenadata Catalog — самое сбалансированное решение в новом исследовании «Круги Громова 2026»

Опубликовано исследование российского рынка Data Catalog «Круги Громова 2026». Авторы сравнили семь отечественных платформ по 325 критериям, объединённым в 5 групп и 39 подгрупп.

По результатам исследования Arenadata Catalog (ADC) показал лучший результат в четырёх из пяти групп критериев:

🔹91% — функциональные возможности
🔹91% — импортозамещение и локализация
🔹92% — нефункциональные требования
🔹95% — бизнес-аспекты и экосистема

➡️Среди сильных сторон Arenadata Catalog авторы отмечают сбалансированность функционального и эксплуатационного контуров, зрелое управление метаданными, развитый Data Lineage и развитие продукта вокруг реальных внедрений и продуктовой экосистемы Группы Arenadata.

❕ADC — единственный среди сравниваемых платформ с сертификатом ФСТЭК России по 4 УД.

☑️ По совокупности критериев продукт назван одним из наиболее зрелых российских решений в категории Data Catalog/Data Governance.

Скачать PDF-версию исследования >>

#ArenadataCatalog #DataGovernance

6️⃣ В нашем блоге на Хабре вышла новая статья о том, что происходит внутри Kafka между вызовом producer.send() и записью сообщения в лог.

Автор — Максим Шуматбаев, инженер технической поддержки Arenadata. В материале рассматриваются внутренние механизмы Kafka со стороны клиента: как приложение находит нужный брокер, формирует и отправляет сообщения, получает подтверждения и использует механизмы защиты от потерь и дублей. Отдельно — о ситуациях, когда проблема выглядит как сбой кластера, но связана с клиентом, сетью или конфигурацией.
 
💡 Из статьи вы узнаете:

🔹как клиент находит leader нужной partition и обновляет метаданные;
🔹что происходит после send(): от выбора partition и batching до ProduceRequest и ACK;
🔹как acks, ISR и min.insync.replicas влияют на надежность записи;
🔹откуда появляются дубли и как работают retries и idempotence;
🔹почему некоторые проблемы, похожие на сбой кластера, могут быть связаны с клиентом, сетью или конфигурацией.

☑️ Кому будет полезно?

Разработчикам и архитекторам распределенных систем, data/platform engineers, администраторам Kafka и специалистам сопровождения — всем, кто работает с Kafka в production и разбирает проблемы с записью сообщений, задержками, дублями и отказоустойчивостью.

Читайте и комментируйте на Хабре >>

#Kafka #Habr

🎥 Напоминаем: уже завтра в 11:00 мск пройдёт вебинар «Luma: объединяем Data Governance, BI и ИИ».

📱 Покажем, как ИИ-ассистент в Luxms BI помогает бизнес-пользователям самостоятельно создавать визуализации с помощью запросов на естественном языке, а также разберём интеграцию Luxms BI с Arenadata Catalog.

В программе:

🔹Arenadata Catalog 1.0 и Luxms BI 12: ключевые возможности новых версий.
🔹ИИ-агенты и агентная автоматизация: описание данных, создание дашбордов и автоматизация рутины.
🔹Luma: преимущества интеграции Arenadata Catalog и Luxms BI.
🔹Единая цифровая среда: единая авторизация и бесшовный переход между системами.
🔹Практические сценарии: демонстрация совместной работы Arenadata Catalog и Luxms BI.

📆 8 сентября
⏱️ 11:00 мск
➡️ Регистрация >>

#ArenadataCatalog #LuxmsBI #Вебинар

⚡️Picodata получила обновлённый сертификат ФСТЭК по 4 уровню доверия

Cертификат выдан для Picodata 26.1.4 и также охватывает плагины Sirin, Radix и Argus.

Ключевые изменения:

☑️расширина сфера применения СУБД за счёт использования плагинов:
🔹 Sirin — поддержка API Apache Cassandra;
🔹 Radix — совместимость с Redis;
🔹 Argus — синхронизация учётных данных между LDAP/LDAPS и Picodata.

☑️включены исправления и улучшения основного кода Picodata 26.1.4;

☑️включены исправления и улучшения обновлённых версий плагинов, в том числе поддержка TLS/mTLS в Radix и LDAP в Argus.

💡4 уровень доверия предусматривает дополнительные требования к модели безопасности, процессам разработки ПО и тестированию на уязвимости. Это гарантирует, что в продукте Picodata нет скрытых функций.

Подробнее >>

#Picodata

Arenadata и Identity Blitz объединили усилия для защиты потоковых данных ☑️

Завершено тестирование на функциональную совместимость сервера аутентификации Blitz Identity Provider и системы потоковой передачи данных Arenadata Streaming (ADS).

➡️ Интеграция решений обеспечила замену зарубежных брокеров сообщений (Kafka и RabbitMQ) для высоконагруженных асинхронных взаимодействий. Теперь сервер Blitz Identity Provider использует Arenadata Streaming как надежный российский аналог в качестве сервиса очередей.

📞Михаил Ванин, генеральный директор Identity Blitz:

«Сегодня российский ИТ-рынок решает задачу комплексной замены западных технологий, и эта интеграция — прямой ответ на запрос бизнеса о бесшовном переходе. Потоковая обработка данных стала "кровеносной системой" любой крупной компании. Симбиоз Arenadata Streaming и Blitz Identity Provider даёт рынку готовое коробочное решение для самого сложного этапа миграции — сохранения уровня безопасности корпоративного (Enterprise) уровня без потери производительности».

📞Антон Близгарёв, директор по развитию бизнеса Группы Arenadata:

«Arenadata стремится развивать партнёрскую экосистему, чтобы заказчики получали комплексные и безопасные решения на базе отечественных технологий. Совместимость Arenadata Streaming с Blitz Identity Provider является наглядным ответом на запрос рынка и подтверждением того, что продукт востребован как ключевой элемент для задач потоковой загрузки и обработки данных в крупнейших российских компаниях».

Подробнее ⏩️

🗂 Как связать каталог данных с корпоративным ИТ-ландшафтом?

В крупной компании данные распределены между СУБД, хранилищами, BI-платформами, пайплайнами, ML-сервисами и корпоративными приложениями. Чтобы каталог отражал реальную картину, ему важно видеть все эти системы и связи между ними.

В новой статье Игорь Моисеев, директор по развитию бизнеса DataCatalog, подробно разобрал, как работают коннекторы Arenadata Catalog, какие задачи они решают и как помогают встроить каталог в корпоративный ИТ-ландшафт.

⚙️ Что дают коннекторы:

🔹автоматизируют инвентаризацию метаданных;
🔹помогают строить сквозной Data Lineage;
🔹позволяют профилировать данные и выявлять проблемы качества;
🔹связывают технические объекты с бизнес-терминами и владельцами;
🔹поддерживают каталог в актуальном состоянии при изменениях ИТ-ландшафта.

❕Arenadata Catalog поддерживает автоматизированное сканирование метаданных более чем из 70 типов источников — от СУБД и BI-платформ до потоковых систем, ML-сервисов и объектных хранилищ.

Для интеграции можно использовать готовые коннекторы Arenadata Catalog, решения, разработанные с партнёрами, или кастомные коннекторы заказчика.

💡Так каталог превращается из статичного реестра в единую, регулярно обновляемую карту корпоративных данных, которая помогает развивать аналитику, Data Governance, управление качеством данных и новые ИИ-сценарии.

Подробнее о возможностях коннекторов ADC >>

#ArenadataCatalog #DataGovernance

Как управлять данными в тревел-индустрии ✈️

Туристический рынок меняется стремительно: персонализация, автоматизация, аналитика и ИИ — это уже не тренды будущего, а повседневные задачи. Рано или поздно любой бизнес задается вопросом: как организовать работу с данными так, чтобы процессы стали прозрачными для всей команды?

📞В новой статье эксперт Arenadata, Максим Власюк, директор по работе с корпоративным сектором, рассказывает о роли каталогов данных:

🔹почему поиск данных без каталога превращается в сложный квест;
🔹как выстроить эффективную систему работы с данными;
🔹как каталог и встроенный в него глоссарий помогают дата-инженерам, аналитикам и бизнес-пользователям понимать происхождение данных (lineage) и их взаимосвязи;
🔹почему интеграция ИИ и умного поиска невозможна без участия каталога.

👆Каталоги данных не решают все проблемы отрасли — они не заменят качественный сервис или работу с клиентским опытом. Но именно такие решения держат на себе умный поиск, рекомендации и аналитику. Это «тихий фундамент», который скрыт от глаз пользователя, но без которого современный тревел-сервис рискует потерять устойчивость.

Подробнее⏩️

#Arenadata #DataCatalog

Результаты Группы Arenadata за 1 полугодие 2026 года 👍

Уважаемые инвесторы и акционеры!

Представляем вам финансовые результаты Группы Arenadata по МСФО за 6 месяцев 2026 года.

Ключевые показатели:

☑️Консолидированная выручка увеличилась на 86% г/г и составила 2,5 млрд рублей. Рост доходов был обеспечен более высоким спросом на лицензии СУБД, а также расширением технической поддержки благодаря появлению новых клиентов.

☑️OIBDA, скорректированная на программу долгосрочной мотивации сотрудников, составила (409) млн рублей, что в 2,8x выше аналогичного показателя 2025 г. Отраслевой показатель OIBDAC – (453) млн рублей, это в 3,2x выше 1П 2025 г. Основной объем продаж традиционно ожидается в 4 квартале 2026 г. ввиду сезонного характера бизнеса.

☑️Чистая прибыль — (347), управленческая чистая прибыль (NIC) — (243) млн рублей. Компания продолжает вести консервативную политику по капитализации расходов на разработку, признавая расходы в отчетном периоде. CAPEX за 6 месяцев 2026 года — 44 млн рублей.

☑️Группа Arenadata не имеет долговой нагрузки. Отрицательный чистый долг на 30.06.2025 достиг (1,6) млрд рублей. Рост бизнеса в отчётном периоде был обеспечен собственными средствами.

Подробнее о нашем продуктовом развитии и корпоративных событиях читайте в пресс-релизе ↗️

📊Финансовый прогноз на 2026 год

Ввиду сохраняющейся макроэкономической неопределенности и высокой ключевой ставки Группа уточняет финансовый прогноз по росту выручки на 2026 год: рост выручки составит не менее 20%.

📞Алла Голова, финансовый директор Группы Arenadata,
прокомментировала:

«Результаты 1 полугодия соответствуют нашим планам по масштабированию
бизнеса и продуктовому развитию в текущей макроэкономической ситуации. Расширяющаяся клиентская база подтверждает заинтересованность крупного бизнеса и государственных организаций в российских решениях для аналитики и управления данными. В структуре выручки, помимо продаж лицензий, заметно растет сервисная составляющая, которая обеспечит возобновляемый доход в следующих периодах. Финансирование роста за счет собственных средств вкупе с рыночным спросом и пристальным контролем над операционной эффективностью позволяет нам с уверенностью смотреть во 2 полугодие и исполнять прогнозы, озвученные инвесторам и акционерам».

❕Сегодня в 10:30 (мск) состоится прямой эфир, на котором мы ответим на все ваши вопросы. Подключиться>>

#DATA
#Финансовыерезультаты