Sber Developer News

​​Изменить сохранения Spark! Часть первая: разделяй и… сортируй

Хотите узнать, как обновлять таблицы в Hadoop, содержащие сотни терабайт данных?

🔸Мы расскажем о том, как мы добились уменьшения времени обновления с десяти-двенадцати часов, до тридцати-сорока минут, а использование вычислительных ресурсов при этом было уменьшено вдвое!

🔸В ходе работы была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.

🔸Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.

🔸Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами!

Читайте статью

​​SmartMarket Studio — единая среда разработки смартапов и доступ к сервисам и технологиям Сбера!

🔹Инструменты SmartMarket — в удобном кабинете разработчика

SmartMarket Studio — это единая среда и кабинет разработчика смартапов.

С помощью инструментов, доступных в SmartMarket Studio, пользователь может быстро и бесплатно обучить виртуального ассистента новым полезным навыкам, создать и опубликовать облачное приложение, развернуть базу данных.

🔹Для новичков и специалистов со стажем

И опытный программист, и начинающий разработчик найдут подходящий инструмент в SmartMarket Studio: от zero-code редактора до мощной IDE.

🔹Ваша будущая аудитория — миллионы пользователей

Смартап, созданный в SmartMаrket Studio, — это возможность независимым разработчикам и компаниям любого масштаба войти в экосистему Сбера и взаимодействовать с его многомиллионной аудиторией.

О каком инструменте SmartMarket Studio вам интересно было бы узнать больше?

🔹 Виртуальный персонаж Сбера Елена стала соведущей двух телепрограмм на канале РБК. Увидеть Елену на экране можно будет до 26 ноября в программах «Рынки» и «Календарь инвестора», а также в разделе «Видео дня» на главной странице РБК.

🔹 Аватара разработала команда Visper от SberDevices. Это фотореалистичный визуальный персонаж. Они бывают разными — от реального человека до мультипликационного героя.

🔹 Виртуальный персонаж может использоваться не только в СМИ, но и других сферах. Например, для помощи в навигации в госучреждениях, музеях, торговых или медицинских центрах. Кроме того, недавно персонажи, созданные на платформе Visper, научились говорить на английском языке.

​​Сразу два продукта Сбера стали лауреатами премии CES Innovation Awards в области инноваций. Международное жюри отметило умный ТВ-медиацентр с камерой SberBox Top и устройство для анализа общения персонала с клиентами SmartBadge.

ТВ-медиацентр с умной камерой и семейством виртуальных ассистентов Салют SberBox Top удостоился премии в категории «Домашние аудио/видео устройства и аксессуары». Умная камера и матрица из 6 микрофонов позволяют совершать видеозвонки на большом экране, свободно перемещаясь по комнате, а также управлять умным домом, играть в AR-игры и даже заниматься спортом и отслеживать правильность выполнения упражнений.

SmartBadge — это программно-аппаратный комплекс для анализа общения сотрудников с клиентами, который бесшовно интегрируется с системой речевой аналитики группы компаний ЦРТ.

Он стал лауреатом CES в категории «Носимые устройства». Это первое в своём роде изобретение на российском рынке, которое обладает возможностью разделения диалога по ролям в виде двух аудиодорожек — речь сотрудника и клиента — для их отдельного анализа.

Речевая аналитика решает сразу несколько задач: повышает качество обслуживания, обучает клиентов, разрешает спорные ситуации и анализирует запросы клиентов, а также повышает продажи и лояльность покупателей.

На портале для разработчиков developers.sber.ru запущен бесплатный обучающий курс SmartMarket for Everyone. Курс состоит из пяти уроков, рассказывающих о работе ассистентов Салют и о том, как создавать для них приложения.

Курс рассчитан на широкую аудиторию и поможет с нуля войти в разработку приложений для виртуальных ассистентов. Он подойдёт тем, кто не умеет программировать.

Курс анонсировал Иван Смирнов, руководитель платформы SmartMarket, на конференции AI Journey 2021.

Для обучения понадобится только доступ в интернет. Обучение займёт 5-6 часов.

Чтобы получить ссылку на курс, оставьте заявку на странице SmartMarket for Everyone.

​​Платформа SberCloud ML Space получила масштабные обновления

☑️ ML Space стала мультикластерной за счёт нового суперкомпьютера Christofari Neo c 700+ GPU Tesla A100 и другой высокопроизводительной инфраструктуры SberCloud. ML Space стала единственной в мире платформой на базе двух суперкомпьютеров с суммарной мощностью 1700+ GPU.

☑️ Команда Data Scientists ML Space собрала подборку из 30 базовых docker-образов с тремя тысячами встроенных инструментов. Базовые образы доступны в DataHub ML Space и содержат популярные библиотеки и фреймворки, а также учитывают зависимости для запуска на V100 и A100. А если предустановленных инструментов не хватило, на основе базовых образов пользователи могут создавать и запускать кастомные.

☑️ Стала доступна специальная версия — ML Space Private, а также гибридный сценарий. Часть платформы может быть установлена на железе клиента, а другая — реализовывать вычисления в облаке SberCloud. И это одновременно покрывает потребности в ИБ и сохраняет преимущества ML Space.

☑️ В платформе также обновлены модули:
— Environments — подключение к развёрнутым docker-образам по SSH;
— Deployments — запуск docker-образов с произвольной функциональностью и наполнением, улучшенный мониторинг, редактор кода;
— AutoML — кроме задач на табличных данных, стали доступны задачи NLP и Computer Vision, появились пользовательские отчёты и микросервис для получения пакетных предсказаний – Batch Prediction.

☑️ Были анонсированы ещё два новых модуля: AI Services — AppStore сервисов на базе ML-моделей с возможностью размещения; Pipelines для MLOps.

Платформа ML Space с Christofari Neo и обновлениями будет доступна с 1 декабря, а заявку можно подать уже сейчас.
В честь обновления платформы увеличен размер гранта для тестового доступа на ML Space: первым 100 клиентам — юридическим лицам будут доступны 180 000 рублей.

​​На конференции по искусственному интеллекту AI Journey 2021 Сбер презентовал модель генерации кода, основанную на нейросети ruGPT-3

Теперь нейросеть может дописывать код разработчика, находить в нём уязвимые места, а также переводить код с одного языка программирования на другой. В перспективе ruGPT-3 сможет трансформировать в код алгоритм, который произнесён голосом.

Поработать с сервисом в ближайшее время можно будет на платформе SmartMarket. Эта функция включена в инструментарий создания приложений для виртуальных ассистентов Салют.

Виртуальные ассистенты Салют стали работать на основе модели ruGPT-3

Ассистент Джой из семейства Салют стал первым в России, кто разговаривает при помощи генеративной модели естественного языка ruGPT-3 с 760 млн параметров.

Чтобы начать диалог, нужно сказать Джой: «Давай поболтаем». Пообщаться с ней можно на любом умном устройстве Sber, в мобильных приложениях Салют или СберБанк Онлайн, а также телевизорах под управлением Салют ТВ.

Еще один ассистент Салют — Сбер. Он не генерирует ответную реплику на лету, а использует огромную базу заранее заготовленных фраз, из которой выбирает самую подходящую. В диалоговом режиме ассистента Афины используются обе модели.

Другая модель AI — SBERT. Она позволяет представить текстовый запрос в виде поискового вектора и использовать его для эффективного поиска нужной информации.

Обновление представил руководитель команды Собеседника Денис Кирьянов во время международной конференции AI Journey 2021.

Переход к новой нейросетевой модели сделал ассистентов более эмпатичными: теперь они лучше понимают пользователей и дают оригинальные и неожиданные ответы на самые разные запросы. Попробуйте сами: просто скажите любимому ассистенту «Давай поболтаем».

​​Сегодня — заключительный день международной конференции AI Journey 2021

В начале сессии будут озвучены результаты исследования сервиса Работа.Ру среди россиян, которые рассказали, какие навыки помогут остаться востребованным в эпоху искусственного интеллекта.

В последний день конференции Иван Смирнов расскажет школьникам о новых обучающих возможностях в области технологий от SmartMarket. Отметим, программа этого дня направлена на тех, кто только делает первые шаги в мире искусственного интеллекта — школьников и студентов.

Спикеры также расскажут, насколько Сбербанк увеличил проникновение AI в продукты экосистемы, в каких HR-процессах используются виртуальные ассистенты и как Сбер обучил нейросеть ruGPT-3 писать код.

Итоги пленарной сессии подведёт Президент, Председатель Правления ПАО Сбербанк Герман Греф.

​​Нейросети сгенерировали музыкальный альбом и обложку

Сбер выпустил музыкальный альбом Thriving Machine, созданный с помощью нейронной сети. Она способна генерировать уникальные композиции разных жанров — эмбиент, поп, электро, рок, лаунж и классику. Послушать альбом, в который вошли разные жанровые композиции, можно в аудиосервисе СберЗвук.

Обложку альбома сгенерировала нейросеть eDALL-E. Она представляет собой коллаж из четырёх рисунков, которые были получены по запросу «процветающая вселенная» и «струнный оркестр галактики» на русском языке.

Теперь нейросеть ruDALL-E может генерировать картинки по запросу не только на русском, но и на иностранных языках. А в мобильном приложении Салют и на устройствах Sber создать картинку можно даже по голосовому запросу.

Сбер представил новый высокопроизводительный российский суперкомпьютер Christofari Neo

Он создан на базе технологий NVIDIA — мирового лидера в области искусственного интеллекта. Вычислительным ядром машины стал процессор NVIDIA А100 с 80 Гб памяти. Тензорные ядра А100 обеспечивают высочайшую производительность при работе с искусственным интеллектом, а большой объем памяти позволяет работать с массивами данных и весомыми ИИ-моделями.

Тестовый доступ к Christofari Neo получили команды SberDevices и Sber AI. Компьютер работает в тесной интеграции с платформой ML Space и Christofari, что позволит клиентам получать доступ к нужной мощности так же быстро, как и раньше.

​​Скидки в честь Зелёного дня!

Пользователей виртуальных ассистентов Салют к Зелёному дню ждут скидки и спецпредложения. Доставка продуктов со скидкой 15% на первый заказ, приятное предложение для геймеров в SberPlay, продление сервиса Okko еще на 14 дней за 1 рубль для пользователей SberPortal, SberBox и SberBox Top.

Кроме того, с 11 по 14 ноября 2021 года при покупках по карте СберБанка через виртуальных ассистентов Салют можно получить 18% бонусами.

Партнеры Сбера, работавшие над созданием приложений для виртуальных ассистентов Салют на платформе SmartMarket, тоже присоединились к Зелёному дню. Они предлагают скидки и специальные условия, предложения доступны 11 и 12 ноября. Детали можно посмотреть на сайте developers.sber.ru во время Зелёного дня (11 и 12 ноября).

Среди выгодных предложений — доставка нарезанных продуктов с рецептами со скидкой 30% через приложение Elementaree, скидка 10% от авиакомпании S7 Airlines.

Ищите в каталоге и другие предложения на умных устройства Sber и в приложениях СберБанк Онлайн и Салют.

11 ноября на AI Journey

Второй день AI Journey открывают заместитель Председателя Правительства РФ Дмитрий Чернышенко и первый заместитель Председателя Правления Сбербанка Александр Ведяхин.

Далее — Давид Рафаловский, исполнительный вице-президент Сбербанка с анонсом технологических продуктов Сбера.

Максим Ерёменко, директор Департамента развития искусственного интеллекта и машинного обучения, и Леонид Жуков, директор Лаборатории по искусственному интеллекту, расскажут о работе Института искусственного интеллекта (Artificial Intelligence Research Institute, AIRI).

На конференции выступит и Юрген Шмидхубер, директор лаборатории Института исследований искусственного интеллекта Далле Молле — IDSIA, чье участие стало традицией AI Journey.

Сегодняшний день на конференции завершится награждением победителей международного конкурса по искусственному интеллекту для детей.

​​Ассистенты Салют вызывают такси Ситимобил в приложениях Салют и Сбербанк Онлайн

Для вызова машины нужно просто открыть приложение и голосом сообщить ассистентам нужную локацию. Например, «Салют, закажи такси на Красную площадь».

Пользователи могут сохранить избранные адреса, например, дом или работа. Тогда достаточно сказать фразу «Такси домой», и программа покажет маршрут и стоимость поездки.

Заказать такси таким способом можно во всех городах присутствия Ситимобил. Возможность выбора дополнительных опций — детское кресло или перевозку животных — сохраняется.

Скоро ассистенты Салют помогут вызвать такси через умные устройства Sber: на смарт-дисплее SberPortal и умной ТВ-приставке SberBox.

Кроме того, оплатить поездку можно будет бонусами СберСпасибо.

​​Почему программное обеспечение «Low-Code» находится на переломном этапе

Период пандемии вызвал рост по всему миру потребности в IT-специалистах, так как в период удаленной работы возник повышенный спрос на обеспечение этого процесса. Но проблема заключается в том, что эта сфера и до пандемии испытывала сильный кадровый голод, который только существенно усугубился в этот период.

И здесь на первый план выходит концепция low-code, которая существует уже не один год. Ей неоднократно пророчили перспективу оставить программистов без работы, но этого не случилось, и такая радикальная формулировка все еще крайне далека от реальности.

Опыт Сбера подсказывает, что значительно рациональнее считать low-code разработку первыми шагами создания программного обеспечения.

Бывают ситуации, когда эти шаги становятся последними по разным причинам: скажем, мы осознали, что полученного результата достаточно, или пришли к выводу о том, что дальнейшее развитие не имеет перспектив.

Важно, что в любом случае мы имеем возможность экономить огромные ресурсы.

Второй момент, который мы осознали далеко не сразу: low-code инструмент всегда должен предоставлять возможность с любого шага развития перейти на обычную разработку либо возможность сочетать и обычное, и low-code программирование.

В таком виде low-code дает просто невероятный синергичный эффект и практическое увеличение производительности труда на порядок, отметил Сергей Кобец, руководитель разработки платформы SmartMarket.

Аналитики предсказывают, что уже к 2024 году около 65% всего программного обеспечения будет производиться с применением low-code подхода.

​​До международной онлайн-конференции AI Journey 2021 остался один день. Успейте зарегистрироваться!

Программа первого дня

«Общество, государство, бизнес | ESG»

В первый день конференции AI Journey 2021 участники обсудят широкий круг вопросов, касающихся разработки и внедрения ИИ: от роли новых технологий в области ESG и устойчивого развития до влияния ИИ на общественную жизнь и отдельные отрасли.

Вас ждут доклады от мировых экспертов в области AI & ML:

• Том Грубер, Humanistic.AI;
• Кэтрин Мор, Intuitive Foundation;
• Шукри Дабаги, SAS;
• Марк Хамильтон, NVIDIA;
• Сет Добрин, IBM;
• Ли Сюцюань, Министерство науки и техники Китая.

От SberDevices выступит Николай Савушкин, руководитель команды качества поиска. Он проведет мастер-класс «Как сделать поиск быстро и не ударить в грязь лицом», на котором вы сможете узнать, с какими трудностями столкнулась команда при разработке информационного поиска для голосовых ассистентов и как преодолела их в сжатые сроки.

Смотрите полную программу дня.

​​Выпущен CacheLib, движок кэширования с открытым исходным кодом Facebook для веб-сервисов

Кэширование играет важную роль в обеспечении эффективного доступа к информации. Например, когда приложение электронной почты загружается, оно временно кэширует некоторые сообщения, поэтому пользователь может обновить страницу без получения приложением тех же сообщений. Крупномасштабное кэширование долгое время было сложной задачей, так как необходимо сбалансировать скорость, которую ожидают клиенты, с поддержанием высокой производительности и рентабельности систем.

Результатом исследования компанией Facebook этой проблемы стал выпуск CacheLib, подключаемого механизма внутрипроцессного кэширования для совместного создания и масштабирования высокопроизводительных сервисов. Библиотека CacheLib C++ позволяет разработчикам создавать и настраивать масштабируемые и параллельные кэши с помощью простого API.

Кроме того, был открыт доступ к исходному коду CacheBench, — инструмента тестирования для оценки производительности кэширования при различных рабочих нагрузках.

CacheLib в данный момент используется в качестве внутрипроцессного кэша в более чем 70 крупномасштабных системах Facebook, включая социальный граф, сеть доставки контента, хранилище и временные кэши «ключ-значение».

#CacheLib

Сбер планирует открыть R&D-центр в Берлине

Об этом объявил исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии» Давид Рафаловский на технологической конференции Web Summit в Лиссабоне.

Центр откроется в Берлине и будет ориентирован на привлечение высококлассных IT-разработчиков, архитекторов и специалистов в области Machine Learning.

Планируется, что в центре будут работать профессионалы со всего мира над технологическими идеями Сбера, в том числе продуктами и сервисами SberDevices, SberCloud и SberAutoTech. R&D-центр начнет свою работу в I квартале 2022 года, после получения одобрения регулятора.

​​Как мы в Сбере формировали сообщество практики по автоматизации DevOps CI/CD

В Сбере работает большое количество команд и инженеров в них, что раньше приводило к разрозненному накоплению опыта этими сотрудниками, — то есть, не было «единой точки правды»: присутствовала низкая осведомленность о существующих лучших практиках, подходах и стандартах, которые можно применять в своей работе.

Это стало причиной длительной адаптации новых сотрудников и отсутствия оперативной помощи по возникающим вопросам.

Для решения этих проблем мы создали сообщество по обмену практическими наработками.

Итогами работы сообщества стало:
• появление «единой точки правды»;
• разработка подробных how-to (step-by-step) по реализации CI/CD;
• оперативная помощь в решении проблем;
• время входа новых сотрудников и команд уменьшилось в 3 раза.

Читайте статью целиком в нашем блоге на Хабре

Сбер создал первую мультимодальную нейросеть ruDALL-E, которая генерирует изображения на основе текста на русском языке. Её можно использовать сразу в нескольких сферах: для генерации интерьерного, архитектурного и промышленного дизайна, рекламных материалов, стоковых изображений, копирайтинга.

Создание изображений происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок. Вторая выбирает, какие из них наиболее удачны и максимально соответствуют описанию. Третья нейросеть увеличивает их в размере без потери качества.

По заданному описанию ruDALL-E позволяет создавать неограниченное число новых изображений. Протестировать нейросеть уже можно на сайте.