Sber Developer News

​​Технология Tiny Machine Learning (TinyML) — это прорыв в области ИИ, позволяющий создавать портативные недорогие устройства, с помощью которых происходит решение ML-задач.

Концепция TinyML стремится к созданию устройств, которые обладают такими свойствами:

• не требуют больших вычислительных ресурсов (достаточно микроконтроллера);
• обладают малым энергопотреблением (менее 1 милливатта, что позволяет устройству работать до года от обычной «таблеточной» батарейки);
• работа алгоритмов происходит на самом устройстве, без отправки данных на сервер (нет зависимости от нестабильной сети передачи информации).

Разработка успешных TinyML-систем является достаточно сложной инженерной и научной задачей, так как требует объединения воедино многих дисциплин для достижения максимальной производительности.

Технология активно развивается и позволяет желающим экспериментировать с машинным обучением, например, воспользовавшись библиотекой Tensorflow Lite — облегчённым решением TensorFlow для мобильных и встроенных устройств. Она обеспечивает работу с малой задержкой благодаря небольшому размеру двоичного файла, высокой производительности и поддержке аппаратного ускорения.

Здесь вы можете ознакомиться с множеством вариантов готовых решений на базе этой библиотеки. Среди них: классификация изображений, обнаружение объектов, ответы на вопросы (с использованием распознавания естественного языка) и множество других применений.

Кроме TensorFlow, есть ещё пара интересных проектов, развивающих идею IoT:

Core ML
библиотека, позволяющая реализовывать ML-решения в среде операционной системы iOS;

PyTorch Mobile
библиотека машинного обучения, позволяющая создавать мобильные решения в сфере ИИ в среде операционных систем iOS и Android.

По прогнозу ABI Research, уже к 2030 году 2,5 миллиарда устройств будут включать в себя интеллектуальные технологии TinyML.

​Visual Positioning System — это сервис, который определяет положение камеры пользователя в трёхмерном пространстве с высокой точностью. Это позволяет разместить трёхмерную графику в слое дополненной реальности в мобильном приложении с точной привязкой к нужной локации как на улице, так и в помещениях. Интегрировать сервис в приложение можно с помощью Visual Positioning System SDK, который сейчас доступен для платформ iOS , Unity и Android.

Возможности SDK:

• Высокая точность
Позволяет разместить AR-контент с максимально точной
привязкой к локации как на улице, так и в помещении

• Быстрый ответ сервера
Высокая скорость работы сервера позволяет мгновенно
отображать AR-контент в приложении

• Простая интеграция
С библиотекой Visual Positioning System SDK
интеграция сервиса в проект проходит просто и быстро

• Широкий выбор локаций
Возможность использовать готовые популярные локации
общественных пространств в Москве или любую другую
локацию для вашего проекта

Как это работает?

Для работы Visual Positioning System нужен цифровой слепок локации, который создаётся специально для вашего проекта и хранится на сервере Visual Positioning System. Когда пользователь наводит камеру телефона на локацию или объект, специальная нейросеть на его устройстве сканирует особые точки с видеопотока камеры. Эти точки сопоставляются с цифровым слепком локации — так определяется позиция пользователя, и на экране приложения появляется AR-графика.

Вы можете работать с готовыми локациями в сервисе, например с популярными местами в Москве. Сейчас мы активно работаем над созданием новых локаций.

Отправить заявку можно здесь (заявка доступна после регистрации).

С Днём защитника Отечества! Поздравляем программистов, которые стоят на страже информационной безопасности.

Сбер защищают кибербезопасники, отражающие до 100 хакерских атак в день. Они же противостоят мошенникам, атакующим клиентов и сотрудников банка.

Спасибо за вашу работу — она важна для всей страны!

​​Сражайтесь с друзьями и вдохновляйтесь: подборка игровых смартапов

Собрали подборку смартапов, которые помогут скоротать свободное время и смогут воодушевить на создание новых приложений. Играйте и вдохновляйтесь!

Шахматы с Салютом
Вызов можно бросить друзьям или искусственному интеллекту. Фишка смартапа — управлять игрой можно разными способами: при помощи пульта, сенсорного экрана или голоса. Нужно запустить новую партию, сделать решающий ход или поставить эффектный мат? Просто дайте команду виртуальным ассистентам, и они всё сделают.

Балда онлайн
Лингвистическая игра, в которой можно сразиться с другом или играть онлайн. Побеждает тот, кто наберёт как можно больше очков за составленные слова. Чем длиннее слово, тем больше очков можно заработать.

Захватчики городов
Захватывайте как можно больше секторов и получайте монеты, баллы и рубины. Баллы определяют рейтинг вашей зоны, а монеты и рубины нужны для покупки дополнительных ресурсов.

​​Проверка реальности виртуальной вселенной: «метавселенная» или «метапроблема»?

С тех пор, как Facebook анонсировал метавселенную на Facebook Connect в октябре и официально переименовал компанию в Meta, метавселенная стала одной из самых горячих тем технологической индустрии.

Предполагается, что идея метавселенной представляет собой виртуальную трехмерную вселенную, в которой вы можете делать практически все, что можете в физическом мире, в том числе жить, работать, играть и даже творить нечто фантастическое — например, путешествовать на другие планеты!

Самая распространенная аналогия метавселенной — виртуальный оазис, представленный в фильме «Первому игроку приготовиться».

Однако реальность не так приятна, как научная фантастика:

• Анонимность
Существующие сейчас многопользовательские онлайн-игры обеспечивают игрокам анонимность, что является ключевым привлекательным свойством для игроков, потому что это позволяет им быть кем угодно и делать всё, что они захотят.

Идея, что «все возможно» может позволить худшим человеческим качествам проявиться в некоторых людях, включая преступную деятельность в виртуальном мире (некоторые называют это «менталитетом Grand Theft Auto»). Избежать этого можно было бы увеличением контроля и исключением анонимности (что, естественно, будет воспринято сообществом виртуальных жителей «в штыки»). Тем не менее, скорее всего, именно это является наиболее вероятным направлением развития коммерческих платформ.

• Проблемы совместимости
Из-за того, что различные компании, разрабатывающие платформы, борются за долю рынка, разработка отраслевых стандартов будет медленной и сложной задачей. В результате у их продуктов не будет четкого способа взаимодействия в роли единой виртуальной метавселенной.

В противовес этому проблемы совместимости будут быстро преодолены сообществом открытого исходного кода. Однако здесь существует риск неконтролируемого и неуправляемого роста (если учитывать анонимность и креативность сообщества в целом);

• Разное восприятие поколениями
Как и в большинстве технологий, у каждого будет свое мнение. Многие представители старшего поколения будут неодобрительно относиться к виртуальной вселенной, в то время как большинство молодых людей воспримут ее «с распростертыми объятиями».

Теоретически уже сегодня можно иметь успешные виртуальные миры. Для этого не потребуются даже очки виртуальной (VR) и дополненной (AR) реальности или полноценные тактильные костюмы. По мере развития технологий, разработчики игр и приложений будут интегрировать их в опыт игроков, в результате чего их быстрое внедрение не заставит себя ждать.

В виртуальном мире будет также расти интерес к разработке, покупке, продаже и торговле почти всеми видами продуктов или услуг. Невзаимозаменяемые токены (NFT) и блокчейн предоставят инструменты, чтобы помочь сделать это возможным, но эти системы добавляют больше правил и расходов, которые многие игроки не примут и, вероятно, будут стараться их обходить с помощью сообщества разработчиков открытого программного обеспечения.

К сожалению, скорее всего, этот мир будет больше похож на беззаконный «Дикий Запад» или «Запретную зону», чем на организованное сообщество. Так что пока не следует ждать, что в ближайшее время вы окажетесь в прообразе Оазиса из фильма «Первому игроку приготовиться».

Комментирует Иван Филь, управляющий директор — директор лаборатории геймификации Сбера: «На мой взгляд, разогревая тему Метаверса, Марк Цукерберг хочет уйти от серии проблем, возникших у Фейсбука в последние несколько лет. Многие сомнительные компании зарабатывают на хайпе NFT. Не думаю, что в течение ближайших 5 лет мы получим Метаверс в том виде, о котором говорят фантасты и мечтатели. Однако, мы верим и инвестируем в NUI (Natural User Interfaces), активное развитие 3D-аватаров и цифровых агентов, развитие сайтов, игр, фильмов в новые интерактивные медиа форматы. Мы планируем интегрировать эти технологии в наши существующие и новые продукты».

​​Что произошло в мире IT за прошедшую неделю? Делимся подборкой самых интересных новостей 📰

• Люди находят лица, созданные искусственным интеллектом, более надёжными, чем настоящие

Зрители изо всех сил пытаются отличить изображения сложных лиц, созданных машиной, от реальных людей: когда в 2021 году появились видеоролики TikTok, в которых, казалось, было показано, как «Том Круз» заставляет монету исчезнуть и наслаждается леденцом на палочке, имя учётной записи было единственным доказательством того, что это неправда.

Новое исследование, опубликованное в Proceedings of the National Academy of Sciences USA, показывает, насколько далеко продвинулась технология. Результаты показывают, что настоящие люди могут легко влюбиться в сгенерированные машиной лица и даже интерпретировать их как более достоверные, чем подлинные.

• Исследователи обучили нейронную сеть распознавать химические формулы из научных статей

Исследователи из Syntelly — стартапа, созданного в Сколтехе — в Московском государственном университете имени М.В. Ломоносова и Университете «Сириус» разработали решение на основе нейронных сетей для автоматического распознавания химических формул на сканах научных статей. Исследование было опубликовано в Chemistry-Methods, научном журнале Европейского химического общества.

• Роботизированная перчатка НАСА нашла коммерческую опору

Сегодня фабричные рабочие по всему миру испытывают Ironhand, роботизированную перчатку, разработанную для того, чтобы помочь им выполнять повторяющиеся задачи без усталости или травм.

Человек, например, может без труда засунуть руку в карман и выудить монетку из множества других мелких предметов. «Это — подвиг, с которым не сравнится ни один робот», — отметил Джонатан Роджерс, инженер-конструктор из Космического центра имени Джонсона НАСА в Хьюстоне.

• Инженеры создают чип с низким энергопотреблением, который может помешать хакерам извлечь скрытую информацию из смарт-устройства

Чип, разработанный командой исследователей, основан на особом типе вычислений, известном как пороговые вычисления. Вместо того чтобы нейронная сеть работала с фактическими данными, данные сначала разбиваются на уникальные случайные компоненты. Сеть работает с этими случайными компонентами по отдельности в случайном порядке, прежде чем накапливать окончательный результат.

​​Чем занимается платформенная команда в Sberbank International? 🌎

В своей статье об этом рассказал руководитель направления Артём Соковец, раскрыв немного деталей о SBI Platform Team, чтобы у кандидата сразу было представление о том, над чем предстоит работать.

Сейчас есть три основных направления:

🔹 Адаптация Platform V под дочерние банки в других странах.
Platform V позволяет забрать у разработчика всю рутину, дать ему возможность сфокусироваться на бизнес-логике и сделать его работу более продуктивной. Задача компании — адаптировать платформу под запрос клиента.

🔹 Разработка новых бизнес-приложений с использованием Platform V.
Это уже не адаптация, а создание бизнес-приложений с нуля. Помимо разработки бэка и фронта (web), также есть и мобильная разработка под Android и iOS, где используется модульный подход и мобильная платформа, в которую включены фреймворки дизайн-системы, сетевого слоя, утилит и backend driven UI-механизма.

🔹 Разработка интеграционного слоя с использованием Synapse.
В целом это — интеграционная платформа, решение на базе технологии service mesh уровня enterprise, то есть подходящее для больших корпораций.

Интересны направления работы компании? Тогда вам надо знать ещё это. Собеседование включает в себя не только разговор, но и 30-минутный блок live coding. Кандидата просят открыть любимую IDE или блокнот и решить задачку с подсказками сотрудника. Если справитесь, добро пожаловать в компанию.

Подробнее о вакансии Frontend-разработчика можно посмотреть здесь.

Теперь следить за оценками смартапа можно не только в каталоге, но и в SmartMarket Studio! В карточке каждого смартапа вы сможете увидеть среднюю оценку, их общее количество и распределение по дням.

Оценки — важная метрика качества смартапа. Отслеживая динамику оценок, вы сможете понять отношение пользователей к вашему приложению.

Дополнительно метрику подключать не нужно — она собирается автоматически после получения первой оценки. Подробнее о новой метрике — в документации.

Следите за нашими обновлениями! Скоро мы анонсируем ещё один инструмент для работы с оценками в смартапах.

В ноябре Дима Зицер — педагог, автор книг и передачи «Любить нельзя воспитывать» — подготовил для виртуальных ассистентов Салют ответы на самые популярные вопросы, волнующие родителей: «Как не раздражаться из-за детей?», «Как подготовить ребёнка к школе?», «Что делать, если ребёнок плохо учится?» и многие другие.

Чтобы найти советы, просто скажите ассистентам: «Покажи ответы Димы Зицера».

А теперь библиотека знаний ассистентов Салют о родительстве и детстве стала ещё шире. Пользователи могут поговорить с ассистентами о разных государственных и бюрократических процессах, узнать больше об иммунитете и здоровье ребёнка, а также о том, как сохранить психику и финансовое благополучие в пока ещё новой роли родителей. Спросите, например, как записать ребёнка в детский сад.

​​Недавно мы выпустили SberBox Time — умную медиаколонку с аналоговыми часами. Изначально было понятно, как сделать отдельно колонку или часы. А вот придумать, как избежать влияния низких частот на чувствительный часовой механизм или сделать так, чтобы farfield-микрофонам не мешало тиканье — это вызовы, которые потребовали особого подхода и исследования.

Мы хотели дать пользователям всё, к чему они привыкли, и даже больше: возможность не только узнать новости, но и заказать еду, забронировать столик, запустить любимую игру — всё с помощью виртуальных ассистентов Салют.

При этом устройство не должно было перетягивать на себя внимание и нарушать домашний уют. Поэтому SberBox Time выглядит как привычные часы со стрелками, которым всегда найдётся место в доме.

В процессе разработки существенно менялась «железная» часть устройства. Вот три сложности, решение которых потребовало немало времени и усилий:
• интеграция стрелочных часов в электронное устройство. Вибрации влияли на работу часового механизма, а громкое тиканье мешало микрофонам распознавать голосовые запросы;
• качественный звук в компактном девайсе. Мы хотели добиться, чтобы наша компактная медиаколонка могла звучать громко, а басы были глубокими;
• подбор параметров, позволяющих слышать тихую речь с другого конца комнаты, когда звучит музыка или работает телевизор.

Повлияла на разработку и пандемия, которая внесла свои коррективы. Некоторые компоненты совсем пропали с рынка, по некоторым сроки поставок увеличились от нескольких месяцев вплоть до года. Но в результате нам удалось создать продукт таким, как он был задуман —
многофункциональным, качественным и стильным.

Медиаколонка разрабатывалась в течение 16 месяцев, подробнее о том, как создавалось устройство, читайте в нашем блоге на Хабре.
Расскажите, уже пользовались SberBox Time?

​​SaluteJS — это Open Source-фреймворк, который позволяет создавать сценарии смартапов на языке JavaScript. Поскольку взаимодействие с NLP-платформой реализовано по http, мы подумали, что было бы круто писать сценарии примерно так же, как мы пишем обычные веб-сервисы, используя NodeJS. Вы можете интегрировать SaluteJS с любыми фреймворками вроде next.js, express, hapi или koa.

Интеграция выполняется посредством middleware, где вы можете выражать обработку команд ассистента и голосовых команд пользователя, которые приходят в виде обычного http-запроса.

SaluteJS можно использовать для создания Chat App и Canvas App.

Возможности:
• Отображение подсказок по доступным интентам и командам;
• Поддержка встроенных функций бессерверных вычислений (lambda функции);
• Интеграция с Node.js веб-фреймворками;
• Поддержка любых рекогнайзеров и возможность написать свой рекогнайзер;
• Возможность составлять словари с репликами ассистентов.

В репозитории на GitHub вы найдете пример смартапа типа Canvas App, созданного на SaluteJS. Этот смартап был перенесён из SmartApp Code.

Попробовать ➡️

​​Сбер номинирован на премию HighLoad++

Началось открытое голосование за номинантов на премию HighLoad++, которое продлится до 20 февраля.
Сбер номинирован в категории «Компания года» за создание SmartMarket — платформы для разработки приложений виртуальных ассистентов Салют.

Принять участие в голосовании может любой желающий на сайте премии.

Премия HighLoad++ ежегодно вручается компаниям и отдельным профессионалам, оказавшим значительное влияние на развитие технологий в России.

Церемония награждения победителей состоится 17 марта на конференции HighLoad++ Foundation 2022.

Поздравляем самый известный продукт Сбера с днём рождения — ему сегодня 11 лет!

​​​​Сегодня, 14 февраля, Всемирный день компьютерщика.

Оказывается, женщины сыграли важную роль в создании первого в мире компьютера — ENIAC. К инженерным задачам их не допускали, доверяя кропотливую и трудоёмкую работу по составлению баллистических таблиц.

14 февраля 1946 года ENIAC представили публике. На презентации изобретения никто ни слова не сказал про группу девушек, которые запрограммировали этот компьютер для демонстрации. О них совершенно случайно стало известно в конце восьмидесятых, когда нашлась фотография с той демонстрации ENIAC, где были подписаны только имена мужчин. Позже девушек смогли разыскать.

Кей Антонелли, Фрэнсис Билас, Джин Дженнингс, Рут Лихтерман, Бетти Холбертон и Марлин Вескоф стали первыми в мире программистами ЭВМ, и многие их решения легли в основу современного программирования.

Кстати, более 70% сотрудников Сбера — женщины. И этим мы развенчиваем миф о том, что успешная технологическая компания может быть сугубо мужской.

В День компьютерщика мы поздравляем всех наших коллег-программистов, вне зависимости от пола. И желаем им новых прорывных решений! ❤️