Data Place

Стартовал Telecom Data Cup.
Задача и правила опубликованы на сайте: https://mlbootcamp.ru/round/15/tasks/

Участников с лучшими результатами ждут ценные подарки:
1 место — 400 000 рублей
2 место — 200 000 рублей
3 место — 100 000 рублей

#mlbootcamp #telecomdatacup

Новое про Julia: https://juliacomputing.com/blog/2018/10/12/october-newsletter.html

Настало время пятничных видосов!
Как помнят самые стойкие, на Chaos Constructions 2018 был организован круглый (ну ок, прямоугольный) стол о зарождении интернета на территории государства Российского.
Ностальгией активно сыпали пионеры, участники и просто свидетели тех времён:
- Дмитрий Бурков. Фактически, человек-монография телекоммуникаций. Делал первый аплинки, создавал ENOG и т.д.
- Дмитрий Завалишни. Активно участвовал в создании Релком’а(прадед всея рунета) и российского сегмента Фидонет.
- Игорь Николаев (ага, тот самый, с разборок линуксоидов). Был среди первых студентов кафедры вычислительной физики Питерского университета, от чего стал свидетелем зарождения нашего сегмента Интернета. - Алексей Нилов. Работал на той же кафедре, потом ушёл в ректорат создавать академсеть, а потом и интернет.
Два часа отборных баек и отличного настроения.
https://www.youtube.com/watch?v=fZrn971IQNA

The purpose of this roadmap is to give you an overview of the core skills needed in data science. These are views help by individuals we have spoken to and do not represent any companies’ opinion.

https://github.com/hasbrain/data-science-roadmap

Если вы интересуетесь IoT или даже работаете в этой области, то всегда полезно иметь под рукой каталог компаний. Это могут быть или потенциальные партнеры и коллеги, или конкуренты. Знать о том, и о том — полезно.

И вот, например, есть такая гуглокарта Map of IoT Companies & Startups

https://www.google.com/maps/d/viewer?mid=1HvovjRP_nq0ny-f-yDbz9RdIhUBBX0KA

Но там отстутсвуют российские проекты.

Потому, напомню за проект, где мы собираем (ну, стараемся собрать) данные обо всех российский хардверных проектах и компаниях.

На сегодня в таблице 49 записей из которых 10 стартапов.

Все данныепубликуются вот тут:
http://bit.ly/CATALOG_RUSHARDWARE

А чтоб попасть в «каталог», нужно всего лишь заполнить гуглоформу:
http://bit.ly/RUS_HARDWARE

Инструменты, истории и сервисы на данных:
- Поиск автора статьи в NYTimes [1] об инсайдере в администрации Трампа через анализ статьи и твитов сотрудников администрации [2]
- Deon. Инструмент проверки на дата этику для дата сайентистов [3]. Полезен всем без исключения для самопроверки. На русский пока не переведён
- Why data culture matters ? [4] Статья в журнале McKinsey о важности культуры работы с данными в организации

Ссылки:
[1] https://www.nytimes.com/2018/09/05/opinion/trump-white-house-anonymous-resistance.html
[2] http://varianceexplained.org/r/op-ed-text-analysis/
[3] http://deon.drivendata.org
[4] https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/why-data-culture-matters

#data

Оказывается Гугл открыли поиск по датасетам (Google Dataset Search) [1] пока в бета версии, но уже работает.
Его поиск основан на тегах dataset [2] с помощью которых описываются структурированные данные.

Плюс в том что это позволяет Гуглу индексировать все данные описанные таким образом через атрибуты typeof="dcat:Dataset" или в коде <script type="application/ld+json">. В инструкциях есть примеры [4] того как это делается.

Минус в том что данные очень сконцентрированы в порталах у которых большинства есть стандартизованное API, в основном, API продукта CKAN. Например, только в Res3Data [5] более 2000 каталогов. Большая их часть не использует тэги гугла для индексирования и живут со своим правилам.

В принципе создавая поиск по датасетам важно помнить о том что есть 3 условных категории пользователей:
- общественно-политические
- коммерческие
- научные / академические

Можно их свести к общему знаменателю, но всё же с учётом их потребностей. И, на мой взгляд, важнее уметь индексировать цифровые репозитории через существующие API, чем навязывать публикацию тегом dataset. Во всяком случае краткосрочно, а долгосрочно конечно всё делается правильно.


Ссылки:
[1] https://toolbox.google.com/datasetsearch
[2] https://developers.google.com/search/docs/data-types/dataset
[3] https://search.google.com/structured-data/testing-tool
[4] https://productforums.google.com/forum/#!topic/webmasters/nPq4BW6iPIA
[5] https://www.re3data.org/

#opendata #google

What are the experts in data analysis really doing? Conclusions from 35 interviews https://habr.com/company/wirex/blog/421845/

Alberto Cairo выложил в открытый доступ видеоматериалы своих тренингов по визуализации данных: http://www.thefunctionalart.com/2018/08/visualization-mooc-materials-available.html?m=1

Случайно затесалась к аксакалам Рунета, тк была в роли со-организатора.

Аксакалы рунета. Историческая фоточка, между прочим.

Простенько, но зато понятно. О том, чем Docker может быть полезен дата-ученому.
https://www.kdnuggets.com/2018/08/data-scientist-guide-getting-started-docker.html
#Docker

First Class GPUs support in Apache Hadoop 3.1, YARN & HDP 3.0
https://hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/

Ongoing Face Recognition Vendor Test (FRVT) Part 1: Verification

#NIST #FaceRecognitionTest
https://www.nist.gov/sites/default/files/documents/2018/06/21/frvt_report_2018_06_21.pdf

Правда и ложь систем распознавания лиц
https://m.habr.com/company/recognitor/blog/418127/

Радиология Москвы: Репозиторий открытых данных для машинного обучения и «искусственного интеллекта»

http://medradiology.moscow/iskusstvennyy-intellekt

#CT #Radiology #OpenData

Глубокое обучение при помощи Spark и Hadoop: знакомство с #Deeplearning4j:
https://habr.com/company/piter/blog/344824/