„Chillin‘“ at Amazon

Бразильский программист собрал в одном месте заметки по компьютерному зрению и основам алгоритмической обработки изображений.

Распознавание объектов и цифр, библиотеки для визуализации 3D-графиков, сложная теория обработки изображений простым языком и не только. Всё на Python, с красивыми картинками и примерами кода:

https://diegoinacio.github.io/computer-vision-notebooks/

#python #computervision

https://vc.ru/ml/156413-razrabotchik-nomad-list-vypustil-generator-idey-dlya-biznesa-ih-pridumyvaet-algoritm-gpt-3

Разработчик Nomad List выпустил генератор идей для бизнеса — их «придумывает» алгоритм GPT-3

Вкратце, хочу поделиться своим опытом прохождения на курсе по Глубокому Обучению.

Пока прошел первый модуль. Ушло примерно 2-3 недели, в основным по выходным. Если в часах, то около 20 часов. Доволен на 100% без преувеличений!

Из плюсов (минусов вообще пока не заметил):

1. Отлично продуманная программа: постепенно от логистической регресси, через однослойную сетку, к глубокой. Все сопровождается блестящим и подробным объяснением что-зачем-и-почему. Я, по-крайней мере, получил ответы на больинство своих вопросов, а на несколько тех, что не понял, смог добить самостоятельно в Гугле.

2. Супер профессиональный инструктор (сейчас именно об умении обучать, а не о его статусности в МЛ): Andrew Ng расставляет нужные акценты там где нужно, говорит о чем волноваться, а о чем не нужно. Дает понять где на математику нужно надавить, а где можно не сильно переживать. В моем случае это очень нужно, так как меня постоянно сопровождает Синдром Самозванца и я постоянно сомневаюсь, в своих способностях :)) И тот факт, что я в Амазоне, не всегда служит оправданием :))

3. Достаточно много практики. Задания в ноутбуках, среда разработки настроена - на лишнее отвлекаться не нужно. За первый модуль, пришлось несколько раз реализовать forward feed и back propagation, что сильно повысило мою уверенность в понимании как это устроено изнутри. Раньше я понимал, что используется chain rule и думал, что идет какая-то нереально навороченная реализация. На деле оказалось все куда проще: в зависимости от cost function и активационных функций, выбирается нужный метод, который знает как брать производную функции.

В общем, за первый модуль, я прокачал свой взгляд на сети и теперь уже могу осознано выбирать нужные гипер-параметры. Второй модуль как раз таки о практической части тренировки сетей и тюнинг параметров. Не могу не отметить профессионально упорядоченный материал и задания, отвечающие на вопрос "Почему?".

Все кому интересен Deep Learning и начинаете с нуля, рекомендую этот курс!

Чуть позже напишу свой отзыв о втором модуле.


https://www.coursera.org/specializations/deep-learning

Mastering a data pipeline with Python / Robson Luis Monteiro Junior (Microsoft)

https://youtu.be/25fUlUsmg38

Ночью Илон Маск показал компактный беспроводной нейроинтерфейс Link, вживляемый под кожу черепа, и продемонстрировал его работу на свиньях, которым имплантировали чип для считывания мозговой активности.

С помощью Link можно будет лечить болезни — например, паралич, депрессию и болезнь Альцгеймера, играть в игры и управлять устройствами. Маск пообещал поддержку Tesla и StarCraft.

Главное из презентации Neuralink: vc.ru/future/154015

“TensorFlow vs PyTorch for Deep Learning” by Andreas Stöffelbauer https://link.medium.com/OV7ZUmUcl9

#CV #HighResolution

What a time to be alive!

https://www.youtube.com/watch?v=MwCgvYtOLS0

#ML #System #Design

"We can characterize the challenges for integrating machine learning within our systems as the three Ds. Decomposition, Data and Deployment."

"The first two components decomposition and data are interlinked, but we will first outline the decomposition challenge. Below we will mainly focus on supervised learning because this is arguably the technology that is best understood within machine learning."

http://inverseprobability.com/talks/notes/the-three-ds-of-machine-learning.html

#ML #System #Design

This booklet covers four main steps of designing a machine learning system:

Project setup
Data pipeline
Modeling: selecting, training, and debugging
Serving: testing, deploying, and maintaining

https://github.com/chiphuyen/machine-learning-systems-design

#gradient #decent #DL

Хорошая статья на тему разбора различных типов Gradient Decent for logistics regression and cross entropy

“Gradient Descent — Demystified” by Avinash Kadimisetty https://link.medium.com/5exHc0Y8a9

#ML #Sigmoid #Gradient Decent

Сижу читаю, про gradient decent сигмоидной фунцкции. Как мне нравится когда реализация может быть супер простой/эллегантной.

Зная/выведя формулу, в питоне, имплементация просто: dw = X.dot(H - Y).T / m

#. Кому интересно, докозательство формулы доступно по: https://medium.com/analytics-vidhya/derivative-of-log-loss-function-for-logistic-regression-9b832f025c2d

#. Имплементация алгоритма Логистической Регресси: https://ml-cheatsheet.readthedocs.io/en/latest/logistic_regression.html

Here's another good question, that Daniil you may ask shortly: Why logit is slower than relu

https://www.coursera.org/learn/neural-networks-deep-learning/discussions/weeks/1/threads/OC2Bh8ahEeetfwrt7EZTMA

We've been discussing it with Agerke last week.

#ML, #softmax
I've asked my self why Softmax uses exponent. Here's a good response:

- Monotonically increasing — To ensure that larger inputs are mapped to larger outputs.
- Non-negative outputs — Because probability values must be non-negative.
- The outputs should sum to one — This can be achieved by simply dividing each element of the output by the sum of all elements of the output.

https://www.quora.com/Why-is-exponential-function-used-in-softmax-function-in-machine-learning

Для тех кто изучает МЛ и хочет лучше понять что такое AUC, ROC

https://dyakonov.org/2017/07/28/auc-roc-%D0%BF%D0%BB%D0%BE%D1%89%D0%B0%D0%B4%D1%8C-%D0%BF%D0%BE%D0%B4-%D0%BA%D1%80%D0%B8%D0%B2%D0%BE%D0%B9-%D0%BE%D1%88%D0%B8%D0%B1%D0%BE%D0%BA/

​​В США протестировали сеть спутникового интернета от SpaceX

Микроспутники Starlink от компании SpaceX Илона Маска раздают интернет со скоростью до 60 мегабит. Исследование спутникового проекта показало, что для потребительских целей средние показатели достаточно высокие.

Пока компания ведет работу над запуском на орбиту новых спутников для раздачи интернета, возник вопрос о том, какова будет скорости связи в реальности. Пробные замеры показали, что 11—60 мегабит. Средняя скорость — чуть несколько больше 40 мегабит.

Значительно ниже скорость для выгрузки данных – 4-17 мегабит. Замеры делались в Лос-Анджелесе, Сиэтле и Вашингтоне.

Таким образом скорость загрузки и выгрузки ниже желаемой руководством SpaceX — 1 гигабит. Хотя для пользователей достаточно и 15 мегабит, поскольку стандартная скорость «земного» широкополосного интернета в США такая же, а в сельской местности и того ниже.

Сейчас сеть спутников Starlink еще тестируется и, не исключено, что в конце концов скорость соединения приблизится к желанной для SpaceX. В настоящее время на орбите находятся примерно 600 спутников. Их количество планируется расширить до несколько тысяч, чтобы обеспечить глобальное покрытие.

Recently, I've been looking for resources on DL/ML and production. Here's a good resource that addresses the full cycle starting from setting/formulation of a problem to deployment

https://course.fullstackdeeplearning.com/

#DL

A really cool specialisation on deep learning from amazing instructors

If you want to master it and have a portfolio by the end then you should for for it.

The price is quite affordable. You'll pay it back very soon, I believe

Deep Learning
https://www.coursera.org/specializations/deep-learning