Data Place

Это не про данные, но тоже полезно: https://habrahabr.ru/post/353194/.me

Очень полезная книга Data Science livebook. Ее писали усилиями Data Science-сообщества в течение года:
https://livebook.datascienceheroes.com/

Список полезных ресурсов для изучения в рамках Data Science: https://chadwgardner.com/resources/

Я ненавижу Spark

Поэтому хочу опубликовать тут список хороших ресурсов, которые, помогут мне (и возможно вам) его узнать лучше, чем сейчас, и я не буду рвать на голове волосы, когда джоба падает.
Первые две книги уже скачала - осталось только прочитать.

💥 Learning Spark: Lightning-Fast Big Data Analysis
http://shop.oreilly.com/product/0636920028512.do

💥 Advanced Analytics with Spark: Patterns for Learning from Data at Scale
https://www.amazon.com/Advanced-Analytics-Spark-Patterns-Learning/dp/1491912766

💥 Spark in a day
https://www.amazon.com/Spark-Ultimate-Learning-Development-Beginners-ebook/dp/B013GQP702/httpwwwtuto0a-20

💥 Apache Spark Tutorial
https://www.tutorialspoint.com/apache_spark/index.htm

💥 Apache Spark Scala Tutorial
https://github.com/deanwampler/spark-scala-tutorial

💥 Python For Data Science Cheat Sheet (by DataCamp)
https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PySpark_Cheat_Sheet_Python.pdf

💥 Spark documentation - там много других полезных ссылок на видео/книги/лекции
https://spark.apache.org/documentation.html

Визуализация при помощи Pairs Plots в Python (быстрое создание EDA-визуализации): https://towardsdatascience.com/visualizing-data-with-pair-plots-in-python-f228cf529166

Полезная книга по статистическому анализу на английском языке: http://www.statsref.com/HTML/index.html

Полезные статьи по статистике простым языком: http://k-tree.ru/articles/statistika/

15 популярных библиотек на языке Python

https://www.upwork.com/hiring/data/15-python-libraries-data-science/

Для тех кто любит работать с данными, но всё что касается государственных данных надоело и вообще хочется быть поближе к технологиям и исследованиям подборка ссылок.
GHTorrent [1] - база всего что есть в открытом доступе в Github'е собранное через их открытое API. Распространяется в виде дампов в MySQL и MongoDB, по 70 гигабайт каждый дамп

DNSCensus [2] - огромная база DNS записей на 2013 год, более 2.5 миллиардов записей объёмом в 157 гигабайт.

911Datasets [3] коллекция наборов данных по теме терракта 11 сентября 2001 года в США.

Wikimedia Dumps [4] - десятки терабайт дампов Википедии и других проектов Викимедии

LibGen Torrents [5] более миллиона научных книг через торренты

Archive.org datasets [6] коллекции наборов данных загруженные в Интернет-архив

Academic Torrents [7] более 25 терабайт научных данных раздаваемых через торренты

Ссылки:
[1] http://ghtorrent.org/
[2] https://dnscensus2013.neocities.org/index.html
[3] http://911datasets.org/index.php/Main_Page
[4] http://libgen.io/libgen/repository_torrent/
[5] https://meta.wikimedia.org/wiki/Data_dump_torrents
[6] https://archive.org/search.php?query=datasets
[7] http://academictorrents.com

#opendata #datasets

Библиотека красивых интерактивных диаграмм Bokeh (Python): https://github.com/bokeh/bokeh

А также Bokeh Cheat Sheet: https://www.datacamp.com/community/blog/bokeh-cheat-sheet-python
Памятка по синтаксису библиотеки.

По ссылке можно найти множество полезных наборов сетевых данных.
Весьма полезный инфоресурс для тех, кто решил освоить анализ соцсетей.

http://konect.uni-koblenz.de/

Наверное самая лучшая визуализация восприятия вероятности 😉

Простые, но полезные лайфхаки по работе с Excel.
1. https://lifehacker.ru/2014/06/10/20-sekretov-excel/
2. https://lifehacker.ru/2014/07/10/uskorennaja-rabota-v-excel/

Где прочитать про открытые данные, большие данные и технологии в Телеграме

Про данные
@urbandata - городские данные от Андрея Кармацкого. Много про то как работают с данными в городской среде
@Persdata - канал о персональных данных, последние новости и события
@dataleak - тоже про персональные данные, но теперь уже про их утечки
@ai_machinelearning_big_data - канал про большие данные и машинное обучение. Похоже что скорее новостной чем авторский
@just_data_science - дано не обновлявшийся, но интересный канал по data science


Визуализация
@data_publication - дата публикации от Андрея Дорожного, многое про дата журналистику
@mapporn - визуализация данных на картах в примерах
@Infographicru - инфографика, в том числе инфографика на данных
@mapsanddata - карты и данные

#data #channells

Очень рекомендую книгу по Haskell: http://haskellbook.com

"Около месяца назад Google сервис Colaboratory, предоставляющий доступ к Jupyter ноутбукам, включил возможность бесплатно использовать GPU Tesla K80 с 13G видеопамяти. Если до сих пор единственным препятствием для погружения в мир нейросетей могло быть отсутствие доступа к GPU, теперь Вы можете смело сказать, “Держись Deep Learning, я иду!”.
https://habrahabr.ru/post/348058/

Data Visualization catalog.

Есть и на русском языке.

https://datavizcatalogue.com/

Channel photo updated