Матчасть

✏ Post from Матчасть

🌎 Open link →

Базовых варианта ценообразования проектов (в частности, в data science) существует три: фиксированная цена, пропорционально затратам, и пропорционально результату. О выборе между ними рассказал Роман Чеботарёв, CTO из Theta Data Solutions, на конференции Data&Science в Яндексе.
Сложности обычно приходят при закрытии проекта: клиент и исполнитель не могут договориться о цене. Поэтому договариваться надо заранее.
#матчасть #weirdMath #datascience #machinelearning #projectmanagement #pricing

✏ Post from Матчасть

🌎 Open link →

Сегодня на конференции Data&Science в Яндексе выступал Саша Белугин - преподаватель НИУ ВШЭ и до недавноего времени главный project manager в Yandex Data Factory. Он поделился своим взглядом на особенности проектного управления в задачах, связанных c анализом данных (в первую очередь - в промышленности, ибо последний год YDF занималась именно этим). А я записал его лекцию, и сейчас пересказываю своими словами, иногда вставляя что-то от себя. Таких постов будет несколько, ибо и спикер сегодня был не один. Начнём же!
#матчасть #weirdMath #datascience #machinelearning #projectmanagement

✏ Post from Матчасть

🌎 Open link →

В предыдущем посте мы познакомили вас с распределением Парето. Сегодня покажем, как оно выглядит в жизни, измерив количество дружеских связей между подписчиками vk-сообщества Матчасти.

Для выгрузки данных мы воспользовались кодом на Python (блокнот по адресу goo.gl/UYSbeV) и официальным API VK. В сообществе оказалось 700 с чем-то подписчиков, многие из которых находятся друг у друга в друзьях. Соединили их в граф, посчитали распределение степени его вершин, и оказалось, что это распределение Парето.

В сегодняшнем посте много картинок, поэтому мы выложили его в формате статьи. Читайте и наслаждайтесь!
# матчасть #weirdMath #математика #статистика #теорияграфов

✏ Post from Матчасть

Чтобы показать, как может выглядеть такое нестабильное усреднение, я взял список крупных городов России, и начал случайно отбирать из него всё новые города. Пока я отбирал первые 17, среднее население было стабильным, около 100 тысяч. Потом добавилась Рязань (там живут полмиллиона), и среднее по всей выборке сразу скакнуло до 130. И стабильно где-то там было, пока 33-ей не добавилась Уфа (население чуть больше миллиона), и общее среднее прыгнуло к 165. Потом среднее скакнуло к 200, когда добавились Саратов и Казань, и ещё около 250 городов оно гуляло в районе этих 200 тысяч. А когда казалось, что вот уже совсем среднее стабилизировалось, в выборку добавилась Москва, и среднее снова резко скакнуло, уже ближе к 300. И если бы в России было неограниченное количество городов, то и среднее по выборке продолжало бы так же неограниченно расти. Обобщаем полученный опыт: если вы имеете дело с распределением Парето, то аномальные объекты ("чёрные лебеди") могут внезапно появиться и резко изменить вам всю статистику.

Коротенькие практические выводы из нашего рассказа: если возможны сетевые эффекты, то будьте избирательны (концентрируйтесь на самых важных запросах/клиентах/товарах/городах), и не слишком доверяйте средним значениям. Ну и вообще просто задумывайтесь о том, с каким распределением имеете дело. И да пребудет с вами power law!

#матчасть #математика #weirdMath #теорвер #распределения #fattail #pareto #powerlaw

Как и обещали, рассказываем про распределения, богатые на экстремальные значения - такие, у которых даже дисперсия и матожидание могут быть не определены. В первую очередь, про распределение Парето.

Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.

Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?

Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.

В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.

За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.

Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".

С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.

✏ Post from Матчасть

С кредитным скорингом мы скоро продолжим всерьёз, а пока вернёмся к статистикам. А именно, к робастным статистикам, которые ведут себя адекватно, когда моменты (среднее, дисперсия, асимметрия и так далее) сходят с ума.

Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".

Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.

Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.

Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.

А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!

#матчасть #математика #weirdMath #статистики #метрики #robust 

✏ Post from Матчасть

Вчера мы упомянули относительно простую практическую работу: собрать профили VK кучи заёмщиков, вычислить на них признаки, построить логистическую регрессию, и сказать, что вот такие-то признаки сильно влияют на кредитное поведение людей. Вообще это очень похоже на ежедневную рутину data scientist'a. А что тут можно сделать более научного?
Одно из направлений того, как можно углубить эту работу - рассматривать не только признаки отдельных заёмщиков, но и то, как они взаимодействуют друг с другом в рамках единой сети. Гипотеза, что "хорошие" заёмщики дружат с "хорошими", а "плохие" - с "плохими", на практике подтверждается. Ну и учёным-теоретикам экономистам очень интересно ковыряться в сетевых взаимодействиях, ибо это позволяет усложнить, разнообразить, и в итоге приблизить к жизни теории, которые без этого довольно плоские.
Для любителей и повычислиять, и потеоретизировать есть книга (и одноименный онлайн-курс) Networks, Crowds, and Markets. Книга объединяет в себе кусочки теории графов, теории игр, и приложения этого к разным областям жизни, от политики до эпидемиологии.
Курс: edx.org/course/networks-crowds-markets-cornellx-info2040x-2
Книга: cs.cornell.edu/home/kleinber/networks-book/networks-book.pdf
P.S. На картинке один из моих любимых графов из этой книги - граф романтических отношений в одной из американских школ. Действительно, практически одна большая семья :)
#матчатсть #weirdMath #socialnetworkanalysis

✏ Post from Матчасть

Нас тут вчера засыпали вопросами о том, как именно можно использовать данные из вконтактика для того, чтобы строить кредитные скоры. Пришлось искать научные подтверждения.

Проще всего оказалось ответить на этот вопрос статьёй хорошего вышкинско-сберовского парня Алексея Масютина. На его данных (27 тысяч потребительских кредитов) оказалось, что модельки, построенные на одних только (!) данных из VK, обладают приличной дискриминационной способностью - ROC AUC под 70%. С этим уже вполне можно делать бизнес.

Из любопытных наблюдений - заёмщики с "либеральными" и "безразличными" политическими взглядами возвращают лучше "монархистов", "коммунистов" и "социалистов", а "влюблённые" и те, у кого "всё сложно", сильно менее финансово устойчивые женатых.