SeeMTo

Стойкость

Нужна стойкость, чтобы продолжать делать то, что в наших силах, несмотря на поток негативных событий последних дней. В качестве примера для подражания вспомнился Катон Младший, древнеримский образец строгих нравов, стоик, политический деятель, противостоявший Цезарю.

«Подобные неудачи, как правило, на много дней выводят из равновесия не только самого потерпевшего, но и его друзей и родичей, терзая их стыдом, унынием и печалью. Катон, однако, перенес случившееся с таким хладнокровием, что тут же, на Поле, натерся маслом и стал играть в мяч, а после завтрака, спустившись на форум, как обычно босой и в тоге на голом теле, прогуливался с друзьями.»

Рекомендую прочитать жизнеописание Катона Младшего.

Литература: Плутарх. «Сравнительные жизнеописания. Катон Младший.»

Непредубежденность и комбинирование

Не вкладывайтесь в одну ценную бумагу, чтобы не потерять все в случае реализации риска – аналогично зачастую не стоит вкладываться только в одно мнение, чтобы сильно не ошибиться. Исследования по комбинированию прогнозов и мнений подкрепляют идею о том, что непредубежденность, готовность выслушать чужое мнение и скорректировать свое – выгодная стратегия поведения. Одна из причин, по которой такой подход работает, похожа на диверсификацию инвестиционного портфеля: в данном случае риск исходит из неопределенности относительно устройства реальности.

Во многих исследованиях комбинирование прогнозов разных статистических моделей в среднем давало более точный результат, нежели предсказанные значения на основе отдельных моделей. При этом так получается в разных областях знаний: экономике, метеорологии, демографии и т.д. Одно из возможных объяснений – отдельные модели полностью не отражают процесс, порождающий данные, а объединение может способствовать тому, что ошибки прогнозирования будут взаимно уничтожаться. Подобные результаты есть и в когнитивных исследованиях: «эффект мудрости толпы», ошибка среднего ответа толпы меньше, чем среднее ошибок отдельных ответов.

Попытка посмотреть с разных точек зрения и принять все во внимание описана в книге «Думай медленно, предсказывай точно» с помощью метафоры стрекозы. Такой подход оказался свойственным прогнозистам, которые показали наилучшие результаты в рамках исследования. В книге приводится примечательный пример практики одного из участников для «активной непредубежденности»: он написал программу, которая выбирала для него следующий источник для чтения из списка информационных ресурсов с разной идеологией, предметной областью и т.д.

Думаю, что это достаточно весомые аргументы для развития непредубежденности. При этом не обязательно быть профессиональным аналитиком или прогнозистом, скорее это один из важнейших навыков рационального человека, поскольку прогнозы делают все и достоверность мнений оказывает влияние на разные стороны жизни. Конечно, если все остальные говорят, что Земля плоская, корректировать свое представление о том, что она шар, не стоит. Однако нужны серьезные доводы для такой линии поведения.

Литература: ссылки в посте.

Об уверенности в суждениях

«Мы готовы признать за другими превосходство в отваге, телесной силе, опытности, ловкости, красоте, но превосходства в суждениях мы никому не уступим». Мишель де Монтень, «Опыты», глава «О самомнении».

Качество принятия решений сильно страдает от чрезмерной уверенности в суждениях. Вплоть до того, что Bazerman et al. называют ее матерью всех когнитивных искажений. Авторы объясняют такой взгляд тем, что чрезмерная уверенность практически повсеместна, ее негативный эффект подтверждается многими исследованиями и она открывает двери для других когнитивных искажений, поскольку мы зачастую не перепроверяем и не корректируем свои мнения. Чрезмерную уверенность можно рассмотреть в основе рыночных пузырей, бессмысленных судебных разбирательств и много чего еще.

Борьба с чрезмерной уверенностью в суждениях должна быть полезна, но вести ее может быть не так просто. С одной стороны, интенсивность «чувства знания», по крайней мере отчасти, может определять генетика. Burton приводит пример шизофрении и обсессивно-компульсивного расстройства как состояний, которым сопутствуют две крайности «чувства знания»: полная уверенность человека, что его мысли слушают марсиане и, наоборот, многочисленная проверка, закрыта ли дверь. Считается, что оба состояния могут в значительной степени зависеть от генетики. С другой, исследования показывают, что принудительное рассмотрение альтернативных доводов помогает бороться с чрезмерной уверенностью.

В условиях, когда можно спокойно посидеть и подумать, нахожу ряд техник эффективными в борьбе с чрезмерной уверенностью: поиск опровергающих фактов и рассмотрение альтернативных точек зрения, откладывание суждений, премортемы (представить, что план провалился: почему это произошло?), «сколько времени это занимало раньше?» и т.д. Похоже, что сложнее с ней бороться, когда решение надо принять сходу. Поэтому важные решения стоит принимать не быстро, а выделив достаточное количество времени.

Литература: ссылки в посте.

Аналитическая работа и порядок

Даже если ваш рабочий инструмент не мощнее экселя, стоит задуматься о системе организации материалов и документирования. Порой нужно понять собственные наработки по прошествии нескольких недель или месяцев, а иногда разобраться в старых расчетах, скриптах или аналитической работе коллег, которые уже не работают в организации – хорошая система упростит эти задачи.

Примечательный подход я подсмотрел в статье у Noble, специалиста по вычислительной биологии. Основные тезисы из нее:
• В корне проекта создать папки: docs, data, src, bin, results.
• Организация результатов и данных по датам. Не стоит выстраивать логическую структуру папок, поскольку, как правило, «оптимальная» логика меняется по ходу работы и хранилище превращается в свалку.
• Подробно документировать все действия с привязкой к дате в отдельном журнале.
• Из работы со скриптами: а) делать мастер-скрипт, который запускает все остальные и содержит все наименования файлов, подробно его комментировать, использовать относительные пути к файлам, б) система контроля версий и т.п.

Я использую некоторые идеи из статьи в работе: например, ведение журнала с привязкой к дате. По крайней мере это помогало восстановить то, что уже стерлось из памяти. А вот систематически вести результаты и данные по датам пока так и не получилось.

Другой вопрос, что такой подход требует дисциплины, усилий и затрат времени. Окупятся ли они? В сложном и долгосрочном проекте, скорее да.

Литература: A Quick Guide to Organizing Computational Biology Projects (plos.org).

#порядок

Яблоки из груш и COVID-19: статистические методы

Одни из первых известных упоминаний экспериментального подхода можно найти в библейских историях «Навуходоносор и Даниил», «Илия и священники Ваала»: сравнение диет и религий*. В обоих случаях описаны контрольная и экспериментальные группы. Видимо, понимание, что для выявления эффекта нужно сравнить ситуации, которые во всех остальных отношениях практически одинаковы, появилось давно. Времени прошло много и сегодня существуют более современные способы сравнить яблоки с яблоками или даже превратить груши в подобие яблок.

Эталон современной доказательной медицины – рандомизированные двойные слепые контролируемые исследования. В основе лежит рандомизация – разделение на две группы случайным образом из исходной совокупности пациентов, популяции. Если проставить 0 и 1 как признак наличия зеленого цвета глаз у пациентов в исходной совокупности и случайным образом разделить ее на две выборки, то при достаточно большом количестве наблюдений среднее этой переменной – доля зеленого цвета глаз – будет примерно одинаковой в обеих выборках. Так происходит благодаря закону больших чисел, который, грубо говоря, постулирует, что выборочное среднее, при увеличении количества наблюдений, стремится к среднему по популяции.

Провести такого рода исследования зачастую невозможно, особенно в экономике. В таком случае используют разные методы, которые делают группы как можно более сравнимыми. Mitze et al. провели исследование эффективности масок в борьбе с COVID-19 на основе данных по 401 региону в Германии с помощью метода синтетического контроля. В регионе Йена ввели необходимость носить маски, в то время как во многих других пока не было такого требования. Для оценки эффекта ношения масок в Йене авторы сформировали из остальных один «искусственный», который похож на Йену по разным параметрам: случаи ковида до введения ношения масок, демографический состав и система здравоохранения. По расчетам авторов, ношение масок значительно снижает заболеваемость: дневные темпы роста регистрируемых случаев сократились на 47%**.

Литература: в посте.

*Интерпретацию истории «Навуходоносор и Даниил» как эксперимента можно найти в Mastering Metrics, а истории «Илия и священники Ваала» у Юдковского.
**Этот результат получен с использованием других регионов в качестве Йены: см. подробнее в работе.

#economics #инструменты

SeeMTo pinned «О канале SeeMTo – Seeking Mental Tools. Это авторский канал, читатель. Делюсь тем, что мне интересно по системам принятия решений, рациональности, ментальным моделям, статистике, исследованиям и прочему. Хотя и надеюсь, что это принесет вам пользу или удовольствие…»

О канале

SeeMTo – Seeking Mental Tools.

Это авторский канал, читатель. Делюсь тем, что мне интересно по системам принятия решений, рациональности, ментальным моделям, статистике, исследованиям и прочему. Хотя и надеюсь, что это принесет вам пользу или удовольствие, не уверен, что это произойдет. Возможно, существуют способы потратить время эффективнее, чем уделять внимание SeeMTo – подумайте.

Об авторе

• Сейчас занимаюсь моделями кредитного риска в банке.
• Есть опыт в эмпирических исследованиях по экономике.
• 7 лет в аналитике.
• Образование – математические методы в экономике.

Принципы канала

• Посты, как правило, основаны на исследованиях, анализе кейсов или моем мнении.
• Привожу ссылки на источники.
• Фокус на прикладной составляющей.
• Буду выходить за круг компетенций, но постараюсь делать это аккуратно.
• Нет установленной периодичности выхода постов. Ориентир – не более одного в неделю или в две недели.
• Реклама, если и будет, то отдельным постом и с обязательной пометкой. В иных случаях не получаю оплату за публикации. Telegram может размещать посты без спроса, с припиской «спонсировано».

Пишите на @SeeMTo_admin или admin@seemto.blog. Рад конструктивной критике. И могу ошибаться – пожалуйста, поправляйте.

Почти тот же контент дублируется на Medium на английском языке: seemto.blog.

Если все еще читаете, добро пожаловать!

Принятие решений: алгоритмы или эксперты?

Мы часто используем разные критерии принятия решений для одинаковых ситуаций: например, рентгенологи меняли свое мнение в 20% случаев, когда им давали те же снимки. Это часть человеческой природы, люди нередко отталкиваются от того, что кажется верным – основываясь на интуитивном мышлении, – и при повторении той же ситуации часто обращают внимание уже на другие обстоятельства, даже если знают примерный набор определяющих факторов. В таких случаях алгоритмы, которые представляют из себя формализованные правила или математические модели, могут работать не хуже или даже лучше людей. Так происходит во многом за счет учета фиксированного набора переменных.

Алгоритм не обязательно должен быть сложным или точно отражать действительность, чтобы справиться лучше эксперта: например, семь одинаково взвешенных факторов определяло рак по рентгену довольно хорошо. Помимо отсутствия когнитивных искажений и систематического применения одного критерия, у моделей есть и другие преимущества перед людьми: высокая скорость, непрерывная работа и отсутствие необходимости выстраивать для них правильные стимулы.

Конечно, как модели, так и эксперты, бывают разного уровня, да и алгоритмам свойственны систематические ошибки. Однако сделать хорошую модель зачастую проще и дешевле: издержки на нее более-менее фиксированы, в то время как нужно больше экспертов на большее количество клиентов. Кроме того, люди довольно дорогой ресурс.

Thomas Ghietzen исследовал банк в Африке, который выдавал кредиты для малого бизнеса. В нем вводилась автоматизированная система рейтингования – скоринговая модель – взамен ручной оценки заемщиков*. Более того, скоринговую систему ввели не сразу для всей компании. Отделения случайным образом разделили на те, где оставили сотрудников и где ввели способ принятия решений с помощью математической модели. Через некоторое время скоринг внедрили повсеместно.

Такой дизайн исследования позволил авторам сравнить два подхода на трех временных отрезках: до изменений, во время разделения на две части, после повсеместного введения скоринга. Качество кредитного портфеля не стало значительно хуже при использовании модели вместо экспертов**. По расчетам авторов у банка сократились издержки по выдаче кредитов после введения системы**.

Современные алгоритмы пока не могут повсеместно заменить экспертов, однако они уже способны функционировать лучше или выдавать примерно то же качество результата в разных сферах принятия решений: от скоринговых моделей и до диагностики сколиоза. И при этом быть ощутимо дешевле армии экспертов.

P.S. Когда почти дописал пост, узнал, что у Канемана с соавторами в этом году вышла книга: «Шум. Несовершенство человечески суждений» (на русском уже есть). В ней как раз подробно обсуждается, почему алгоритмы помогают улучшать качество решений. Должно быть интересное чтение!

*Отмечу, что это препринт и работа сделана давно: возможно, есть причины, по которым ее не приняли к публикации.

**Такие результаты нельзя считать окончательной истиной. Могут быть неизвестные параметры: например, уже до введения скоринга как-то изменились стимулы экспертов или все-таки группы отделений чем-то различались. А в подсчетах экономической эффективности легко что-то не учесть.

Литература: ссылки в посте.

#когнитивистика #инструменты #аналитические_системы

Рисунки 1, 3 – классическая круговая диаграмма, рисунки 2, 4 – dot plot. По моим ощущениям, dot plot воспринимается гораздо легче: проще с первого взгляда сравнивать значения по странам. В круговой диаграмме это делать не так-то просто, а если убрать подписи, то сложно точно сопоставить кусочки пирога на глаз. Например, на круговой диаграмме 20% + 20% визуально кажутся похожими на 33%. Отличить сектор в 17% от 20% тоже сложно.

Дело не только в ощущениях, но и исследования показывают, что так оно и есть. В круговой диаграмме мы вынуждены оценивать величину угла, однако у людей не очень хорошо получается делать это на глаз. С расположением относительно общей шкалы мы справляемся лучше.

Одна из причин, по которой dot plot не распространен: его не построить во всех известных мне версиях экселя без макросов и надстроек. Приведенный dot plot сделан в R. Если нет возможности построить dot plot, то, на мой взгляд, лучше сделать горизонтальную столбчатую диаграмму, чем круговую.

Забота о графическом оформлении создает добавленную стоимость, упрощается задача для читателя. С другой стороны, как и во многом, надо учитывать альтернативные издержки. В данном случае это отдача от затрат времени на идеи или текст для вашей работы (наилучшая из отвергнутых альтернатив) минус отдача от затрат времени на графическое оформление.

Источники: Naomi B. Robbins, Creating More Effective Graphs, расчеты автора.

#эстетика #восприятие

Круги и точки

Визуальная подача материала влияет на его восприятие: иногда стоит поработать над графиками, чтобы они были удобнее для нашего глаза. Рассмотрим следующий пример. Для начала стоит посмотреть только на первые две картинки (рис. 1 и 2) и понять, какую проще интерпретировать:

Юдковский, «Рациональность: от ИИ до зомби»: обзор и практические инструменты. Часть 2.

В «Рациональность: от ИИ до зомби» местами описаны практические инструменты. В списке ниже привожу сжатую выборку материала из книги с обобщениями и небольшими изменениями, в некоторых случаях у Юдковского есть ссылки на источники, здесь они опущены:

• Постоянно задавать вопрос почему? Почему я верю в то, во что я верю? Что я знаю и почему думаю, что знаю? Сначала мы принимаем на веру разные утверждения, а сомневаемся лишь потом, что подтверждается экспериментами - задавать себе эти вопросы крайне важно.

• Какие ожидания следуют из этого убеждения? Что не должно происходить, если оно верно? Если ответа на второй вопрос нет, то убеждение бесполезно.

• Наши представления – это карта, а не территория. Карты часто неправильны, однако устройство реальности от этого не меняется. К тому же, на картах много упрощений.

• P(X и Y) меньше или равно P(X). Вероятность пересечения событий меньше или равна вероятности любого из событий. Тем самым, требование к простоте гипотез вытекает из теории вероятностей. Это та же причина, по которой не стоит строить сложные планы или цепочки рассуждений.

• Провел ли я 5 минут с закрытыми глазами в поисках лучшей альтернативы, креативных или даже безумных опций? Из той же серии: «Не предлагайте решения пока проблема не обсуждена настолько глубоко, насколько возможно». Полезность такого подхода объясняется психологическими механизмами: когда есть некоторое решение, то другие опции хуже приходят в голову.

• «Для понимания поведения людей надо отдавать себе отчет в том, что все думают, что ведут себя абсолютно нормально».

• Если появляются разногласия, не пытаться лучше определить спорные термины или использовать синонимы, а детально описывать, что подразумевается. Например, пояснить, что такое свобода воли, не используя это словосочетание или синонимы. Обсуждение без ярлыков помогает понять, о чем именно идет речь.

• Не давать «мистические объяснения на мистические вопросы». Например, в витализме живые объекты от неживых отличались тем, что в первых была «жизненная сила». Такое объяснение ничего не объясняет. Модель должна быть механизмом с подвижными частями, она не может быть некоторой единой субстанцией.

• Как бы я восстановил это знание, если бы его удалили из моей памяти?

Если в наличии много свободного времени и умеете пролистывать знакомые темы без мук совести, то прочитать «Рациональность: от ИИ до зомби» стоит: велика вероятность найти для себя что-то ценное и новое. Тем не менее у Юдковского я бы начал с книги «Гарри Поттер и методы рационального мышления». Если вы фанат серии Гарри Поттера и интересуетесь рациональностью, скорее всего, она доставит удовольствие и пользу.

Литература: Юдковский «Рациональность: от ИИ до зомби» (есть частичный перевод на русский язык), Гарри Поттер и методы рационального мышления (есть на русском языке).

#обзор_книг #инструменты

Юдковский, «Рациональность: от ИИ до зомби»: обзор и практические инструменты. Часть 1.

Одно из определений рациональности – это способ мышления, который помогает привести убеждения в соответствие с действительностью и повышает качество принимаемых решений. Считается, что развить рациональность можно с помощью изучения некоторых разделов математики и других наук, к которым можно отнести теорию вероятностей, статистику, когнитивистику, антропологию и т.д. В «Рациональность: от ИИ до зомби» – сборнике эссе на основе материалов блога – Юдковский попытался охватить эту обширную тему. Стоит ли читать книгу и приведены ли в ней практические инструменты?

Не претендую на то, что приведу полный и объективный обзор в двух постах. Труд большой, около 1800 страниц, рассмотрены темы от когнитивных искажений и до квантовой физики. Можно почерпнуть для себя много интересного благодаря охвату книги и нестандартным примерам. К хорошо написанным эссе отнесу:

• «An intuitive explanation of Bayesian theorem», да и многое на тему байесовского подхода. Одно из открытий для меня – рассмотрение принципа фальсифицируемости как частного случая теоремы Байеса.
• «Twelve virtues of rationality». В нем приводится сжатый перечень добродетелей рациональности: любопытство, стремление к простоте в убеждениях, планировании, обоснованиях; иметь что-то на готове в случае ошибок в убеждениях и планах и т. д.

Однако пробираться через книгу местами сложно. Сказывается, что это не единая книга, а набор постов. Кроме того, описание практического применения – не основная цель автора. В течение значительной части не покидало ощущение, что есть источники, в которых те же темы поданы гораздо лучше: в разделах о когнитивных искажениях вспоминал Канемана, а о физике – Фейнмана. В итоге темы, которые изучал раньше, воспринимал как неэффективное повторение, а через незнакомые бывало очень сложно пробраться. Еще надо понимать, что без нормального математического бэкграунда многие вопросы окажутся непонятны.

В следующей части приведу практические приемы из книги.

#обзор_книг #инструменты

Когда аналогия может не сработать

Пару лет назад узнал о Lemonade Inc. – американском стартапе, который решил изменить индустрию страхования с помощью новых технологий и выстраивания стимулов для самого себя таким образом, чтобы соблюдался интерес потребителя: легкость и высокая скорость оформления, быстрые выплаты без каких-либо заминок.

Технологичность Lemonade обеспечивается за счет того же, что и у Тинькофф относительно остальных российских банков: все или почти все онлайн, без лишних усилий. Примечательна их модель выстраивания стимулов: для того, чтобы не пытаться сократить выплаты по страховым случаям, компания берет только фиксированный процент от премий, а остаток, если он есть после выплат, в конце года направляется в благотворительные организации по выбору клиентов. В результате похоже, что нет мотивации не платить по страховкам с целью оставить больше денег в компании.

Нечто аналогичное появилось на российском рынке в конце 2019 – Манго иншуринг. По отзывам быстро оформляют и со ссылкой на данные ЦБ утверждают, что выплачивают 86% собранных средств, в то время как другие в среднем 12%. Бизнес-модель, в моем понимании, полагается на цифровизацию бизнеса: не нужно содержать большой штат страховых агентов и эти деньги можно пустить на выплаты.

Не уверен, что Манго вдохновлялся Lemonade, однако есть сходство. Другое дело, что Манго не использует модель с переводом остатка страховых премий в благотворительность. Надолго ли хватит заряда цифровизации на большой процент выплат при отсутствии такого стимула? Они достигнут только локальный оптимум, но не глобальный? Сможет ли модель Lemonade стать образцом и вытеснить стандартный подход в индустрии? Интересно понаблюдать, как будут развиваться события.

Источники: www.lemonade.com, https://mango.rocks/ .

#economics #startups #инструменты

О пользе откладывания дел

Откладывание дел может приносить пользу. Одним из проповедников принципа «не доводить дело сразу до конца» был Леонардо Да Винчи. Он писал, что мы совершаем ошибку, когда не отрываемся от работы, и в результате можем сильно обмануть самих себя, в то время как перерывы помогают нам лучше судить собственную деятельность и подмечать недостатки. Оставим в стороне то, что заказчики были зачастую недовольны тем, что Да Винчи не соблюдал оговоренные сроки.

В когнитивистике есть подтверждения пользы «откладывания дел». Edward Vul и Harold Pashler провели исследование, в котором две группы участников отвечали на вопросы: например, какая доля от всех аэропортов находится в США. Потом одной из групп задавали те же вопросы сразу, а другой по прошествии трех недель. О повторном опросе никого не предупреждали. В обеих группах ошибка второго ответа была выше, чем первого.

Исследователи рассчитали среднее первого и второго ответов для каждой группы: ошибка среднего ответа получилась меньше ошибок перового и второго в обеих группах. При этом разница между ошибкой среднего и первого ответа у участников с повторным опросом через три недели была больше, чем у тех, кого попросили ответить сразу – усредненный ответ лучше, если прошло три недели. В качестве возможного объяснения авторы приводят более сильный эффект якорения – влияние изначально указанного ответа – у группы, которую опросили сразу.

Перерыв в делах можно применить не только к созданию произведений искусства или ответам на вопросы о фактах, но и к поиску идей, написанию текстов, письмам, аналитике – сложно привести исчерпывающий список. Со сроками проблем не возникнет, если правильно все распределить. Я часто применяю описанный принцип на практике. Например, пишу письмо и пересматриваю его утром на следующий день. Так же и с отчетами: читаю их повторно только по прошествии некоторого времени. В таком случае лучше находишь недостатки и комбинируешь существующую информацию с новыми концепциями.

Литература: Da Vinci Notebooks Oxford university press; Edward Vul and Harold Pashler “Measuring the Crowd Within. Probabilistic Representations Within Individuals”.

#когнитивистика #инструменты

Channel photo updated

Channel created