"Моя идея относительно науки расходится с идеями людей вокруг меня, которые называют себя учеными. Наука для меня - это просто спекуляция, просто формулировка догадки..." Н.Талеб
Прочитал книгу "Одураченные случайностью. Скрытая роль Шанса на Рынках и в Жизни" (Н.Талеб). Эта книга про парадоксы вероятности и восприятие мира случайностей. Она говорит в первую очередь про финансовые (биржевые) риски, но их достаточно просто рассматривать и с точки зрения рисков информационной безопасности. Крайне интересно и познавательно, заставляет мозги шевелиться.
Книга читается не просто, но захватывает и дает новые идеи и мысли. Общий балл - "4", читать если интересно. Кстати, этот автор написал еще одну известную книгу - " Черный лебедь. Под знаком непредсказуемости ", но до нее у меня руки еще не дошли, пока в планах.
Основной идеей, которую автор рассматривает на протяжении всей книги является восприятие человеком замаскированной удачи не как везения, а как мастерства и последствия такого восприятия. Автор пропагандирует критическое и научное мышление, книга содержит много интересных гипотез и их доказательства или опровержения.
Одним из ключевых примеров книги является так называемый "черный лебедь" ("проблема индукции" / "проблема демаркации"). Суть проблемы заключается в том, что даже очень большое число подтверждающих фактов в отношении того или иного утверждения, полученного путём индуктивного обобщения, делает его лишь весьма вероятным, но все-таки не твердо достоверным. При этом достаточно одного, но вполне бесспорного, опровергающего факта для того, чтобы это индуктивное обобщение было отброшено как негодное. Простой пример этому — превращение утверждения «все лебеди белые» в ложное, когда стало известно, что в Австралии живут и чёрные лебеди.
«Никакое количество наблюдений белых лебедей не может позволить сделать вывод, что все лебеди являются белыми, но достаточно наблюдения единственного черного лебедя, чтобы опровергнуть это заключение.
Следующее индуктивное утверждение иллюстрирует проблему интерпретации прошлых данных без логического метода: «Я только что закончил тщательную статистическую экспертизу жизни Президента Буша. В течение 55 лет, около 16,000 наблюдений он не умирал ни разу. Я могу, следовательно, объявлять его бессмертным, с высокой степенью статистической значимости».
«Наука не должна приниматься слишком всерьез. Есть только два типа теорий:
1. Теории, о которых известно, что они являются неверными, поскольку они были проверены и, соответственно, отвергнуты (он называет их фальсифицированными).
2. Теории, о которых ещё не известно, что они неправильны (ещё не фальсифицированные), но они подвергнуты проверке на предмет доказательства их неправильности.»
Продолжая тему показательных примеров из теории вероятности, посмотрим еще на несколько цитат из книги:
«Если вы поместите бесконечное число обезьян перед (крепко сделанными) пишущими машинками, и позволите им. хлопать по клавишам, есть уверенность, что одна из них выдаст точную версию Илиады. При более глубоком рассмотрении, эта концепция может быть менее интересной, чем могло показаться сначала: такая вероятность очень низка. Но сделаем еще один шаг в рассуждениях. Когда мы нашли такого героя среди обезьян, будет ли какой-либо читатель ставить свои сбережения на то, что эта обезьяна написала бы затем Одиссею?В этой истории, второй шаг является самым интересным. Насколько прошлые достижения (здесь печатание Илиады), могут быть уместны в прогнозе будущих результатов? То же самое применимо к любому решению, основанному на прошлых результатах, и полагающемуся на признаки прошлого временного ряда. Подумайте об обезьяне, стоящей у вашей двери с её внушительными прошлыми результатами. Эй, он написал Илиаду! Быстро, заключите с ним контракт на продолжение!Есть и другие аспекты в проблеме обезьян: в реальной жизни обезьяны не исчисляемы, поскольку в большинстве случаев мы можем видеть только «выстреливших». Это создает ошибочное восприятие шансов. Мы не откликаемся на вероятность, но откликаемся на оценку её обществом.»
«Вы получаете анонимное письмо, 2-ого января, сообщающее Вам, что рынок будет повышаться в течение месяца. Это оказывается правдой, но вы игнорируете его, вследствие известного эффекта января (исторически, акции повышались в течение января). Тогда вы получаете другое письмо, 1-ого февраля, сообщающее вам, что рынок понизится. Снова, это оказывается правдой. Потом вы получаете другое письмо, 1 -ого марта – та же история. К июлю вы заинтригованы предвидением анонимного человека и вас просят вложить капитал в специальный оффшорный фонд. Вы вкладываете туда все ваши сбережения. Двумя месяцами позже, ваши деньги пропали. Вы проливаете слезы на плече вашего соседа и он сообщает вам, что он помнит, что он получил два таких таинственных письма. Но почтовые послания остановились на втором письме. Он вспоминает, что первое предсказание был правильным, а второе – нет.Что случилось? А трюк в следующем. Мошенник-оператор тянет 10,000 имен из телефонной книги. Он отправляет бычье письмо одной половине выборки, и медвежье – другой половине. В следующем месяце, он выбирает имена тех, кому он отправил письма с правильным предсказанием, то есть 5,000 имен. В следующем месяце он делает то же самое для оставшихся 2,500 имен, пока список не сузится до 500 человек. Из них 200 будут жертвами. Инвестиция нескольких тысяч долларов в почтовые марки превратится в несколько миллионов.»
«Наиболее интуитивный способ описать проблему выкапывания данных не статистику – через то, что называется парадоксом дня рождения, хотя это и не настоящий парадокс, а просто причуда восприятия. Если вы встречаете кого-то случайно, есть один шанс из 365.25, что ваши с ним дни рождения совпадают, и значительно меньший шанс совпадения с ним года рождения. Итак, тот же самый день рождения был бы совпадением, которое вы бы обсуждали за обеденным столом. Теперь посмотрим на ситуацию, в которой есть 23 человека в комнате. Каковы шансы, что там окажутся два человека с одинаковым днем рождения? Приблизительно 50%Поскольку мы не определяем, у каких людей должны совпадать дни рождения, подходят любые пары.Мир тесен! Подобное неправильное представление о вероятности возникает в результате случайных столкновений, которые могут произойти с родственниками или друзьями в самых неожиданных местах. "Мир тесен" произносится часто и с удивлением. Но такие события не невероятны, хотя мир намного больше, чем мы думаемТолько мы не проверяем шансы встретить определенного человека, в определенном месте, в определенное время. Скорее, мы просто прикидываем шансы любой встречи, с любым человеком, которого мы когда-либо встречали в прошлом, в любом месте, которое мы посетим в течение интересующего периода. Вероятность последнего значительно выше, возможно, в несколько тысяч раз больше величины другого.»
Обобщая идеи и мысли из книги, можно сделать для себя несколько полезных выводов:
- Надо быть аккуратнее с выводами, основанными на индуктивном умозаключении. Четко определяйте границы и допущения модели.
- Рассмотрение просто вероятности не так полезно, как оценка вероятности умноженной на возможное вознаграждение (ну, или ущерб). Это дает лучшее понимание систем и возможность точнее воспринимать и оценивать события.
- Маловероятные события тоже случаются. Ими нельзя пренебрегать, особенно если ущерб/прибыль велики.
- События бывают случайными и не случайными. Людям свойственно их путать.
- Теория вероятности и статистика - это весело и увлекательно. :)))
Далее еще несколько идей из книги и интересная задача:
name='more'>
- "Я начинаю с банальной мысли: нельзя судить о достижениях в какой угодно области (война, политика, фармация, инвестиции) по результатам, а надо — по стоимости альтернативы, (то есть, что было бы, если бы история пошла другим путем). Такие подмены событий называются альтернативными историями."
- "Никто не принимает случайность в своем собственном успехе, только в своей неудаче..."
- "Действительность гораздо хуже, чем русская рулетка. Во-первых, она подобна револьверу, который имеет сотни, даже тысячи пулеприемников вместо шести. После нескольких дюжин попыток, практически каждый забывает о существовании пули, убаюканный ложным чувством безопасности."
- "Философ Паскаль объявил, что оптимальная стратегия для людей состоит в том, чтобы верить в существование Бога. Поскольку, если Бог существует, то верующий будет вознагражден. Если же Он не существует, верующий ничего не потеряет".
- ...
И мое любимое: "Существует один способ отличить научного интеллектуала от литературного -научный интеллектуал обычно может распознавать письмо литературного, но литератор вряд ли был бы способен определить различия между строками, написанными ученым или бойким лириком. Это становится даже более очевидным, когда литературный интеллектуал начинает использовать научную терминологию типа "принцип неопределенности", "теорема Гёделя", "параллельная вселенная" или "относительность" либо вне контекста, либо, как часто бывает, в точной противоположности научному смыслу. Используя уйму научных отсылок, можно заставить другого литературного интеллектуала поверить, что материал имеет печать науки. Но для ученого очевидно, что наука — в строгости выводов, а не в случайных ссылках на такие грандиозные концепции как общая относительность или квантовая неопределенность. Научная строгость может быть выражена самым простым языком, в самой простой прозе."
P.S. Напоследок небольшая задача из книги, над доказательством которой и решением аналогов с измененными данными я ломал голову пол вечера:
"Тест на заболевание имеет 5% ложных положительных результатов. Болезнь затрагивает 1/1,000 часть населения. Люди проверяются наугад, независимо от того, подозреваются ли они в наличии болезни. Тест пациента положителен. Какова вероятность, что пациент поражен болезнью?"95% - неверный ответ. Для получения правильного ответа выделите область ниже:
"Большинство докторов ответило, что 95%, просто принимая во внимание факт, что испытание имеет степень точности 95%. Ответом же является условная вероятность, что пациент является больным, и тест это показывает – близко к 2%. Меньше чем один из пяти профессионалов ответил верно.
Я упрощу ответ. Предположим, что нет ложных отрицательных результатов теста. Из 1,000 пациентов, которые проходят тест, ожидается один заболевший. Из популяции оставшихся 999 здоровых пациентов, тест выделит приблизительно 50 с болезнью (это 95% точность). Правильным ответом должно быть то, что вероятность быть заболевшим для кого-то, отобранного наугад, и чей тест является положительным, определяется следующим отношением: Число заболевших людей / Число истинных и ложных положительных результатов теста. Здесь 1 к 51.
Подумайте, сколько раз вам давали лекарства с разрушительными побочными эффектами для лечения болезни, которую, как вам сказали, у вас нашли, тогда когда вероятность того, что она у вас есть, всего 2%! "
