Проклятие экспертов: откуда они всё знают?


В рубрике «Нас не спрашивали» могут высказаться все приятные люди. Опостылевшие медиа, возмутительные стартапы, потерявшие стыд политики — всем рано или поздно воздастся. Коротко. Субъективно. Жестко.

Неравнодушный к науке арт-директор W→O→S Леша Ивановский объявляет войну «экспертным мнениям», которые заполонили медиа.

На прошлой неделе на The Village вышло интервью с диетологом Анатолием Волковым, в котором он бойко рассказал,
что мы все делаем не так: едим не то, пьем не ту воду и вообще «все витамины, которые нам нужны, производят бактерии
в нашем кишечнике», а «cочетание углеводов с сахаром
запустит процесс брожения» (как будто сахар не углевод).  

Тут интересна даже не тема (хотя тема великая), а сам экспертный подход.  Все подобные эксперты ведут себя похоже — вываливают на нас кучу готовых однозначных ответов. И первое, что мы должны сделать, — к каждому их утверждению задавать один очень простой вопрос:

«Откуда вы это знаете?»  

«Лучше пить сырую воду» — откуда вы это знаете?  
«Тяга к сахару — это симптом жажды» — а это откуда?
И это не снобизм, а форма интеллектуальной гигиены.

Удивительно, что за 30 лет ничего не поменялось —  в этом видео Фейнман рассуждает на схожую тему, даже проходится по органической еде — казалось бы, современной обсессии.  

Получить ответ на даже хорошо сформулированный вопрос — дело не просто сложное, а немыслимо сложное. Надо правильно спланировать эксперимент (это единственная форма задавания вопросов природе), провести его на достаточно репрезентативной выборке, убедиться, что вы нигде сами себя
не обманываете и не принимаете желаемое за действительное
(а обмануть самого себя  — самая простая форма обмана,
мы делаем это постоянно), потом проанализировать полученные данные и получить ответ, что в исследуемой группе,
по сравнению с контрольной, исследуемый признак встречался на 13% чаще. (Три других исследования на эту тему при этом могут показать диаметрально противоположный результат).
Вот так выглядит попытка ответить на простой вопрос, например, что полезнее — кипяченая вода или сырая.

Классический пример ошибки выборки при эксперименте — телефонные опросы в начале XX века: так как телефон был только у богатых людей, вопросы задавали исключительно им, хотя эта группа составляет никчемный процент от общей
массы людей.







Схожая история произошла при анализе повреждения английских самолетов во Второй мировой войне. Решая, куда поставить дополнительную броню на бомбардировщики, инженеры смотрели на места с максимальным количеством дыр от пуль,
и решали — раз туда часто попадает — надо это место укрепить.
На самом же деле их выборка была ограничена только вернувшимися самолетами, а, вообще-то, если с пулевыми отверстиями в крыльях самолет вернулся на базу, значит,
его не надо там укреплять. Надо  укреплять те места, в которых нет повреждений, ведь попадание туда фатально,
и поврежденные в этих точках самолеты на базу не вернутся.

Но «экспертам» нет дела до тонкостей, и они просто рубят
с плеча: это есть, это не есть, прививки никакие не делать
(вот тут тоже экспертов вагон, один умнее другого), органические продукты полезны, ГМО — зло, капитализм рухнет, фондовый рынок ждет крах через две недели, конец света будет в октябре.

Вредная иллюзия — полагать, что эти люди обладают каким-то доступом к огромным базам знаний, из которых они черпают свою мудрость. Обычно это просто интуитивные догадки, которые настолько выкристаллизовались в их сознании,
что они наверняка в это сами искренне верят. При этом
у нашего эксперта запросто может быть костюм тройка
и звание академика трех академий (чего-нибудь вроде РАЕН)
и тысяча картонных орденов — это ничего не говорит
о правильности его ответов.
 

Я уже писал про то, почему мы верим во что попало,
—  к сожалению, наш мыслительный аппарат не идеальная аналитическая машина, а куча переплетенных механизмов, доставшихся нам от предков. И один из этих механизмов заставляет нас сперва принимать на веру все, что мы слышим,
и только потом анализировать, так ли это.
 

То есть когда мы слышим, что «все витамины производятся у нас в кишечнике бактериями», наш мозг сразу говорит «ага, именно так», и только после включается механизм проверки, который говорит «стоп-стоп, погодите, как это все, если бы все — и цинги бы не было у матросов» (видный эксперт, конечно, скажет вам, что утверждение верно, «когда кишечник работает правильно», на что мы резонно спросим «Откуда вы, интересно, это знаете»?) .  

Моя любимая история про контринтуитивность мира вокруг нас связана с британским флотом, цингой и лаймами. До XVIII века цинга была огромной проблемой для моряков, пока британские медики не обнаружили, что от нее помогают цитрусовые,
но спустя век они сделали один неверный шаг — свежие лимоны, обязательные в рационе британских моряков, были заменены
на лаймы (или на лаймовый сок). Лаймы кислее, и оттого казались более «цитрусовыми», а значит и более эффективными в борьбе
с цингой. К тому же, они были дешеле, поскольку поставлялись
из колоний в Карибском бассейне. Но, к сожалению,
витамина C в лаймах (а особенно в соке лаймов) на порядок меньше. Такая замена привела к тому, что цинга снова стала опасной болезнью и разрушала планы моряков даже в начале
XX века, когда от нее особенно сильно страдали
британские полярные экспедиции.  
 

Вот именно на моментах, когда мы автоматически верим человеку в костюме, с серьезным видом уверяющему, что он точно знает, что через два месяца нас ждет новая волна кризиса, и, поверив, забываем спросить себя «А откуда он это знает?»,
и на нашей  готовности подчиняться авторитетным мнениям
и пасется индустрия экспертов. Именно она объявляет кофе
и развод с супругом канцерогенами только для того, чтобы
через две недели объявить, что кофе излечивает от рака, как, например, и работа по дому (но именно для женщин).
И да, это реальные газетные статьи.

Поэтому, как бы контринтуитивно это ни звучало, большее доверие мне внушают люди, которые чаще других говорят:
«Я не знаю». Именно это, а не готовый ответ на любой вопрос,
и отличает настоящего эксперта — человека, который в первую очередь знает, где пролегает предел его экспертизы.

Видный борец с индустрией экспертов экономист Нассим Талеб (автор «Черного лебедя» и «Антихрупкости») формулирует это так:

«Проблема с экспертами в  том, что они не знают, что они не знают. Недостаток знаний и заблуждения по поводу качества знаний идут рука об руку — чем меньше вы знаете, тем более убедительными вы считаете свои знания».