Антон Борисов-Федосов – Сложность в действии (страница 3)
Пункт второй: между моим действием и ответом мира почти всегда лежит время, и на этом времени моя интуиция строит ложную связь — хвалит вредное («пронесло») и хоронит полезное («не работает»).
Британская администрация в Дели объявила награду за убитых кобр — кобр в городе стало больше: предприимчивые жители наладили их разведение. Когда премию отменили, заводчики выпустили ставший бесполезным товар на улицы. Ханой, та же логика с крысиными хвостами: город наполнился бесхвостыми крысами — ловцы отпускали крыс на развод. «Эффект кобры» — это пятый вопрос рентгена, забытый в момент решения: система из живых существ отвечает на твоё правило не подчинением, а встречной стратегией. Плати за строки кода — получишь многословный код. Плати за закрытые тикеты — получишь дроблёные тикеты. Накажи ребёнка за признание — получишь не послушание, а мастерство сокрытия.
А вот ошибка потоньше, моя любимая из всей коллекции. Инструкторы израильских ВВС говорили Даниэлю Канеману: похвала не работает, наказание работает. Похвалишь курсанта за блестящий полёт — следующий будет хуже; наорёшь за провальный — следующий будет лучше. Железное наблюдение, тысячи повторений. Объяснение — чистая статистика: блестящий полёт — это отклонение вверх от среднего уровня курсанта, после него следующий полёт скорее всего будет ближе к среднему, то есть хуже, — с похвалой или без. Провал — отклонение вниз, после него вероятен возврат к среднему, то есть улучшение, — с криком или без. Регрессия к среднему: после крайности следует что-то более обычное, просто по устройству случайности. Но мозг не терпит «просто случайности» — он требует историю с причиной. И сочиняет её: «наказание работает». На этой ошибке стоят века педагогики, менеджмента и народной медицины: лечение, начатое в пике болезни, «помогает» всегда — потому что за пиком следует спад, с лечением или без.
Пункты третий и четвёртый: живая система ответит на моё правило встречным ходом, который я не заложил в план; а после любой крайности мир вернётся к среднему сам — и соблазнит меня приписать возврат моему вмешательству.
Собери четыре пункта вместе и увидишь необычную вещь: список ошибок, которые ты совершишь в будущем. Не «возможно, совершишь» — совершишь почти наверняка, потому что это не случайные сбои, а систематические перекосы самой машины интуиции. Случайную ошибку предсказать нельзя. Систематическую — можно, и в этом вся надежда: предсказуемая ошибка ловится заранее.
Ты недооценишь всё, что умножается, — долг, эпидемию, рост аудитории, накопление обиды. Ты бросишь полезное до прихода эффекта и повторишь вредное до прихода счёта. Ты примешь возврат к среднему за успех своего вмешательства — особенно если вмешался в момент крайности. И ты забудешь, что тот, на кого направлено твоё правило, — живой и уже придумывает встречный ход.
Против систематической ошибки есть скучное и безотказное оружие — чек-лист. Пилоты не летают без него не потому, что глупы, а потому что знают: усталая голова в критический момент промахивается предсказуемо. Твой чек-лист перед всяким заметным решением — четыре вопроса. Есть ли здесь экспонента, которую я чувствую как прямую? Какова задержка ответа — и не сужу ли я о причине по слишком раннему следствию? Как ответит на мой ход живая сторона? Не крайний ли сейчас момент — не будет ли возврат к среднему выдавать себя за результат?
Пятый вопрос стоит особняком, и ему посвящён остаток главы: а насколько вообще стоит доверять моей уверенности?
Сейчас ты получишь число, которое большинство людей о себе не знает. Ниже — десять вопросов с числовыми ответами. Не нужно знать точные цифры: для каждого вопроса запиши интервал — нижнюю и верхнюю границу, — в котором истинный ответ лежит с уверенностью 90%. Правила честности: интервалы можно делать сколь угодно широкими (это не позор, а калибровка); не подглядывать; записать все десять до проверки.
1. Длина Волги, км. 2. Год изобретения печатного станка Гутенберга. 3. Масса взрослого африканского слона, кг. 4. Глубина Марианской впадины, м. 5. Население Австралии, млн человек. 6. Максимальная скорость гепарда, км/ч. 7. Расстояние от Земли до Луны, км. 8. Год основания Санкт-Петербурга. 9. Количество костей в теле взрослого человека. 10. Площадь Байкала, км².
Теперь проверь себя (ответы: 3530; 1440-е, обычно называют 1440; около 5000–6000; около 11 000; около 27; около 110–120; в среднем 384 400; 1703; 206; около 31 700). Посчитай, сколько истинных значений попало в твои интервалы.
При уверенности 90% из десяти интервалов должны были сработать девять. Типичный результат впервые проходящего тест — от трёх до шести. Вдумайся: там, где ты говоришь «уверен на девяносто», ты прав примерно в половине случаев. Это и есть сверхуверенность — самый измеримый и самый дорогой перекос интуиции: он конвертируется в сорванные сроки, невзятые страховки и слишком крупные ставки. Заметь ещё, как не хотелось делать интервалы широкими — «что я, совсем не знаю, что ли?». Узкий интервал ощущается как компетентность, широкий — как капитуляция. Хотя всё ровно наоборот: честная ширина и есть компетентность в вопросе «что я знаю о границах своего знания».
Хорошая новость: калибровка тренируется, и быстро — но только со счётом на бумаге. В главе 31 мы поставим её на постоянные рельсы журнала прогнозов. А пока запиши свой сегодняшний счёт: x из 10. Это твоя точка отсчёта — и последний экспонат в карте предсказуемых ошибок: моя уверенность систематически больше моих знаний.
Глава 4
Модель на салфетке умнее эксперта
В 1954 году психолог Пол Мил опубликовал книгу, которую коллеги ему долго не могли простить. Он собрал два десятка исследований, где один и тот же прогноз — пойдёт ли студент успешно учиться, нарушит ли условно освобождённый режим, каков диагноз пациента — делали двумя способами: опытный специалист на основе всех материалов и беседы; и примитивная формула, складывающая два-три числа из анкеты. Счёт оказался разгромным: формула шла вровень с экспертом или била его почти везде.
Полвека спустя мета-анализ Уильяма Гроува и коллег подвёл итог уже по ста тридцати шести исследованиям — от медицины до криминологии. Картина не изменилась: примерно в половине случаев формула точнее человека, почти во всей второй половине — не хуже; эксперт уверенно побеждает формулу в считаных процентах задач. Это один из самых устойчивых и самых игнорируемых результатов в психологии: простая модель, как правило, предсказывает не хуже опытного профессионала, глядящего на те же данные.
А в 1979 году Робин Доус довёл историю до неприличия статьёй с говорящим названием «Устойчивая красота неправильных линейных моделей». Оказалось, даже не нужно статистически подбирать веса факторов: возьми разумные признаки, дай всем равные веса, просто сложи — и такая «неправильная» модель всё равно, как правило, обходит эксперта. Его хрестоматийный пример — прогноз устойчивости брака по формуле из двух слагаемых: частота близости минус частота ссор. Положительное число — прогноз благоприятный. Эта арифметика на салфетке предсказывала не хуже развёрнутых клинических заключений.
Сдвиг главы, во всей красе: сложение нескольких чисел равными весами — стратегия, которую стыдно назвать анализом, — на регулярных прогнозах бьёт интуицию профессионала. Твою — тем более.
Первая реакция на эти данные — «не может быть, человек видит нюансы!». Видит. В том-то и разгадка: человек превосходно замечает признаки — и безнадёжно плохо их складывает.
Сложение у человека шумит. Один и тот же врач, глядя на один и тот же снимок в разные дни, даёт разные заключения — усталость, время суток, предыдущий пациент, голод сдвигают вес, который он молча придаёт каждому признаку. Судьи выносят разные приговоры по одинаковым делам. Это называется шумом, и его масштабы в экспертных суждениях чудовищны — десятки процентов расхождения там, где люди уверены в своей последовательности. Формула не шумит: одни данные — один ответ, сегодня, ночью и в пятницу вечером.
Дальше: человек взвешивает не признаки, а историю. Один яркий факт — обаятельный кандидат, драматичная деталь, свежий случай из памяти — перевешивает три скучных базовых показателя. Мозг — рассказчик: он собирает из данных сюжет, а сюжету нужны герой и поворот, а не базовые частоты. Формула сюжетов не слышит. Ей всё равно, что кандидат чудесно шутил на собеседовании, — она тупо спрашивает: а проекты он сдавал?
И последнее: человек не выдерживает собственных правил. Он знает, что курение важнее анкеты, но вот именно этот пациент так убедительно объясняет… Формула — это твои же лучшие суждения, замороженные в момент трезвости и защищённые от твоего же вечернего красноречия. Психолог Льюис Голдберг показал совсем оскорбительный вариант: если построить модель конкретного эксперта — по его же прошлым решениям вычислить, какие веса он на самом деле использует, — эта модель эксперта предсказывает лучше самого эксперта. Ты минус твой шум сильнее тебя.
Самая знаменитая салфетка в истории висит в каждом роддоме планеты. В 1952 году анестезиолог Вирджиния Апгар устала смотреть, как решение «спасать ли новорождённого немедленно» принимается на глазок и зависит от того, кто дежурит. Она выбрала пять признаков — дыхание, пульс, рефлексы, тонус, цвет кожи, — каждому назначила 0, 1 или 2 балла и велела складывать. Никакой статистической подгонки, чистая «неправильная модель» Доуса. Шкала Апгар спасла сотни тысяч младенцев — не потому, что была умнее врачей, а потому, что была одинаковой в три часа дня и в три часа ночи.