Калибровка: как понять, что вы хороший прогнозист
Хороший прогнозист — не тот, кто всегда прав. Всегда правы только те, кто говорит о почти решённом. Хороший прогнозист — тот, чьи «70%» сбываются в семи случаях из десяти. Это свойство называется калибровкой.
Что такое калибровка
Представьте, что вы сделали сто прогнозов и про каждый сказали «уверен на 70%». Если наступили примерно семьдесят из них, вы хорошо откалиброваны. Если наступили девяносто — вы были слишком осторожны. Если пятьдесят — слишком самоуверенны.
Самоуверенность — самая частая ошибка. Людям кажется, что они знают больше, чем знают на самом деле, и они называют 90% там, где честнее было бы 65%.
Как её измеряют
Для оценки прогнозов с вероятностями есть классическая мера — ошибка прогноза, или показатель Брайера. Метеоролог Гленн Брайер предложил её в 1950 году для оценки прогнозов погоды.
Считается она просто: разница между названной вероятностью и тем, что случилось, в квадрате. Сказали 90%, событие наступило — ошибка небольшая: (1 − 0,9)² = 0,01. Сказали 90%, событие не наступило — ошибка большая: 0,9² = 0,81. Уверенность, которая не подтвердилась, обходится дороже всего.
Чем меньше средняя ошибка, тем лучше. Ответ «50 на 50» на всё подряд даёт ошибку 0,25 — это уровень подбрасывания монетки.
Как это устроено на VANGEO
Цена доли в момент вашего прогноза — это вероятность, которую вы, по сути, назвали: купив «да» по 70 баллов, вы сказали «шансы выше 70%». Когда события завершаются, в портфеле появляется ваша точность и таблица калибровки: как часто сбывались прогнозы, сделанные при цене 50–60%, 60–70% и так далее. Таблица появляется после пяти прогнозов в завершённых событиях — раньше выводы делать рано.
Как тренировать калибровку
- Называйте число, а не «скорее да». «Скорее да» может означать и 55%, и 90%.
- Записывайте и проверяйте. Без проверки калибровка не растёт — поэтому на VANGEO итоги подводятся по заранее известным правилам.
- Сомневаетесь — ближе к 50%. Лучше честные 60%, чем уверенные 90%, которые не сбылись.
Начать можно с калибровки за 60 секунд: пять вопросов о реальных событиях с известным ответом.