確率的リテラシーの欠如

この記事を書いている今、アメリカ大統領選挙の終盤に向けて[1]、ネイト・シルバーが作成した予測に関する議論が起こっています。多くの共和党員は彼が民主党の回し者であり、オバマ氏が勝利する確率が85％という彼の予測は偽物だと主張しています[2]。心のどこかで、サイドベットができるほど確率に疎い共和党員をもっと知っていたらいいのにと思います。おそらく、私には民主党支持の友人が多いので、世論調査の結果が逆になっていたら、もっと良かったでしょう。実際には、私の知り合いのほとんどは数字に強いので、どちらにしてもあまり得はないでしょう。残念ながら、これは一般的には当てはまりません。この一幕は、ほとんどの人が確率に対して深く無知であることを示しており、これは社会全般、特にソフトウェア開発においていくつかの重要な影響を及ぼします。

この件について調べてみると、確率的リテラシーの欠如を示す証拠を見つけるのは難しくありません。

• 多くの人が、シルバーはオバマ氏の勝利を予測していると主張しています。それは事実ではありません。シルバーは、彼のモデルがオバマ氏の勝利の可能性を85％と予測していると言っているのであり、それは全く同じことではありません。（それは、ロムニー氏がサイコロを振って6の目を出すと勝つだろうと言っているのと同じで、それはそれほどあり得ないことではありません。[3]）
• 世論調査はしばしば間違っているからシルバーの言うことに耳を傾けるべきではないと言われていますが、シルバーは彼のモデルがこれを考慮しようとしていると述べています。シルバーは、世論調査はオバマ氏の勝利を確信しているが、彼のモデルはロムニー氏が勝利する可能性を15％と見積もっていると述べています。それは世論調査が間違っている可能性があるからです。
• 選挙が行われる火曜日になれば、シルバーの正しさが証明されるとか、間違っていることが証明されるとか言われています。しかし、1つの事象では、基礎となる分布について多くを語ることはできません。モデルを実際にテストするには、何十回も選挙を行う必要があります。[4]

この論争は、確率を理解し、正しく使う上で人々が抱えている根本的な問題の多くに触れているため、私の興味を引きました。まず、確実性の問題があります。人々は確率的な答えではなく、二元的な答えを聞きたがります。私たちは、プロジェクト計画で人々がさまざまな結果に対する範囲や確率の見積もりではなく、確固たる数字を求めているのを目の当たりにします。85％と100％の違いは、重大なエラーにつながる可能性があります。私は確実性を強く疑うようになり、誰かが確信しているように見えるほど、その人を信じなくなる傾向があります。[5]

この論争の一つの側面は、世論調査の情報をどのように使って予測を立てるべきかということです。RealClearPoliticsを今日見ると、選挙は「五分五分」とされています。なぜなら、彼らの分析では、重要な11の州が「五分五分」とされているからです。シルバーは、この結論は根本的に間違っていると言っています。RCPの現在の世論調査平均では、オハイオ州でオバマ氏が平均3.9％リードしています。シルバーは、これらの複数の世論調査を平均すると、統計的サンプリングによる誤差は約1.5％であると主張しています。したがって、世論調査が正確であれば、オバマ氏はオハイオ州で勝利するでしょう（そして、オハイオ州を五分五分と呼ぶことは絶対にできません。それは50％の確率を意味します）。

人々がこのレースがシルバーの予測よりも確率が拮抗していると示唆している理由には、多くの理由があります。シルバーが予測に使用しているモデルに対する意見の相違など、合理的なものもあります。あまり合理的ではないものもあります。人々は間違っていると見られることを恐れていたり、党派的な応援にふけっていたり[6]、注目を集めるためにレースをよりエキサイティングに見せたいと考えていたりします。

一つの主張は、この「五分五分」の不適切な使用は、確率的リテラシーの欠如の結果であるということです。人々は85％が何を意味するのか理解していないため、それを五分五分と呼ぶのです。この混乱について多くの経験的証拠があるので、私はこの主張に共感できます。

しかし、ここで本当に問題なのは、根底にある確率的リテラシーの欠如です。私たちは、確率を理解することがますます重要になる世界に直面しています。確率がどのように機能するかを理解することは、統計を理解するための重要な基礎であり、統計は、現在利用可能になっている多くのデータを理解するための重要なツールです。これはグローバルな意味を持つこともあります（気候変動に関する議論の多くは統計に基づいています）が、より局所的な状況でも重要になります。

私は、データが私たちの生活において果たすことができる役割において、重要な変化が見られると考えています。ソフトウェア開発者にとって、これは、私たちの仕事の多くが、このデータの洪水の意味を理解することになることを意味します。この重要な部分は、信号とノイズの違いを人々が理解できるようにすることです。そのためには、2つを分離するために必要な確率と統計について、より深く理解する必要があります。ソフトウェアの専門家として、私たちはこの分野を主導し、情報を歪曲することを避け、データの消費者がより良く解釈できるように教育する必要があります。[7]

さらに読む

• 実際には読むのではなく、確率的リテラシーの欠如に対する私のお気に入りの入門書は、Radiolabの素晴らしいエピソードであるStochasticityです。
• そして、これはThinking Fast and Slowをお勧めするもう一つの機会を与えてくれます。
• 538ブログで最も高く評価しているのは、さまざまな不確実性の領域を含め、彼の予測がどのように行われているかを議論している点です。シルバーは予測モデルに関する最近の本を書いています。まだ読む機会はありませんが、私のリストに入っています。
• 最近注目を集めているのは538ですが、同様のアプローチとして、プリンストン選挙コンソーシアム（サム・ワンが主導）、デサートとホルブルック、ゴットとコリー、およびドリュー・リンザー（Votamatic）などがあります。サム・ワンは、これらのモデルの比較を優れています。[8]