平均値の比較は避ける

ストリップチャートは個々の数値をすべて表示します。

したがって、データの実際の分布がどのようなものか分からない場合は、平均値を比較しないようにしましょう。データをどのようにして正確に把握できるのでしょうか？

データポイントが少ない場合から始めましょう。多くの場合、これにはストリップチャートが最適です。これは、異なる母集団のすべてのデータポイントを表示します。

ggplot(sales, aes(name, d_revenue, color=name)) +
  geom_jitter(width=0.15, alpha = 0.4, size=5, show.legend=FALSE) +
  ylab(label = "revenue increase (%)") +
  geom_hline(yintercept = 0) +
  theme_grey(base_size=30)

このチャートでは、ボブの単独の高ポイント、彼の結果のほとんどがアリスの最悪の結果と似ていること、クララははるかに一貫していることがはっきりとわかります。これは、前の棒グラフよりもはるかに多くの情報を伝えていますが、解釈が難しいわけではありません。

次に、このきれいなストリップチャートをどのようにプロットするかを尋ねるかもしれません。簡単なグラフを描きたい人のほとんどは、Excelやその他のスプレッドシートを使用しています。私はスプレッドシートをよく使わないので、平均的なスプレッドシートでストリップチャートを描くのがどれほど簡単かは分かりません。管理プレゼンテーションで見ていることから、不可能かもしれません。なぜなら、ほとんど見たことがないからです。私のプロットにはRを使用します。これは恐ろしく強力な統計パッケージであり、「ケンドールの順位相関係数」や「マン・ホイットニーのU検定」といったフレーズに慣れている人々が使用しています。しかし、この恐ろしい兵器にもかかわらず、簡単なデータ操作とグラフプロットのためにRシステムを試すのは非常に簡単です。これは学術界によってオープンソースソフトウェアとして開発されているため、ライセンスコストや調達官僚主義を心配することなくダウンロードして使用できます。オープンソースの世界では珍しいことですが、優れたドキュメントとチュートリアルがあり、使用方法を学ぶことができます。（Python使いなら、これらすべてを行う優れたPythonライブラリもあります。ただし、私はその分野にはあまり詳しくありません。）Rに興味がある場合は、付録に私がどのようにしてRについて学んだかの概要があります。

ここで示すさまざまなチャートの生成方法に興味がある場合は、各チャートの後に「コードを表示」の公開があり、チャートのプロットコマンドが表示されます。使用されるsalesデータフレームには、nameとd_revenueの2つの列があります。

より多くのデータポイントを考慮する必要がある場合はどうでしょうか？3人組ははるかに重要になり、それぞれ数百のアカウントを処理していると想像してください。しかし、彼らの分布は依然として同じ基本的な特性を示しており、新しいストリップチャートからそれがわかります。

ggplot(large_sales, aes(name, value, color=name)) +
  geom_jitter(width=0.15, alpha = 0.4, size=2, show.legend=FALSE) +
  ylab(label = "revenue increase (%)") +
  geom_hline(yintercept = 0) +
  theme_grey(base_size=30)

ただし、ストリップチャートの問題の1つは、平均値が見えないことです。そのため、ボブの高い値が、この一般的な低いポイントを補うのに十分かどうかを判断できません。この場合、平均点をグラフ上にプロットすることで、この問題に対処できます。この場合は黒い菱形としています。

ggplot(large_sales, aes(name, value, color=name)) +
  geom_jitter(width=0.15, alpha = 0.4, size=2, show.legend=FALSE) +
  ylab(label = "revenue increase (%)") +
  geom_hline(yintercept = 0) +
  stat_summary(fun = "mean", size = 5, geom = "point", shape=18, color = 'black') +
  theme_grey(base_size=30)

この場合、ボブの平均値は他の2つよりも少し低くなっています。

これは、グループの比較に平均値を使用する人を軽蔑することが多い私でも、平均値が無意味とは考えていないことを示しています。私が軽蔑しているのは、平均値だけを使用する人、または全体的な分布を調べずに平均値を使用する人です。何らかの平均値は、比較の有用な要素になることがよくありますが、ほとんどの場合、中央値はボブのような大きな外れ値に耐えるため、実際にはより良い中心点です。「平均」を見るときは常に、中央値と平均値のどちらが良いかを検討する必要があります。

中央値がそれほど使用されていない理由の1つは、ツールが中央値の使用を促していないことです。主要なデータベースクエリ言語であるSQLには、平均値を計算する組み込みのAVG関数があります。ただし、中央値が必要な場合は、データベースが拡張関数をロードできる機能を持たない限り、通常は非常に醜いアルゴリズムをグーグル検索するしかありません。[1] もし将来私が最高指導者になったら、中央値も提供しない限り、どのプラットフォームにも平均値の関数を許可しないと布告します。

ヒストグラムを使用して分布の形状を確認する

ストリップチャートを使用すると、データの様子をすぐに把握するのに良い方法ですが、他のチャートを使用すると、さまざまな方法で比較できます。私が気付くことの1つは、多くの人が特定のデータセットを示す「1つのチャート」を使用したいということです。しかし、あらゆる種類のチャートはデータセットの異なる特徴を明らかにし、データが何を伝えようとしているかを把握するために、いくつかのチャートを使用するのが賢明です。データを探求して、データが何を伝えようとしているかを理解しようとする場合、これは確かに当てはまります。しかし、データの伝達に関しても、複数のチャートを使用することで、読者がデータが言っていることのさまざまな側面を見ることができます。

ヒストグラムは、分布を見るための古典的な方法です。ここに、大規模なデータセットのヒストグラムがあります。

ggplot(large_sales, aes(value, fill=name)) +
  geom_histogram(binwidth = 1, boundary=0, show.legend=FALSE) +
  xlab(label = "revenue increase (%)") +
  scale_y_continuous(breaks = c(50,100)) +
  geom_vline(xintercept = 0) +
  theme_grey(base_size=30) +
 facet_wrap(~ name,ncol=1)

ヒストグラムは、単一の分布の形状を示すのに非常に効果的です。そのため、アリスの取引が2つの異なるブロックに固まっているのに対し、クララの取引は1つのブロックに固まっていることが簡単にわかります。これらの形状はストリップチャートからもいくらか簡単にわかりますが、ヒストグラムの方が形状が明確になります。

ヒストグラムは1つのグループしか表示しませんが、ここでは比較を行うためにいくつかまとめて表示しました。Rにはこのための特別な機能があり、ファセットプロットと呼ばれています。この種の「スモールマルチプル」（エドワード・タフティによって造られた用語）は、比較に非常に役立ちます。幸いなことに、Rを使用すると簡単にプロットできます。

分布の形状を視覚化するための別の方法は、密度プロットです。これはヒストグラムの滑らかな曲線と考えています。

ggplot(large_sales, aes(value, color=name)) +
  geom_density(show.legend=FALSE) +
  geom_vline(xintercept = 0) +
  xlab(label = "revenue increase (%)") +
  scale_y_continuous(breaks = c(0.1)) +
  theme_grey(base_size=30) +
  facet_wrap(~ name,ncol=1)

Y軸の密度スケールは私にとってあまり意味がないので、プロットからそのスケールを除去する傾向があります。結局のところ、これらの中心要素は分布の形状です。さらに、密度プロットは線として簡単にレンダリングできるので、すべてを1つのグラフにプロットできます。

ggplot(large_sales, aes(value, color=name)) +
  geom_density(size=2) +
  scale_y_continuous(breaks = NULL) +
  xlab(label = "revenue increase (%)") +
  geom_vline(xintercept = 0) +
  theme_grey(base_size=30) 

ヒストグラムと密度プロットは、より多くのデータポイントがある場合に効果的ですが、最初の例のようにデータポイントがわずかしかない場合はあまり役に立ちません。レビューサイトの5つ星評価など、値がわずかしかない場合は、カウントの棒グラフが役立ちます。数年前、Amazonはレビューにこのようなチャートを追加し、平均スコアに加えて分布も表示しました。

ボックスプロットは、多くの比較に適しています。

ヒストグラムと密度プロットは、異なる形状の分布を比較する良い方法ですが、グラフがいくつかを超えると比較が難しくなります。分布内の一般的に定義された範囲と位置を把握することも役立ちます。ここで、ボックスプロットが役立ちます。

ggplot(large_sales, aes(name, value, color=name)) +
  geom_boxplot(show.legend=FALSE) +
  ylab(label = "revenue increase (%)") +
  geom_hline(yintercept = 0) +
  theme_grey(base_size=30) 

ボックスプロットは、データの中央範囲に注目を集めるため、データポイントの半分がボックス内にあります。グラフを見ると、ボブのアカウントの半分以上が縮小し、彼の第3四分位数がクララの第1四分位数よりも低いことがわかります。また、グラフの上端に彼のホットアカウントのクラスタが表示されます。

箱ひげ図は、比較する項目が数十個程度であれば効果的に機能し、基礎となるデータの概要を適切に示します。その例を以下に示します。私は1983年にロンドンに移り住み、10年後にはボストンに移りました。英国人である私は、当然のことながら、両都市の天候を比較して考えます。そこで、1983年以降の両都市の毎月の最高気温を比較したグラフを示します。

ggplot(temps, aes(month, high_temp, color=factor(city))) +
  ylab(label = "daily high temp (°C)") +
  theme_grey(base_size=20) +
  scale_x_discrete(labels=month.abb) +
  labs(color = NULL) +
  theme(legend.position = "bottom") +
  geom_boxplot()

これは印象的なグラフです。27,000を超えるデータポイントを要約しているからです。冬のロンドンの平均気温がボストンよりも高く、夏のロンドンの平均気温がボストンよりも低いことがわかります。しかし、各月の変動を比較することもできます。1月のボストンでは、気温が氷点下を下回らない割合が4分の1以上あることがわかります。ボストンの第3四分位数は、ロンドンの第1四分位数よりわずかに高いだけで、新しい住まいの寒さを明確に示しています。しかし、1月のボストンが、ロンドンの冬の月の最高気温よりも高い場合もあることもわかります。

しかし、箱ひげ図には弱点もあります。データの正確な形状ではなく、一般的に定義された集約点しか見えないことです。アリスとクララの比較では、ヒストグラムや密度グラフのように、アリスの分布における二峰性が見えないため、問題となる可能性があります。

これにはいくつかの回避策があります。1つは、箱ひげ図とストリップチャートを簡単に組み合わせることができることです。

ggplot(large_sales, aes(name, value, color=name)) +
  geom_boxplot(show.legend=FALSE, outlier.shape = NA) +
  geom_jitter(width=0.15, alpha = 0.4, size=1, show.legend=FALSE) +
  ylab(label = "revenue increase (%)") +
  stat_summary(fun = "mean", size = 5, geom = "point", shape=18, color = 'black') +
  geom_hline(yintercept = 0) +
  theme_grey(base_size=30) 

これにより、基礎となるデータと重要な集約値の両方を表示できます。このプロットでは、平均の位置を示すために以前使用した黒色のダイヤモンドも含まれています。これは、平均と中央値が大きく異なるボブのようなケースを強調するのに良い方法です。

もう1つのアプローチはバイオリンプロットです。これは、箱の側面に密度プロットを描画します。

ggplot(large_sales, aes(name, value, color=name, fill=name)) +
  geom_violin(show.legend=FALSE, alpha = 0.5) +
  ylab(label = "revenue increase (%)") +
  geom_hline(yintercept = 0) +
  theme_grey(base_size=30) 

これには、分布の形状を明確に示すという利点があるため、アリスのパフォーマンスの二峰性がすぐにわかります。密度プロットと同様に、多くのデータポイントがある場合にのみ効果的になります。売上高の例では、箱の中の点を表示した方が良いと思いますが、27,000個の気温測定値がある場合は、トレードオフが変わります。

ggplot(temps, aes(month, high_temp, fill=factor(city))) +
  ylab(label = "daily high temp (°C)") +
  theme_grey(base_size=20) +
  labs(fill = NULL) +
  scale_x_discrete(labels=month.abb) +
  theme(legend.position = "bottom") +
  geom_violin(color = NA) 

ここでは、バイオリンプロットが各月のデータの形状をうまく示していることがわかります。しかし、全体的には、このデータの箱ひげ図の方が便利だと思います。中央値や四分位数などのデータの重要な指標を使用して比較する方が簡単です。これは、少なくともデータを探索している間は、複数のプロットが役割を果たすもう1つの例です。箱ひげ図が最も有用である場合が多いですが、バイオリンプロットをざっと見て、奇妙な形状がないかを確認する価値はあります。

まとめ

• 基礎となる分布を理解しない限り、平均値だけでグループを比較しないでください。
• 平均値だけのデータを示された場合は、「分布はどうなっていますか？」と質問してください。
• グループの比較方法を調べている場合は、いくつかの異なるプロットを使用して、その形状と最適な比較方法を調べます。
• 「平均」を求められた場合は、平均値と中央値のどちらが良いかを確認してください。
• グループ間の違いを示す場合、ここで示したグラフを少なくとも検討し、複数のグラフを使用することを恐れないでください。そして、重要な特徴を最もよく示すグラフを選択してください。
• 何よりも：**分布をプロットしましょう！**