人間による開発者生産性の測定

定性的指標とは何か？

私たちは、定性的指標を、人間が提供するデータで構成される測定値として定義します。これは実際的な定義です。社会科学の中で単一の定義は見つからず、私たちが見つけた代替定義には、後でこのセクションで説明する欠陥があります。

図1：定性的指標は人間から得られた測定値です

「指標」という言葉の定義は明確です。しかし、「定性的」という用語には、2019年の学術論文What is Qualitative in Qualitative Researchで述べられているように、権威ある定義はありません。

定性的研究の定義はたくさんありますが、「定性的」であるという独自の特性に対処する定義を探すと、社会科学の広範な分野にわたる文献は乏しいです。この記事の主な理由は、このパラドックスにあります。簡単に言えば、研究者はそれが何であるかを知っているかのように振る舞いますが、一貫した定義を定式化することはできません。

私たちが聞いた別の定義は、定性的指標は質を測定し、定量的指標は量を測定するというものです。この定義には2つの理由で問題があると私たちは考えています。まず、「定性的指標」という用語には*指標*という用語が含まれており、これは出力が*量*（つまり、測定値）であることを意味します。第二に、質は通常、数値とスコアに変換される序数尺度によって測定されます。これは、再び定義に矛盾します。

私たちが聞いた別の議論は、感情分析の出力は、分析の結果が数値になるため*定量的*であるということです。感情分析から得られるデータが定量的であることに同意しますが、元の定義に基づくと、これは「定性的指標」が完全に矛盾語であるという立場をとる場合を除き、依然として定性的*指標*（つまり、定性的に生成された量）です。

定性的指標とは何かを定義することの問題に加えて、問題のある口語表現にも遭遇しました。「ソフトメトリック」という用語はその一例です。このフレーズは、人間から収集されたデータがシステムから収集された「ハードメトリック」よりも*弱い*ことを有害で誤って暗示しているため、このフレーズには注意が必要です。また、「主観的指標」という用語も、人間から収集されたデータは、次のセクションで説明するように、客観的または主観的な可能性があるという事実を誤解しているため、推奨しません。

この記事の後半では、これらの測定値の収集と使用方法について説明しますが、まず、このアプローチを実践した現実世界の例を示します。

Pelotonは、開発者生産性の測定戦略の中心に定性的指標を据えているアメリカのテクノロジー企業です。定性的指標を収集するために、彼らの組織は、製品運用組織の一部であるテクノロジー有効化および開発者エクスペリエンスチームが主導する、半期ごとの開発者エクスペリエンス調査を実施しています。

テクノロジー学習とインサイトの責任者であるThansha Sadacharamは次のように説明しています。「私は強く信じており、私たちの多くのエンジニアも本当にそれを高く評価していると思いますが、エンジニアはロボットではなく人間です。そして、基本的な数字を見るだけでは、全体像を把握できません。そのため、私たちにとって、開発者エクスペリエンス全体を理解するのに役立つ包括的な調査を行うことが非常に重要でした。」

各調査は、開発者の約半数のランダムサンプルに送信されます。このアプローチにより、個々の開発者は1年に1回だけの調査に参加するだけで済み、調査への回答に費やす時間を最小限に抑えながら、統計的に有意な代表的なデータ結果セットを提供できます。テクノロジー有効化および開発者エクスペリエンスチームは、調査結果を分析し、組織全体のリーダーと共有する責任も負っています。

Pelotonの開発者エクスペリエンス調査の詳細については、Thansha Sadacharamとのこのインタビューを聞いてください。

定性的指標の提唱

幹部は、定性的指標の信頼性や有用性についてしばしば懐疑的です。Googleのような非常に科学的な組織でさえ、これらのバイアスを克服しなければなりませんでした。エンジニアリングリーダーは、システムの検査にテレメトリデータを使用することに慣れているため、システムメトリックに傾倒しています。しかし、人々の測定には同じアプローチを当てにすることはできません。

私たちは、組織が内部の「指標の戦い」に陥るのを目撃してきました。これは時間とエネルギーの無駄です。私たちのアドバイスは、推進者にとって、定性的指標と定量的指標をどちらか一方として対立させるのを避けることです。この記事の最後に説明するように、それらが補完的なツールであると主張する方が良いでしょう。

私たちは、定性データへの反対の根本的な原因は、以下で説明する誤解であると考えています。この記事の後半では、無形のものや重要な文脈を明らかにする能力など、自己申告データの明確な利点を概説します。

2種類の定性的指標

定性的な指標には2つの主要なタイプがあります。

1. 態度指標は、特定の対象に対する主観的な感情、意見、または態度を捉えます。態度指標の例としては、「1～10点の尺度で、あなたのIDEの満足度はどのくらいですか？」という質問に対する数値的な回答があります。
2. 行動指標は、個人の仕事経験に関する客観的な事実または出来事を捉えます。行動指標の例としては、「変更を本番環境にデプロイするのにどれくらいの時間がかかりますか？」という質問に対する数量的な回答があります。

私たちは、多くの技術者は定性的な指標について考える際に、行動指標を見過ごしていることに気づきました。これは、GoogleのDORAプログラム（前述）など、ソフトウェア研究における定性的な行動指標の普及にもかかわらず発生しています。

DORAは、変更のリードタイム、デプロイ頻度、変更失敗率などの指標に関する年間ベンチマークを公開しています。多くの人が知らないことですが、DORAのベンチマークは、以下に示すアンケート項目を用いた定性的な方法で取得されています。

私たちは、態度データと行動データを同時に収集できることが、定量的な測定の強力な利点であると考えています。

例えば、行動データは、リリースプロセスが高速で効率的であることを示している可能性があります。しかし、それがスムーズで苦痛がないかどうかは、態度データでしか分かりません。これは、開発者の燃え尽き症候群や定着率に重要な影響を与えます。

技術以外の例として、病気で医師の診察を受けた状況を想像してみてください。医師は血圧、体温、心拍数を測定し、「まあ、大丈夫そうですね。異常はありません。」と言います。あなたは驚きますね！「ちょっと待ってください、何かおかしいと感じているんです。」と言うでしょう。

定性的指標の利点

定量的な指標の利点の1つは、開発者を管理者によって「測定されている」と感じさせることを回避することです。特に、開発者のGitやJiraデータから取得された指標と比較した場合、これは正しいと私たちは考えていますが、定量的なアプローチが提供できる主要な客観的な利点には対処していません。

開発者の生産性を測定する場合、定性的な指標には3つの主な利点があります。

定性的指標の収集方法

多くの技術者は、適切なアンケートの質問を作成し、適切なアンケートツールを設計することがどれほど難しいかを実現していません。実際、心理測定学や産業心理学など、これに関する研究分野全体があります。可能であれば、ここに専門知識を取り入れるか、構築することが重要です。

以下は、組織が犯す最も一般的な間違いを回避するためのアンケート作成に関するいくつかの良いルールです。

• アンケート項目は慎重に言葉を選んで記述する必要があり、各質問は1つのことだけを尋ねるべきです。
• アンケート間の結果を比較する場合は、異なるものを測定するような形で質問の言い回しを変更することに注意してください。
• 言い回しを変更する場合は、厳密な統計的検定を行う必要があります。

アンケート用語では、「良いアンケート」とは「妥当で信頼できる」、または「優れた心理測定特性を示す」ことを意味します。妥当性とは、アンケート項目が実際に測定したい構成概念を測定する程度です。信頼性とは、アンケート項目が集団から、そして時間をかけて一貫した結果を生み出す程度です。

アンケート設計について、技術者に役立つと私たちが考えている考え方があります。それは、アンケート回答プロセスを人間の心の中で行われるアルゴリズムとして考えることです。

個人にアンケートの質問が提示されると、回答に達するために一連の精神的なステップが行われます。以下のモデルは、2012年の画期的な著書『The Psychology of Survey Response』からのものです。

アンケート回答のプロセスを分解し、各ステップを検査することで、より正確なアンケート結果を得るためのインプットを洗練することができます。優れたアンケート項目の開発には、ソフトウェア設計のプロセスと同様に、厳格な設計、テスト、分析が必要です！

しかし、優れたアンケート設計は、成功するアンケートを実施するための側面の一つに過ぎません。参加率、データ分析、データに基づいてどのように行動するかなど、追加の課題があります。以下は、私たちが学んだベストプラクティスの一部です。

定性的指標と定量的指標の併用

定性的指標と定量的指標は、開発者の生産性を測定するための相補的なアプローチです。アンケートから得られる定性的指標は、主観的な測定と客観的な測定の両方を包含する、生産性の包括的な見解を提供します。一方、定量的指標もまた、明確な利点を提供します。

• 精度。人間は、CI/CDビルドが一般的に高速か低速か（つまり、継続時間が分単位か時間単位に近いのか）を伝えることができますが、ミリ秒単位のビルド時間までは報告できません。測定に高い精度が必要な場合は、定量的指標が必要です。
• 継続性。一般的に、組織が開発者を調査できる頻度は、四半期に1回または2回が最大です。より頻繁に、または継続的に指標を収集するには、組織は体系的にデータを収集する必要があります。

最終的には、定性的指標と定量的指標の組み合わせ（ *混合手法アプローチ* ）によって、組織は開発者の生産性とエクスペリエンスを最大限に可視化することができます。では、定性的指標と定量的指標をどのように組み合わせて使用するか？

基線を確立し、どこに焦点を当てるかを決定するために、定性的指標から始めることで成功を収めている組織を見てきました。その後、特定の分野を深く掘り下げるために定量的指標を使用します。

エンジニアリングリーダーは、定性的指標が包括的な見解と文脈を提供し、潜在的な機会を広く理解できるため、このアプローチが効果的であると考えています。一方、定量的指標は、通常、ソフトウェアデリバリープロセスのより狭い範囲のみに利用可能です。

同様に、Googleは、この理由から、ログデータを見る前にまずアンケートデータを参照するように、エンジニアリングリーダーにアドバイスしています。Googleのエンジニアリング研究者であるCiera Jaspan氏は次のように説明しています。「何かが良いか悪いかは、ログデータだけでは実際にはわかりません。たとえば、変更にかかる時間を追跡する指標がありますが、その数値自体は役に立ちません。それが良いことなのか悪いことなのか、問題があるのかどうかはわかりません。」

混合手法アプローチにより、定性的指標と定量的指標の両方の利点を活用しながら、開発者の生産性を完全に理解することができます。

1. 最良の機会を特定するために、定性的データから始めます
2. 改善したいことがわかったら、定量的指標を使用してさらに深く掘り下げます
3. 定性的指標と定量的指標の両方を使用して進捗状況を追跡します

可能な限り多くのデータ（定性的データと定量的データの両方）を組み合わせることでのみ、組織は開発者の生産性の完全な理解を構築し始めることができます。

しかし、最終的には、組織はログベースの指標では検出できない問題を観察して検出できる高度に熟練した人材に多額の投資をしていることを覚えておくことが重要です。開発者の心と声を利用することで、組織は以前は不可能と考えられていた洞察を解き放つことができます。