Etsyにおけるプロダクトデリバリー文化の導入

パートナーの選定

Etsyは、ソフトウェア開発コンサルタントと協力したことがありませんでした。プロダクトデリバリーをスケールアップし、外部の専門知識を取り入れるため、ベンダーを探し始めました。広範な調査の後、主に文化的な適合性と最新のソフトウェア開発に関する深い整合性を感じたため、Thoughtworksを選択しました。

Thoughtworksは、アジャイルを行うのではなく、アジャイルであるという、Etsyと同様のアプローチをとっています。Etsyのチームは、厳格な儀式やプラクティスに盲目的に従う方法論を採用しようとはしておらず、アジャイルの原則と文化に基づいたアプローチをとるパートナーを求めていました。Thoughtworksは、DevOps、継続的インテグレーション、継続的デリバリーにおける技術的卓越性とリーダーシップで知られており、Etsyはこれらすべてに大きく依存しています。さらに、2社は従業員のケア、ダイバーシティ、オープンソース、テクノロジーの持続可能性に関して同様の原則を共有していました。

Thoughtworksチームは、プロダクトチームに embedded し、バイヤーとセラーの両方のチームと協力して、支払いモデルの変更、検索エンジン最適化（SEO）、通知プラットフォームなどのさまざまな重要なイニシアチブに取り組み始めました。これにより、ThoughtworksはEtsyの仕組みを理解し、デリバリーに immediate な影響を与え、自動テストなどの開発プラクティスを改善することができました。

Thoughtworksにとって、Etsyは典型的なクライアントとは大きく異なっていました。彼らは完全にデジタル化された企業であり、彼らの技術プロセスと製品プラクティスは非常に成熟しています。Thoughtworksと契約するほとんどのクライアントとは異なり、Etsyは大規模な変革を行う必要がなく、大きく変化させる必要のある根深い習慣もありませんでした。彼らが求めていたのは、外部の視点と補足的なスキルであり、段階的に改善し、喫緊のイニシアチブに取り組むのに役立つものでした。文化と原則はすでにThoughtworksのものと非常によく aligned していたため、パートナーシップは異なる経験から得られたアイデアの交換のようなものになりました。

プロダクトデリバリーとディスカバリーのスケーリング

ThoughtworksとEtsyは、現在の製品のデリバリーとディスカバリープロセスを分析するために、 cross-functional なプロダクトデリバリーカルチャー（PDC）チームを結成しました。彼らはソフトウェア開発のバリューストリーム全体を分析し、マネージャーとチームメンバーの不満を詳しく調べました。「誰が」ではなく「どのように」起こったのかを深く理解するために、選択されたイベントが再現されました（参照）。Thoughtworksチームは、問題を経験していないため、客観的な外部の視点を持ち込むことができました。

Etsyが本当によくやっていたことがいくつかありました

• cross-functional チーム：「製品」「デザイン」「エンジニアリング」「分析」の「4本の脚」を中心にチームを構成しました。すべての計画とデリバリーの実践は、グループ間の協力によって行われます。
• ユーザーへの価値の段階的な提供：継続的デリバリーは、彼らのアプローチの中核となるプラクティスです。リポジトリに置かれ、ユーザーにデプロイされていないコード変更は価値がなく、事実上会社に費用がかかります。Etsyは1日に数百回デプロイし、コミットから本番環境へのリードタイムは30分です。
• 機能はデータを使用して優先順位付けされます：プロダクトマネージャーとデータアナリストは協力して、KPIの変化によって測定される期待値を決定します。A/Bテストで証明されたように、機能がコストに対して十分な価値を提供しない場合、ロールアウトされず、コードは削除されます。

チームはまた、改善の機会を発見しました

• 各チームは、異なるプロセスと儀式を持ち、異なる方法でデリバリーを行っており、新しい従業員の onboarding やチームの変更を困難にしていました。一部のチームはスクラムのようなプロセスを使用していましたが、他のチームは正式なプロセスを使用していませんでした。
• 期待通りに価値を生み出さなかったイニシアチブがいくつかありました。たとえば、Etsyはギフト包装機能を試しましたが、セラーとバイヤーの採用率は予想よりも低くなりました。
• 2018年以前、Etsyは移行期を経験しており、製品戦略の変更やリーダーシップの変更により、一部のプロダクトマネージャーは、製品に関する意思決定権をより強く求めるようになりました。

学習時間

チームは、リーン思考と、最近Etsyでプレゼンテーションを行ったマーティ・ケイガンのアイデアに基づいて、改善プログラムを作成しました。リーダーシップチームは彼の著書『Inspired』を読んでいました。

ロードマップにあるアイデアの少なくとも半分は、あなたが期待する成果を生まないことを約束します。（ちなみに、本当に優れたチームは、アイデアの少なくとも4分の3は期待通りの成果を生まなないと想定しています。）

-- マーティ・ケイガン著、『Inspired』（19ページ）

初期調査の後、チームは「学習時間」と呼ばれる指標を考案しました。これは、プロダクトチームが顧客とアイデアを検証し、その価値をよりよく理解するのにかかる時間です。彼らは、短縮したい50日間のベースラインを持っていました。

彼らはまた、他の指標も見ていました。

• 市場投入までの時間の改善
• 製品の有効性の向上（例：収益、顧客エンゲージメント）
• 従業員の幸福度

KPIに影響を与えるために、彼らは多くの解決策仮説を立てました

より直接的なユーザー調査を取り入れた軽量プロトタイプ

Etsyは、強力な実験インフラストラクチャと分析機能を備えています。彼らはマーケットプレイスで多くの同時A/Bテストを実行しています。PDCチームが観察した問題は、フィードバックサイクルが非常に遅い可能性があることです。アイデアがA/Bテストの準備が整うためには、ほぼ本番レベルの品質である必要がありました。また、統計的な関連性を示すのに十分なデータが必要です。A/Bテストは、マーケットプレイスであまり使用されていない部分で数か月間実行されます。

期待値を設定するために、強力なチームは通常、毎週多くの製品アイデアをテストします。1週間あたり10〜20以上というオーダーです。これらは実験であり、通常はプロトタイプを使用して実行されることを強調しておきたいです。プロトタイプは、プライムタイムに対応できるものではなく、ましてやあなたの会社が販売して保証するものではありません。しかし、それらは、迅速かつ安価に学習することに関して非常に役立ちます。

-- マーティ・ケイガン著、『Inspired』（27ページ）

学習時間メトリックを短縮するために、PDCチームはリーンUXアプローチを適用しました。まず、ローファイプロトタイプを迅速に作成し、すぐにユーザーに提示することから始めました。次に、チームはユーザーフィードバックセッションを2週間ごとに増やし、儀式のレベルを下げました。第3に、デリバリーチームに先行して継続的に作業するデザインと research チームを備えたデュアルトラックシステムを作成しました。アイデアがA/Bテストの資格を得る前に、効率的にアイデアへの自信を得ることが目的でした。実験のコストを削減することで、実験の種類と量を増やし、より価値のあるアイデアを見つけることができました。

図1：実験検証プロセス

プロダクトデリバリーの青写真

PDCは、プロダクトチームリーダーと連携して、一連のプロダクトデリバリー原則と関連するデリバリープラクティスの変更を考案しました。プラクティスには、より小さく焦点を絞ったストーリー、チームプロセスに適合するようにストーリーウォールを再設計すること、技術的な不確実性を軽減するためのスパイクの使用、技術的負債を管理するためのより良い方法が含まれていました。彼らはチームの自律性を奪いたくありませんでした。継続的な改善はEtsy文化の大きな部分を占めています。これらのプラクティスは、各チームの特定の状況に合わせて適応および改善できる、理にかなったデフォルトとして扱われることを意図しています。

PDCチームは、まずパイロットプロダクトチームでプラクティスの変更をテストして有効性を確認し、その後反復しました。プラクティスが改善を示したら、チームはナレッジベースに追加し、Etsy全体のすべてのプロダクトチームに新しいプラクティスを紹介するための軽いコーチングを提供しました。

リーンポートフォリオマネジメント

イニシアチブが価値を生み出しているという明確な証拠がないにもかかわらず、いくつかの大規模なイニシアチブが依然として実施されていました。これは典型的なサンクコスト問題です。これを解決するために、PDCチームはポートフォリオ管理にリーンアプローチを採用することを提案しました。

私たちの実行計画は、構築すべき要件のリストではなく、テストすべき仮説のリストであるべきです。要件を満たす能力に対してチームに報いると、不要な機能で製品が急速に肥大化しやすくなります。これは、複雑さの増加、メンテナンスコストの増加、変更能力の制限につながります。提供された機能は成功の尺度ではなく、ビジネス成果が尺度です。私たちの実行計画は、不確実性を減らし、成長機会の理解を深めるためにテストする必要がある一連の質問です。

-- Humble et al, Lean Enterprise (p96)

PDCチームは、 lengthyなプロジェクト仕様書と計画を作成する代わりに、プロダクトチームに各イニシアチブの成果ステートメントを作成するように指導しました。成果ステートメントを使用すると、顧客またはビジネスの成果から始めることで、チームは測定可能なKPIに結び付けることにより、成果を達成するためのさまざまなアイデアを試すことができます。成果とそのKPIが明確でないほど、特定するのが難しくなります。起こりうるイニシアチブに備えて、各プロダクトチームは、成果、測定可能な影響、および必要な初期投資をまとめた2ページの要約を作成しました。

経営陣は成果ステートメントに優先順位を付け、各ステートメントはポートフォリオの中で「賭け」と見なされました。リーンバリューツリーの概念に触発されて、経営陣は賭けが成功しているかどうかを判断するために定期的なリズムで実践し、早期に方向転換する機会を与えました。

より強力な製品とエンジニアリングの連携

もう1つの改善点は、エンジニアを製品のアイデア化プロセスの初期段階に含め、ユーザーフィードバックセッションに参加させることでした。チームは、エンジニアが仮説の生成と検証セッションに参加し、デザインスプリント中にデザイナーと緊密に連携することをテストしました。テストの結果、多くの利点があることがわかりました。エンジニアは顧客の理解を深め、ニーズへの共感を育みました。彼らはアプローチの実現可能性についてその場でフィードバックを提供し、ユーザーにアイデアを実証するためのプロトタイプを迅速に作成することができました。部門横断的なエンゲージメントにより、エンジニアは製品に組み込まれた多くの優れたアイデアを提供することができました。

最初のPDCイニシアチブの後、Etsyはグループ間の連携を強化し続けました。組織のあらゆるレベルで、製品とエンジニアリングはパートナーです。つまり、健全なトレードオフの議論を行うことができます。プラットフォームグループは、インフラストラクチャチームと開発ツールチームの製品マネージャーの活用を拡大し、チームが技術的能力を製品と見なし、エンドユーザーをEtsyエンジニアと見なすように促しました。テクニカルプロダクトマネージャーは、顧客向け製品と同様に、調査と優先順位付けのアクティビティを行います。

プロダクトデリバリー文化の影響は？

パイロットチームでのテストでは、学習までの時間が50日から5日に短縮されたことが示されました。パイロット期間中、あるプロダクトマネージャーは、次のように述べています。「[直接ユーザー調査セッション]パイロットで気に入っているのは、アイデアをより迅速にテストできることです。使用することすら知らなかったものに深く飛び込むのにそれほど多くの時間を費やさなくて済むのは本当に素晴らしいことでした。」700万ドルの収益増加が見込まれていた在庫品質に関するイニシアチブは、PDCが提案した改善を使用して、代わりに1,100万ドルの増分価値を提供しました。このパイロットの成功を受けて、チームは製品開発組織全体に製品デリバリーアプローチについて指導しました。

マイク・フィッシャー氏によると、「このタイプのA / B実験を実行していないため、数百人のエンジニアの組織に対するプロセス変更の利点を切り分けるのは非常に困難です。しかし、PDCを2年以上実装した後、高レベルの生産性指標を調べたところ、すべての指標は非常に肯定的でした。この作業を行うことで速度が向上し、最終的にバイヤーとセラーにとってより多くのメリットを生み出すことができました。より多くの機能、より優れた検索、より優れたプロセス。市場全体がバイヤーとセラーにとってより良いものになり、それが目標でした。」