Consistent Core

より強力な整合性を提供する小規模なクラスターを維持し、多数決に基づくアルゴリズムを実装せずに、大規模データクラスターがサーバーアクティビティを調整できるようにします。

問題

クラスターが大量のデータを処理する必要がある場合、ますます多くのサーバーを使用します。サーバーのクラスターには、特定のタスクのマスターとなるサーバーの選択、グループメンバーシップ情報の管理、データパーティションのサーバーへのマッピングなど、いくつかの共通の要件があります。この機能には、線形化可能性の強力な整合性の保証が必要です。実装にはフォールトトレランスも必要です。一般的なアプローチは、多数決に基づくフォールトトレラントコンセンサスアルゴリズムを使用することです。ただし、多数決ベースのシステムでは、スループットはクラスターのサイズによって低下します。

ソリューション

線形化可能性の保証とフォルトトレランスの両方を提供する 3 ~ 5 ノードの小規模クラスターを実装します。別のデータクラスターは、メタデータを管理し、リースなどのプリミティブを使用してクラスター全体の決定を行うために、小さな一貫したクラスターを使用できます。このようにして、データクラスターは多数のサーバーに成長できますが、それでも小規模なメタデータクラスターを使用して強力な整合性保証を必要とする特定のアクションを実行できます。

詳細については、oreilly.com のオンライン電子書籍の第 25 章にアクセスしてください。

このパターンは 分散システムのパターンの一部です。

2023 年 11 月 23 日