データ取り込み
さまざまなソースからデータを収集、転送、保存、正規化し、分析に利用できるクラウド使用量とコストデータの完全なコンテキストデータセットを作成することを目標としています。
データ ソースの管理
- Reporting & Analytics、Unit Economicsの要件に基づいて適切な外部データソースを特定する
- ビジネスから適切な内部データを特定し、アロケーション戦略を可能にするためにコンテキスト化します
- 交差するフレームワークからの適切なデータソースの特定
- 各ソースの粒度を指定
- 各ソースで収集するデータ要素、ディメンション、およびメトリックを指定します
- 各データソースのプロバイダー、および組織に代わってデータの取り込みまたは処理に使用されるツールベンダーとの連絡を確立し、維持します
データ品質の確保
- FinOps プラクティスで一貫した品質と正規化されたデータが生成されるようにするためのメカニズムを定義し、維持します
- データの品質と一貫性を評価するためのメカニズムを定義し、維持します
- 取り込まれたデータで特定された変更に基づいて、データソースのドキュメントとコンテンツの期待値を調整および管理します
- データ取り込みプロセスが確立された境界を超えた場合にチームに通知するための可観測性とアラート機能を開発および維持します
- データ ソースの所有者とデータ ユーザーに、可用性、品質、または一貫性の問題を通知する
- データ取り込みの頻度、通貨、粒度、監査、データ保護に関連するポリシーとガバナンスの要件を収集します。これには、使用量、コスト、および持続可能性、可観測性などの補足データの範囲が含まれます。等
データの適時性と可用性を維持
- Reporting & Analyticsのニーズを満たすためにデータを取り込むデータリポジトリ、データへのアクセス方法、データを維持する責任、データを管理するポリシーを特定または設計します
- ソース間で行われる正規化と、それが行われる場所、および使用される標準またはキーを定義します
- 組織のReporting & Analytics、Unit Economicsのニーズに基づいて、データのプロバイダーにデータ要件を提供する
- データリポジトリを維持し、ライフサイクル全体を通じて適切なサイズ、コスト、パフォーマンス、耐障害性、可用性を確保します。
- データ取り込みのメトリクスとパフォーマンスをユニットエコノミクスに報告する
- 組織内のすべてのペルソナに、取り込まれたデータへのアクセス方法についてガイダンスを提供し、その品質と可用性に関する期待値を設定します
定義
データ インジェストでは、さまざまなデータセットの収集、転送、処理、変換、関連付けを行い、クエリ可能でコンテキスト化されたリポジトリを適切なレベルの粒度、アクセス性、完全性で作成し、すべての FinOps ペルソナにわたる すべての FinOps 機能でのアクティビティをサポートします。
データインジェストのニーズは、各組織がFinOpsの実践をどのように実施しているかによって大きく異なります。
- すべてのFinOps機能にクラウドプロバイダーのツールに完全に依存している企業は、データの取り込みや処理を必要としない場合があります
- サードパーティのFinOpsツールプロバイダーを使用している人は、全体的または部分的にこれらのプラットフォームに依存して、データインジェストを代わりに管理できる場合があります
- クラウドの使用状況データ以外のソースからのデータを必要とする組織では、より複雑なデータ取り込みプロセスが必要になります
そのため、このケイパビリティは、組織が成熟し、他のケイパビリティを実行するためのデータのニーズが変化するにつれて、継続的な開発を必要とします。
FinOps アクティビティをサポートするために取り込まれるデータには、クラウド サービス プロバイダーまたはその他の従量制サービス プロバイダーからのクラウドのコストと使用状況のデータを含める必要がありますが、次のものも含まれる場合があります。
- 変更されたクラウド請求データ(例:価格が調整またはマークアップされたデータ)
- 炭素使用量データ
- クラウド・リソースの使用率またはパフォーマンス・データ
- 可観測性データ
- オンプレミス、ハイブリッド、プライベートクラウドのデータ
- 構成管理データベース (CMDB) またはその他のサービス管理ソースのメタデータ
- ライセンスまたはパブリッシャー料金に関するIT資産管理(ITAM)データ
- クラウドデータに特化したツール(Kubernetesの使用など)
- ビジネス関連データ(例:収益、#顧客、#取引)
- クラウドの使用状況とコストにコンテキストを提供するためのその他のデータまたはメタデータ
Allocation、Reporting & Analytics、Unit EconomicsなどのFinOps機能は、特定のソース、粒度、正規化の程度、相関関係、および任意の時点で必要なクラウドデータの保存方法を特定する要件を提供します。
FinOpsを効果的に実践するには、詳細な使用状況、使用率、コストデータの定期的かつ反復的で頻繁に更新されるストリームにアクセスし、それらを分類、コンテキスト化、分析して意思決定を促進する必要があります。
データ インジェストは、クラウドに不慣れな組織にとって初期の課題になる可能性があります。クラウドサービスプロバイダーのコストと使用状況のデータセットは膨大で複雑であり、各プロバイダーは従来、独自のスキーマとデータ構造を使用してきました。クラウドデータの複雑さ、サイズ、不整合、レイテンシは、標準的なビジネスインテリジェンス(BI)ツールの使用やカスタムツールの構築を阻む障壁となっています。データのサイズとスケールは、より高いレベルの技術スキルまたはビッグデータスキルなしで効果的に分析することを困難にします。
FinOps Open Cost & Usage Specification(FOCUS)プロジェクトは、クラウドコストデータに一貫性と標準化を提供し、最終的にはSaaSプロバイダーデータ、サステナビリティデータ、ライセンスパブリッシャーデータ、プラ イベートクラウド、オブザーバビリティプロバイダーデータ、その他の従量制サービスプロバイダーデータソースに拡張されます。FOCUS仕様がベンダーやデータプロバイダーに採用されるため、組織は共通ツールとカスタムツールの相互運用性を通じて恩恵を受けることができます。
可観測性プラットフォーム、セキュリティプラットフォーム、炭素使用量プラットフォーム、およびビジネスオペレーションアプリケーションも、クラウドデータに関連付ける必要がある可能性のある非常に大規模なデータセットを提供できます。タグ付けまたはアロケーション戦略の一部として作成され、アロケーション機能で管理されるメタデータは、これらすべてのデータセットを関連付け、コンテキスト化、および集約するための重要なキーを提供できます。データインジェストにより、クラウドプラットフォームで作成されたタグやラベルが収集され、内部割り当てメタデータにもマッピングされます。
Data Ingestion as a Capabilityは、クラウドデータのReporting & Analyticsデータソースを特定または確立します。組織は、データの複雑さ、組織のニーズ、およびデータを他のデータソースに接続したいという願望に応じて、クラウドデータ用の共通のデータリポジトリを作成するか、既存のデータリポジトリを使用する場合があります。
データインジェストの目標は、利用可能な最大かつ最も詳細なデータセットをリアルタイムで蓄積することではなく、現在の成熟度で組織に価値を提供するデータを収集して統合することです。時間の経過とともに、組織が必要とするデータは、分析ニーズが成熟するにつれて 、使用するサービスの種類が多様化するにつれて、追加のクラウドやSaaS製品が使用されるにつれて、または内部ポリシーと使用法が変更されるにつれて進化します。
この機能でのアクションは、データ ソースの構築または追加、より詳細なデータの取得、メタデータによるコンテキスト化、共通仕様への正規化、カスタム ツールの構築、またはデータのより迅速または容易なアクセスを可能にする必要性によってトリガーされます。この作業は、組織がFinOpsの成熟度を高め、これらのステップに投資することで価値を実現するにつれて、繰り返し行うことができます。
成熟度評価
クロール
- 特定のデータ取り込みを必要としないクラウドプロバイダーツールの使用の決定
- 個々のデータソースまたはクラウドプロバイダーの要約されたコストと使用状況のデータファイル、またはAPIを介した集計データの使用
- 異なるソースからのデータを正規化せずに別々に分析
- 主にクラウドのコストと使用状況のデータを取り込み、他のソースはほとんどまたはまったく取り込まない場合
- タグ、ラベル、および命名標準は、クラウドプロバイダーとデータソース全体の主要な領域の階層とリソースに適用され、ソース間の手動の関連付けを可能にします
- 利用データ、カーボンデータ、アロケーションおよびアナリティクス&レポーティングをサポートするために必要な内部メタデータのソースを特定
- データの集約に必要な手動ワークフローおよび/または手動のマルチステップ変換
ウォーク
- 複数のクラウドプロバイダーや、リソースレベルでのその他の相関データソースからのデータの取り込み
- ソース間のコストメトリクスを正規化して、一貫性のあるリポジトリを提供
- 1 つ以上のサードパーティ FinOps ツールまたはプラットフォームを使用してデータを正規化する、または FOCUS を使用してプロバイダーからのディメンションとメトリクスを正規化する
- 異なるクラウドに対して一貫性のあるレポートを作成する機能 (場合によっては異なるレポートを使用)
- データはビジネスにマッピングされ、ビジネスのニーズの変化に応じて変更できます
- ほとんどの履歴データが取得され、前年比の傾向を実行できます
- 性能・利用データ、炭素利用データの取り込み
- データの完全性チェックとメカニズム
ラン
- クラウドの使用量とコストのデータ、パフォーマンス、持続可能性、利用、その他の相関データの統合データリポジトリの管理
- より複雑なデータ分析やレポート作成のニーズをサポートするために、最も詳細なレベルで取り込まれたデータ
- すべてのデータソースでディメンションとコスト指標を正規化し、FOCUSまたはその他の仕様を使用して複数のクラウドとの一貫したレポートをサポートします
- データはビジネスにマッピングされ、ビジネスのニーズの進化に伴う履歴の変化を捉えます
- すべての履歴データは、より詳細なトレンド分析を可能にするためにキャプチャされます
- SaaS、ライセンスプロバイダー、またはその他のコンテンツプロバイダーからのクラウドデータを超えたデータの取り込み
- データの完全性 (品質チェックや自動化されたメカニズムの導入など)
機能的な活動
FinOpsプラクティショナー
FinOpsチームの一員として、私は...
- 他のFinOpsペルソナと協力して、現在のレポート作成、分析、運用のニーズを満たすために必要なデータソースのリストを決定します
- データのギャップを特定し、担当チームと協力し てソースデータを更新します
- 各データソースに必要な粒度のレベルを決定する
- 正規化のためのデータモデルを確立し、さまざまなソースからのフィールドを相互にマッピングします
- データソースのコンテンツを定期的かつ積極的に検証し、変更が発生したときに明確に理解し、それに対応し、それに応じて調整および再文書化し、影響を受けるすべての人に通知します
- データ ソースと、コストと使用状況の情報のリポジトリが正確に保持され、適切なサイズ設定、バックアップ、および有用なライフサイクル全体を通じて管理されていることを確認します
- 情報にアクセスする必要があるすべての人が情報にアクセスできるようにし、確保します
- レポート出力期待ドキュメントを作成する(成熟度が上がるにつれて時間をかけて更新)
- FOCUSユースケースライブラリを活用し、他のFinOpsペルソナと協力して、FinOpsプラクティスに必要なFOCUSデータセットを特定します
プロダクト
製品の役割を担う者として、私は...
- FinOpsプラクティスで要求されるビジネスレベルまたは製品レベルの情報を提供し、KPIまたはその他の必要な情報を作成します
財務
財務の役割を担っ ている者として、私は...
- FinOpsプラクティスで必要とされるデータソースへのアクセスを提供
- 財務部門がレポート作成、予測、意思決定に最新かつ適切なデータソースを使用していることを確認する
- データの完全性とデータ品質の検証作業に参加または主導して、請求書、使用状況データソース、その他の情報が期待どおりにマッピングされるようにします(通常は、使用状況データに対する月次または定期的な調整、および/またはネイティブクラウドサービスプロバイダーのツールデータと正規化されたデータに対する調整)
- ソース・システムの外部でのデータ変更を最小化または排除し、ソースに対して行われた変更を記録および調整します。
調達
調達の役割を担う者として、私は...
- データ インジェストの要件と仕様を、データ ソース プロバイダーとの契約またはその他の管理されたやり取りに含めて、それらのベンダーが期待されるデータ アクセスを提供できるようにします
- 契約上の義務と条件が履行され、FinOpsプラクティスのニーズに合致するように、データソースプロバイダーに要件を提供します
エンジニアリング
エンジニアリングの役割 を担う者として、私は...
- FinOpsデータリポジトリで使用するために、エンジニアリングの権限内でパフォーマンスおよび使用状況の監視情報へのアクセスを提供します
- 分析または報告されるデータに現れる問題や不一致を特定して、データ品質が維持され、取り込まれたデータセットが完全かつ正確であることを確認します
リーダーシップ
リーダーシップの役割を担う者として、私は...
- 一元化されたデータ正規化の戦略をサポートし、FinOpsプラクティスで必要とされるさまざまな種類の情報へのアクセス要求をサポートします
- レポート作成と意思決定のために、クラウドの使用とコストの真実を一元的に把握する必要性を奨励し、明確に伝えます
アライドペルソナ
アライドペルソナの役割を担う者として、私は...
- 私の権限内にあるデータソースまたはコンテンツへのアクセスを提供し、情報をより広範なFinOpsデータリポジトリのコンテンツに関連付けることができるようにします
- FinOpsデータリポジトリが時間の経過とともに情報を適切に正規化および関連付けることができるように、データスキーマとフ ォーマットを提供します
- FinOps データリポジトリの所有者に対して時間の経過とともに発生する問題、不一致、または変更を特定し、データの品質と可用性が維持されるようにします
- サードパーティのプラットフォームプロバイダーと協力して、データソースとダッシュボードとの間のデータの不一致が対処されていることを確認します
成功の尺度とKPI
- クラウドプロバイダーのデータは、予想される時間に毎日/1日に複数回受信されます。例えば：
- AWS CURファイル、CUR 2.0出力、ABC出力ファイルが1日に少なくとも1回配信されます
- Azure Billing Export は 1 日に少なくとも 1 回生成されます
- Google Cloud Billing Export が 1 日に 1 回以上生成される
- 必要なすべてのデータソースが特定され、一貫した形式であり、確立された契約で概説されているとおりに利用可能
- データ品質チェックが正常に完了しました
- FOCUSバリデーターのチェックが正常に完了しました
- 自動通知によるデータ品質または可用性の問題の報告、または報告された問題の 1 営業日以内に調査され、3 営業日以内に解決された問題
- 予想される時間パラメータ内で動作するデータの取り込みと処理
- データソースの変更は、変更から1営業日以内に特定され、ストレージまたは処理パラメータは3営業日以内に調整されます
- 新しいデータソース、追加の粒度、または新しいデータ相関が特定され、必要に応じて有効になります
- データ通貨 – 各データソースからの最終更新からの時間(予想される更新時間と比較)
- 取り込み時間 – 各データソースから新しいバージョンのデータを受信してから、FinOpsデータリポジトリに生データを保存するまでの経過時間(予想時間と比較)
- ETL/正規化/相関時間 – 各ソースからの生データの保存から、データ相関、正規化、変換、FinOpsデータリポジトリへの調整済みデータの保存が完了するまでの経過時間(予想時間と比較)
- 正規化された方法でのレポート作成に利用できる総コストの割合 (%)
- 一致するメタデータ要素の割合 (%)
入力と出力
- クラウドプロバイダーのコストと使用状況データ(Azure Billing、Google Cloud Billing、AWS CUR、Oracle Billing Dataなど)は、必要な粒度、解像度、頻度で生成されます
- クラウドプロバイダーの使用状況とコストデータに加えて、持続可能性、可観測性、SaaSなどの補足データ用のFOCUSデータセット等
- 必要なリソースまたはリソースグループレベルでのCPU、メモリ、ディスク、ネットワーク使用率などのシステムメトリックを含む、使用率、パフォーマンス、または可観測性データ
- リソースの種類 (多くの場合、共有リソース) の使用回数また は使用量を記録するログまたはシステムからのトランザクションデータ
- ビジネスパフォーマンスデータ:サポートされた顧客数、収益または売上高、トランザクション数、または取り込まれたクラウドのコストと使用状況データにコンテキストを提供するその他のビジネス成果など、コンテキストビジネスデータを提供します
- FinOps データ リポジトリ内のデータ要素の収集と相関をサポートするためのユニット エコノミクス アクティビティから決定される KPI 要件
- 取り込まれたデータを使用して、クラウド全体のポリシーと他のFinOps要件のパフォーマンスをサポートするためのポリシーとガバナンスの要件
- Google Cloud FOCUS Converter は、データセットをソースとしてエクスポートします
- Azure FOCUS Converter は、データセットをソースとしてエクスポートします
- AWS FOCUS Converter は、データセットをソースとしてエクスポートします
- Oracle FOCUS Converterのエクスポート・データセットをソースとして