データ取り込み（Data Ingestion）

ドラフトのページ

翻訳は機械翻訳により提供されています。翻訳内容と英語版の間で齟齬、不一致、矛盾がある場合は英語版を優先します。

フレームワーク / ドメイン / 使用量とコストの把握 / データ取り込み

「レポートと分析」、「ユニットエコノミクス」の要件に基づいて、適切な外部データソースを特定する
配賦戦略を可能にする文脈化のために、ビジネスから適切な内部データを特定する
連携するフレームワークから適切なデータソースを特定する
各ソースの粒度を指定する
各ソースから収集するデータ要素、ディメンション、およびメトリクスを指定する
各データソースのプロバイダー、および組織の代理としてデータを取り込みまたは処理するために使用するツールベンダーとの連絡体制を確立し、維持する

データ品質の確保

FinOpsプラクティス向けに、一貫した品質の正規化されたデータが確実に生成される仕組みを定義し、維持する
データの品質と一貫性を評価する仕組みを定義し、維持する
取り込んだデータの変化に基づいて、データソースのドキュメントとコンテンツへの期待値を調整し、管理する
データ取り込みプロセスが確立された境界を超えた場合にチームに通知するための、オブザーバビリティ（Observability）とアラートの機能を開発し、維持する
データの可用性、品質、または一貫性の問題について、データソースの所有者とデータ利用者に通知する
使用量、コスト、およびサステナビリティやオブザーバビリティなどの補足データにわたるスコープを含め、データの取り込み頻度、最新性、粒度、監査、およびデータ保護に関連するポリシーとガバナンスの要件を収集する

データの適時性と可用性の維持

「レポートと分析」のニーズを満たすためにデータを取り込むデータリポジトリ、アクセス方法、維持の責任、およびそれを管理するポリシーを特定または設計する
ソース間で実行する正規化、それを実行する場所、および使用する標準やキーを定義する
組織の「レポートと分析」および「ユニットエコノミクス」のニーズに基づいて、データのプロバイダーにデータ要件を提供する
ライフサイクル全体を通じて適切なサイズ、コスト、パフォーマンス、回復力、および可用性を確保しながら、データリポジトリを維持する
データ取り込みのメトリクスとパフォーマンスを「ユニットエコノミクス」に報告する
取り込んだデータへのアクセス方法について組織内のすべてのペルソナにガイダンスを提供し、その品質と可用性に関する期待値を設定する

定義

データ取り込み（Data Ingestion）とは、すべてのFinOpsペルソナにわたるすべてのFinOpsケイパビリティの活動をサポートするために、適切な粒度、アクセス性、および完全性を備えた、クエリ可能で文脈化されたリポジトリを作成することです。このために、さまざまなデータセットを収集、転送、処理、変換、および相関させます。

データ取り込みのニーズは、各組織がFinOpsプラクティスをどのように実施するかによって大きく異なります。

すべてのFinOpsケイパビリティについて、単一のプロバイダーのデータやツールに完全に依存している組織は、データの取り込みや処理を行う必要がない場合があります。
サードパーティのFinOpsツールプロバイダーを使用している組織は、代理でデータ取り込みを管理するプラットフォームに、全面的または部分的に依存できます。
多くのテクノロジーカテゴリやベンダーからのデータを必要とする組織は、より複雑なデータ取り込みプロセスを必要とします。

そのため、このケイパビリティは、組織が成熟し、他のケイパビリティを実行するためのデータニーズが変化するにつれて、継続的に開発する必要があります。

FinOpsの活動をサポートするために取り込まれるデータには、プロバイダーやその他の従量制サービスプロバイダーからのコストと使用量のデータを含める必要がありますが、以下を含めることもできます。

変更された請求データ（例：価格が調整またはマークアップされたデータ）
炭素使用量データ
リソース使用率またはパフォーマンスデータ
オブザーバビリティデータ
オンプレミス、ハイブリッド、プライベートデータ
構成管理データベース（CMDB）またはその他のサービス管理から提供されるメタデータ
ライセンスまたはパブリッシャー料金に関するIT資産管理（ITAM）データ
特化型ツールのデータ（例：Kubernetesの使用量）
ビジネス関連データ（例：売上、顧客数、取引数）
使用量とコストに文脈を提供するためのその他のデータまたはメタデータ

「配賦」、「レポートと分析」、または「ユニットエコノミクス」などのFinOpsケイパビリティは、特定の時点において必要なクラウドデータの特定のソース、粒度、正規化の度合い、相関関係、および保存方法を特定する要件を提供します。

効果的なFinOpsプラクティスには、意思決定を促進するために分類、文脈化、および分析ができる、詳細な使用量、利用率、およびコストデータの定期的、反復的、かつ頻繁に更新されるストリームへのアクセスが必要です。

データ取り込みは、クラウド、AI、またはその他のテクノロジーカテゴリへの利用を拡大している組織にとって、初期の課題となる可能性があります。特にクラウドサービスプロバイダーのコストと使用量のデータセットは膨大かつ複雑であり、各プロバイダーは従来、独自のスキーマとデータ構造を使用してきました。コンテナデータ、AIデータ、およびより新しく詳細な従量制サービスは、さらに詳細で複雑です。ここで、データを正規化するためにFOCUSを使用する価値が発揮されます。クラウドデータの複雑さ、サイズ、不整合、および遅延は、標準的なビジネスインテリジェンス（BI）ツールの使用やカスタムツールの構築に対する障壁となってきました。データの規模とスケールにより、高度な技術スキルやビッグデータスキルがなければ効果的な分析が困難になります。

FinOps Open Cost & Usage Specification（FOCUS）プロジェクトは、クラウドコストデータに一貫性と標準化をもたらし、最終的にはSaaSプロバイダーデータ、サステナビリティデータ、ライセンスパブリッシャーデータ、プライベートクラウド、オブザーバビリティプロバイダーデータ、およびその他の従量制サービスプロバイダーのデータソースにまで拡張される予定です。ベンダーやデータプロバイダーがFOCUS仕様を採用することで、組織は共通ツールやカスタムツールの相互運用性を介して恩恵を受けることができます。

オブザーバビリティプラットフォーム、セキュリティプラットフォーム、炭素使用量プラットフォーム、およびビジネスオペレーションアプリケーションも非常に大規模なデータセットを提供する可能性があり、これらをクラウドデータと相関させる必要があります。「配賦」ケイパビリティで管理される、タグ付けまたは配賦戦略の一環として作成されたメタデータは、これらすべてのデータセットを相互に関連付け、文脈化し、要約するための重要なキーを提供します。データ取り込みにより、クラウドプラットフォームで作成されたタグやラベルが確実に収集され、内部の配賦メタデータにもマッピングされます。

ケイパビリティとしてのデータ取り込みは、クラウドデータの「レポートと分析」のデータソースを特定または確立します。データの複雑さ、組織のニーズ、およびデータを他のデータソースに接続したいという要望に応じて、組織はテクノロジーデータ用の共通データリポジトリを作成するか、既存のリポジトリを使用できます。

データ取り込みの目標は、リアルタイムで利用可能な最大かつ最も詳細なデータセットを蓄積することではなく、現在の成熟度において組織に価値を提供するデータを収集して統合することです。時間の経過とともに、組織の分析ニーズが成熟し、使用するサービスの種類が多様化し、追加のクラウドやSaaS製品が使用され、あるいは内部ポリシーや使用方法が変化するにつれて、組織が必要とするデータは進化します。

このケイパビリティにおける活動は、データソースの構築や追加、より詳細なデータの取得、メタデータによる文脈化、共通仕様への正規化、カスタムツールの構築、またはデータの迅速かつ容易なアクセス性の実現などのニーズによってトリガーされます。この作業は、組織がFinOpsの成熟度を高め、これらのステップへの投資から価値を実現するにつれて、反復的に進めることができます。

成熟度アセスメント

クロール（Crawl）

特定のデータ取り込みを必要としない、クラウドプロバイダーのツールを使用することを決定している
個々のデータソースまたはクラウドプロバイダーについて、要約されたコストと使用量のデータファイル、またはAPI経由の集計データを使用している
異なるソースからのデータを正規化せずに個別に分析している
主にクラウドのコストと使用量のデータを取り込んでおり、他のソースはほとんど、またはまったく取り込んでいない
クラウドプロバイダーやデータソース全体の主要な領域において、階層やリソースにタグ、ラベル、および命名標準を適用し、ソース間の手動での相関を一部可能にしている
「配賦」および「レポートと分析」をサポートするために必要な利用率データ、炭素データ、内部メタデータのソースを特定している
データを集計するために、手動のワークフローや手動の複数ステップの変換が必要である

ウォーク（Walk）

複数のクラウドプロバイダー、またはその他の相関データソースからリソースレベルでデータを取り込んでいる
一貫したリポジトリを提供するために、ソース間でコストメトリクスを正規化している
データを正規化するために1つ以上のサードパーティFinOpsツールまたはプラットフォームを使用している、あるいはプロバイダーからのディメンションとメトリクスを正規化するためにFOCUSを使用している
異なるクラウドに対して、場合によっては異なるレポートを使用して、一貫したレポートを作成できる
データがビジネスにマッピングされており、ビジネスのニーズの変化に応じて変更できる
ほとんどの履歴データが取得されており、前年比のトレンド分析を実行できる
パフォーマンス/利用率データ、炭素使用量データを取り込んでいる
データの完全性チェックと仕組みが存在する

ラン（Run）

クラウドの使用量とコストデータ、パフォーマンス、サステナビリティ、利用率、およびその他の相関データの統合データリポジトリを管理している
より複雑なデータ分析やレポートのニーズをサポートするために、最も詳細なレベルでデータを取り込んでいる
すべてのデータソースにわたってディメンションとコストメトリクスを正規化し、FOCUSまたはその他の仕様を使用して、マルチクラウドにおける一貫したレポート作成をサポートしている
データがビジネスにマッピングされており、ビジネスのニーズの進化に合わせて履歴の変化を取得している
より深いトレンド分析を可能にするために、すべての履歴データが取得されている
クラウドデータにとどまらず、SaaS、ライセンスプロバイダー、またはその他のコンテンツプロバイダーからのデータを取り込んでいる
品質チェックや自動化された仕組みを含む、データの完全性確認が整備されている

機能的な活動

FinOps実践者（FinOps Practitioner）

FinOpsチームのロールとして、私は以下を行います。

他のFinOpsペルソナと協力し、現在のレポート、分析、および運用のニーズを満たすために必要なデータソースのリストを決定する
データのギャップを特定し、担当チームと協力してソースデータを更新する
各データソースに必要な粒度のレベルを決定する
さまざまなソースからのフィールドを相互にマッピングする、正規化のためのデータモデルを確立する
データソースの内容を定期的かつ予防的に検証し、変更が発生した時期を明確に把握して対応し、それに応じて調整と再ドキュメント化を行い、影響を受けるすべての関係者に通知する
データソースおよび結果として得られるコストと使用量の情報リポジトリが正確に保持され、適切にサイズ調整、バックアップされ、その有用なライフサイクル全体を通じて管理されるようにする
情報にアクセスする必要があるすべての人がアクセスできるようにし、それを保証する
レポート出力の期待値ドキュメントを作成する（成熟度の向上に合わせて時間をかけて更新する）
FOCUSユースケースライブラリを活用し、他のFinOpsペルソナと協力して、FinOpsプラクティスに必要なFOCUSデータセットを特定する

プロダクト（Product）

プロダクトのロールとして、私は以下を行います。

KPIまたは必要なその他の情報を作成するために、FinOpsプラクティスから要求されるビジネスまたはプロダクトレベルの情報を提供する

財務（Finance）

財務のロールとして、私は以下を行います。

FinOpsプラクティスから要求されるデータソースへのアクセスを提供する
財務がレポート、予測、および意思決定のために、最新かつ適切なデータソースを使用していることを確認する
請求書、使用量データソース、およびその他の情報が期待通りにマッピングされていることを確認するために、データの完全性とデータ品質の検証作業に参加または主導する（通常、使用量データ、および/またはネイティブのクラウドサービスプロバイダーのツールデータと正規化されたデータとの月次または定期的な照合）
ソースシステム以外でのデータ変更を最小限に抑えるか排除し、行われた変更を記録してソースに照合する

調達（Procurement）

調達のロールとして、私は以下を行います。

ベンダーから期待されるデータアクセスが提供されるよう、データソースプロバイダーとの契約やその他の管理されたやり取りに、データ取り込みの要件と仕様を含める
契約上の義務と条件が履行され、FinOpsプラクティスのニーズに合致するように、データソースプロバイダーに要件を提供する

エンジニアリング（Engineering）

エンジニアリングのロールとして、私は以下を行います。

FinOpsデータリポジトリで使用するために、エンジニアリングの管轄下にあるパフォーマンスおよび使用状況の監視情報へのアクセスを提供する
データ品質が維持され、取り込まれたデータセットが完全かつ正確であることを確認するために、分析または報告されているデータに現れる問題や不整合を特定する

リーダーシップ（Leadership）

リーダーシップのロールとして、私は以下を行います。

中央集権的なデータ正規化の戦略、およびFinOpsプラクティスから要求されるさまざまな種類の情報へのアクセス要求をサポートする
レポート作成と意思決定のために、クラウドの使用量とコストに関する単一の真実のソース（Single Source of Truth）を持つ必要性について、明確に推奨し、伝える

成功基準とKPI

クラウドプロバイダーのデータが毎日/1日に複数回、予定された時間に受信されている。例：
- AWS CURファイル、CUR 2.0出力、ABC出力ファイルが少なくとも1日1回配信される
- Azure Billing Exportが少なくとも1日1回生成される
- Google Cloud Billing Exportが少なくとも1日1回生成される
必要なすべてのデータソースが特定され、確立された合意に従って一貫したフォーマットで利用可能である
データ品質チェックが正常に完了している
FOCUSバリデータのチェックが正常に完了している
自動通知または報告された問題からのデータ品質または可用性の問題に関するレポートが、1営業日以内に調査され、3営業日以内に解決されている
データの取り込みと処理が期待される時間パラメータ内で動作している
データソースの変更が変更から1営業日以内に特定され、3営業日以内に対応できるように保存または処理パラメータが調整されている
必要に応じて、新しいデータソース、追加の粒度、または新しいデータの相関関係が特定され、有効化されている
データの最新性：各データソースからの最終更新からの経過時間と、期待される更新時間との比較
取り込み時間：各データソースから新しいバージョンのデータを受信してから、FinOpsデータリポジトリに生データが保存されるまでの経過時間と、期待される時間との比較
ETL/正規化/相関時間：各ソースからの生データの保存から、データの相関、正規化、変換、および調整されたデータのFinOpsデータリポジトリへの保存が完了するまでの経過時間と、期待される時間との比較
正規化された方法でレポートに利用可能な総コストの割合（%）
一致するメタデータ要素の割合（%）

KPI

コスト可視化の遅延（Cost Visibility Delay）

コストが発生してから、そのコストが取り込まれ、正規化され、ステークホルダーに表示されるまでの時間（時間/日数）。

詳細を読む

データ更新の頻度（Frequency of Data Updates）

コストデータの更新間の時間（時間/日数）。例：最後のETL実行またはデータの共有からの経過時間。

詳細を読む

ETL処理時間（ETL Processing Time）

ETL（抽出、変換、書き出し）プロセスを完了するのにかかるサイクル時間を測定します。

詳細を読む

インプットとアウトプット

必要な粒度、解像度、および頻度で生成されたクラウドプロバイダーのコストと使用量データ（例：Azure Billing、Google Cloud Billing、AWS CUR、Oracle Billing Data）
クラウドプロバイダーの使用量とコストデータ、およびサステナビリティ、オブザーバビリティ、SaaSなどの補足データ用のFOCUSデータセット
必要なリソースまたはリソースグループのレベルにおける、CPU、メモリ、ディスク、および/またはネットワークの使用率を含むシステムメトリクスを含む、利用率、パフォーマンス、またはオブザーバビリティデータ
リソース（多くの場合、共有リソース）のタイプごとの使用回数または使用量を記録するログまたはシステムからのトランザクションデータ
サポートされている顧客数、売上高または販売額、取引数、または取り込まれたクラウドコストと使用量データに文脈を提供するその他のビジネス成果など、文脈的なビジネスデータを提供するビジネスパフォーマンスデータ
FinOpsデータリポジトリにおけるデータ要素の収集と相関をサポートするための、「ユニットエコノミクス」活動から決定されたKPI要件
取り込まれたデータを使用して、全体的なクラウドポリシーおよび他のFinOps要件の実行をサポートするための、ポリシーとガバナンスの要件
ソースとしてのGoogle Cloud FOCUS Converterエクスポートデータセット
ソースとしてのAzure FOCUS Converterエクスポートデータセット
ソースとしてのAWS FOCUS Converterエクスポートデータセット
ソースとしてのOracle FOCUS Converterエクスポート dataset as a source

以前の「データの取り込みと正規化」ページを表示する

データ取り込み（Data Ingestion）

目次

定義