oracle data warehouse
利点、アーキテクチャ、リスク、およびOLTP（オンライントランザクション処理）システムとの比較を含むOracleデータウェアハウスガイド：
の前のチュートリアルでは Oracleの包括的なガイド 、 アプリケーション、データベース、OSなどのさまざまなドメインでのOracle製品とサービスについて学習しました。この記事では、Oracle DataWarehousingに関する詳細な知識を提供します。しかしその前に、まずビジネスインテリジェンス（BI）の概念を理解しましょう。
ビジネス・インテリジェンス
ビジネスインテリジェンスは、特定の方法、テクノロジー、ツール、およびアプリケーションを具体化するソフトウェアドメインであり、バルクデータを構造化、改良、およびカスタマイズされたレポートを生成するために顧客が利用できるインテリジェントで理解しやすい形式に変換し、ビジネスを行うのに役立ちます。決定。
データウェアハウジング、OLAP（オンライントランザクション処理）、データマイニング、データ統合、意思決定エンジニアリング、スプレッドシートなど、このニーズに対応するためにさまざまなオプションを利用できます。
エンタープライズデータウェアハウス（EDW）は、企業の分析とレポートのニーズに対応するBIのコアコンポーネントの1つです。データウェアハウスはリレーショナルデータベース管理システム（RDBMS）であり、後で使用するために複数のソースから受信した統合データを保持します。
youtubeからmp3へのオンラインコンバーターのレビュー
学習内容：
Oracleデータウェアハウスの概要
なぜ「データウェアハウス」と呼ばれるのですか？
「データウェアハウス」という用語に関連するために、「ウェアハウス」という単語の意味を思い出してみましょう。
物理的な倉庫は、さまざまなソースから受け取った商品を保管するために使用されるリポジトリであり、後で顧客のニーズに基づいて提供することができます。
(画像 ソース )
同様に、データウェアハウスは、さまざまなソースシステムから受信したデータのリポジトリです。これらのソースは、データマート、フラットファイルなどのストレージシステム、またはHR、販売、運用、リソース管理、マーケティングなどのさまざまなエンタープライズドメインのデータを保持するメディアストレージデバイスです。
データウェアハウスを持つ目的
企業はデータウェアハウスの概念について聞いたことがあるかもしれませんが、それを企業に含めるべきかどうか確信が持てない場合があります。それでも、ストレージスペースをトランザクションシステムから解放できるように、さまざまなソースからのデータを共通の場所にダンプしてアーカイブする必要が常にあります。ここで、データウェアハウスシステムがビジネス要件になります。
市場で成長するためには、経営者は組織の過去の傾向を徹底的に研究した後にのみ下すことができる意思決定に長けている必要があります。したがって、このアーカイブされたデータは、将来のビジネス分析に参照できるように、適切に編成および計算された形式でデータウェアハウスに保持されます。
データウェアハウジングの利点
データウェアハウスが正常に実装された場合、次の点でメリットがあります。
＃1） ビジネスインテリジェンスソリューションの拡張バージョンを提供することにより、アナリストの仕事を簡素化しました。複数のソースシステムからデータを抽出し、変換して保存します。データは、分析のためにビジネスから直接照会できます。
また、以下をサポートするさまざまなツールも提供します。
- カスタマイズされたビジネスレポートの生成。
- 必要な情報を表示するインタラクティブなダッシュボード。
- 詳細を取得するためにのみダッシュボードをドリルダウンする機能。
- データマイニングと傾向分析。
＃二） さまざまなソースシステムからデータを受信した後でも、ETLプロセス中に発生した変換の結果として、データウェアハウス内のデータは一貫性を保ちます。一貫性のあるデータは、正確さの点で意思決定者に自信を与えます。
＃3） データウェアハウスは、ビジネス上の意思決定を行うために利害関係者が必要とする重要なデータが1つの場所で利用可能であり、簡単に取得できるため、時間の節約としても定義されます。
＃4） これらは履歴データを保持するように設計されているため、さまざまな期間の傾向を調査するためにクエリを実行できます。また、利害関係者が将来の成長パスを導き出すのにも役立ちます。
データウェアハウスの使用に伴うリスク
利点に加えて、すべての新しい実装には、対処する必要のある一連のリスクも含まれます。
以下に、関連するリスクの一部を示します。
- ソースシステムとデータウェアハウジングシステムの非互換性により、多くの手作業が行われる可能性があります。
- ETLプロセスの時間の見積もりが正しくないと、作業が中断される可能性があります。
- これらは非常にハイエンドのストレージシステムであるため、高度なメンテナンスが必要です。ワークフローやビジネスの変更には、非常に高いコストがかかる場合があります。
- データウェアハウスのセットアップは、ビジネスフローを理解し、ウェアハウスを設計するための統合機能を特定するために多くの時間を必要とするため、時間のかかるプロセスです。
- データセキュリティは、漏洩した場合にビジネスに影響を与える可能性のある古くからの履歴データを保持しているため、ここでは常にリスクになります。
OLTPとデータウェアハウスの比較
OLTPとデータウェアハウスの違いは、以下の表から理解できます。
| OLTP | データウェアハウジング |
|---|---|
| 挿入と更新は、OLTPシステムでエンドユーザーが実行する主要な操作です。 | データウェアハウスは主にSELECTステートメントを使用してクエリされ、ETLサービスを使用してのみ更新できます。 |
| OLTPシステムはビジネストランザクションをサポートします。 | データウェアハウスは、完了したビジネストランザクションを分析した後に行われるビジネス上の意思決定をサポートします。 |
| データは変動し続ける、つまり変化し続ける | データは変更されません。 |
| それらは最新のデータを保持します。 | それらは履歴データを保持します。 |
| 計算なしで生データを保持します。 | 要約され、よく計算されたデータを保持します。 |
| データは正規化されます。 | データは非正規化されたままになります。 |
| Oracleデータベースのサイズは50MBから100GBまで変化する可能性があります。 | Oracleデータベースのサイズは、100GBから2TBまでさまざまです。 |
対照的なデータウェアハウスとデータマート
データウェアハウスとデータマートは、どちらの用語も似ているわけではなく、データストレージに関連しているようです。
はい、それらは関連しており、両方ともデータの保存に使用されます。両者の主な違いはデータを保持する容量であり、この違いはエンドユーザーがシステムに適したストレージユニットを選択するのに役立ちます。
データマートは、データウェアハウスと比較してデータを保持する容量が少ないため、そのサブセットと見なすことができます。データマートは通常、特定の部門または事業部門の限られたデータを格納するために識別されますが、データウェアハウスはすべての統合データを保持するために使用できます。
ファッション、アクセサリー、家庭用品、本や学用品、電化製品など、さまざまなカテゴリの商品を扱うeコマースWebサイトの例を見てみましょう。
したがって、データマートは製品データをカテゴリごとに保存するように設計でき、データウェアハウスは履歴を含む完全なWebサイトデータを1か所に保存するために使用できます。
データマートはサイズが小さいため、データウェアハウスの設計に必要な分析をあまり行わなくても、はるかに高速に作成できます。ただし、データの整合性を維持するために、複数のデータマートの同期を維持するには多大な労力が必要です。
ETLプロセスの概要
ETL（抽出、変換、および読み込み）は、さまざまなソースシステムからデータを抽出し、変換してデータウェアハウスシステムに読み込むプロセスです。これは複雑なプロセスであり、データ抽出のためにさまざまなソースシステムと対話する必要があるため、技術的にも困難です。
変換では、ソースシステムの形式を理解し、データを共通の形式にして同じデータをデータウェアハウスに保存できるようにするために、多くの分析が必要です。
ETLプロセスは、ビジネス要件に応じて、毎日、毎週、または毎月実行できる定期的なジョブです。
データウェアハウスアーキテクチャ
事前定義されたビジネス要件に合わせて洗練されたデータを格納するように主に設計されたデータウェアハウスのアーキテクチャを理解しましょう。アーキテクチャは、上から下へのデータフローを持つ5つのコンポーネントで構成されています。
コンポーネントは次のとおりです。
java配列をソートする方法
- データソース
- データステージング
- データウェアハウス（データストレージ）
- データマーチ（データストレージ）
- データプレゼンテーション
上記のすべての段階を1つずつ理解しましょう。
＃1）データソース
データウェアハウスシステムへの入力として機能するさまざまなソースシステムがあります。
これらのソースシステムは次のとおりです。
- Oracle、DB2、MySQL、MS Accessなどのリレーショナルデータベース。これを使用して、あらゆる組織の毎日のトランザクションを記録できます。これらの日常のビジネストランザクションは、ERP、CRM、販売、財務、マーケティングなどに関連している可能性があります。
- フラットファイル
- ウェブサービス
- RSSフィードおよび同様のソース。
＃2）データステージング
データソースが配置されたら、次のステップは、このデータをソースシステムから倉庫のステージング領域に抽出することです。
データはさまざまなストレージ形式に従うさまざまなシステムから取得されているため、データを共通の形式にするためにデータを再構築する必要があります。したがって、データ変換は次のステップとして行われます。
変換中に、ビジネスルールの適用、データのフィルタリング、冗長性の削除、データのフォーマット、データの並べ替えなどを含むデータクレンジングが発生します。
＃3）データウェアハウス（データストレージ）
データが抽出および変換されると、データウェアハウスなどの多次元環境に読み込まれます。現在、この処理されたデータは、エンドユーザーによる分析やその他の目的に使用できます。
＃4）データマート（データストレージ）
上記のように、データをエンドユーザーが使用できるようになったことで、次のステップとしてデータマートを作成するオプションのプロセスがあります。これらのデータマートは、特定の部門または事業部門の要約データを専用に保存するために使用できます。
例えば、 特定のデータを保持し、アナリストがビジネスニーズの詳細なクエリを実行できるようにする次のステップとして、営業、財務、マーケティングなどの部門に個別のデータマートを追加できます。また、他のすべてのエンドユーザーがウェアハウス全体にアクセスするのを防ぎ、データを安全にします。
＃5）データアクセスツール（データプレゼンテーション）
ユーザーがデータウェアハウスまたはデータマートにアクセスするために使用できる、事前定義されたビジネスインテリジェンスツールがいくつかあります。これらのフロントエンドツールは、ユーザーがデータにアクセスするためのさまざまなオプションを提供することにより、非常にユーザーフレンドリーな方法で設計されています。
.binファイルの実行方法
オプションは以下のとおりです。
- SQLを介して直接Oracleまたはその他のデータベースにクエリを適用する。
- レポートの生成。
- アプリケーションの開発。
- データマイニングツールなどの使用。
市場で入手可能ないくつかの人気のある倉庫保管ツールは次のとおりです。
- Analytix DS
- AmazonRedshift
- AbInitioソフトウェア
- コード先物
- ホリスティックデータ管理
- インフォマティクス株式会社
クラウドデータウェアハウジング
データウェアハウスは世界で過度に認識されています。発生する次の質問：データウェアハウスを展開するために最適化されたアプローチを使用していますか？
次に、エンタープライズデータウェアハウス（EDW）よりも優位に立つクラウドデータウェアハウスが導入されました。クラウドベースのデータウェアハウスの概念には、さまざまな利点があります。
これらは次のとおりです。
（i）スケーラビリティ： クラウドシステム上のデータは、従来のデータウェアハウスでスケーリングを実行するために多くの時間とリソースを消費する一方で、面倒なことなく簡単に上下にスケーラブルです。
（ii）コスト削減： クラウドベースのデータウェアハウスは、ウェアハウスのセットアップに必要な投資に著しい違いをもたらしました。彼らはのコストを排除することにより、バルクの初期費用を削減しました
-
- ハードウェア/サーバールームの保守。
- メンテナンスに必要なスタッフ。
- その他の運用コスト。
（iii）パフォーマンス： パフォーマンスは、クラウドベースのシステムが従来のシステムよりも優位に立つことを可能にしたもう1つの要因です。ビジネスがグローバルに拡大し、世界のさまざまな地域からデータに迅速にアクセスする必要がある場合は、クラウドベースのウェアハウスを使用するのが最適です。
超並列処理（MPP）は、同じことを実現するために倉庫で使用される協調処理方法の1つです。
（iv）接続性： 上記のように、地理的に複数の場所からデータにアクセスする必要がある場合、ユーザーはこれらのウェアハウスへの優れた接続性を必要とし、クラウドベースのウェアハウスも同じものを提供します。
結論
上記の記事を読んだ後、皆さんがOracle DataWarehousingシステムについて公正な考えを持っていることを願っています。今後のチュートリアルで同じことをカバーできるように、データウェアハウジングに関する特定のトピックに関する洞察が必要な場合はお知らせください。