SQL Server のことなら SQL Quality SQL Server パフォーマンス チューニング、コンサルティング、アドバイス、相談、定期診断、トレーニング

ホーム > 技術情報 > SQL Server 2012 自習書 DWH 関連の新機能

SQL Server 2012 自習書シリーズ (HTML 版)
新機能編 No.3「DWH(データ ウェアハウス)関連の新機能」

松本美穂と松本崇博が執筆した SQL Server 2012 自習書シリーズの「新機能編 No.3 DWH 関連の新機能」の HTML 版です。 日本マイクロソフトさんの Web サイトで Word または PDF 形式でダウンロードできますが、今回、HTML 版として公開する許可をいただきましたので、ここに掲載いたします。[2014年12月26日]

目次へ | 前のページへ | 次のページへ

4.5 Integration Services の「DQS クレンジング」タスク

◆ Integration Services の「DQS クレンジング」タスク

次に、Integration Services の「DQS クレンジング」タスクを利用して、ナレッジ ベースを基にしたクレンジング処理を行ってみましょう。ここでは、次のような Integration Services パッケージ(SSIS パッケージ)を作成します。

00135

DQS クレンジング」タスクは、データ フロー変換コンポーネントとして提供されていて、次のようにナレッジ ベースを指定して、それをもとにデータを出力させることが可能です。

00136

◆ Let's Try

それでは、これを試してみましょう。

1.まずは、[スタート]メニューから SQL Server Data Tools(以前のバージョンの Business Intelligence Development Studio)を起動します。

00137

2.SQL Server Data Tools が起動したら、[スタート ページ]の「新しいプロジェクト」をクリックして、新しいプロジェクトを作成します。

00138

新しいプロジェクト]ダイアログでは、[インストールされたテンプレート]から「ビジネス インテリジェンス」の「Integration Services」を選択して、「Integration Services プロジェクト」を選択します。[名前]へ任意のプロジェクト名(画面は Integration Services プロジェクト1)、[場所]へ任意の保存場所を指定して、[OK]ボタンをクリックします。

3.パッケージ デザイナーが表示されたら、次のように[SSIS ツールボックス]の[お気に入り]セクションから「データ フロー タスク」を[制御フロー]タブへドラッグ&ドロップして配置します。

00139

配置後、[データ フロー タスク]をダブル クリックして、[データ フロー]タブを開きます。

4.データ フロー]タブが開いたら、[SSIS ツールボックス]の[お気に入り]セクションから[変換元アシスタント]をドラッグ&ドロップして配置します。

00140

変換元アシスタント]ダイアログが表示されたら、[変換元の型を選択します]で「SQL Server」、[接続マネージャーの選択]で「新規」を選択して、[OK]ボタンをクリックします。

5.接続マネージャー]ダイアログが表示されたら、[サーバー名]に SQL Server の名前(画面は SERVER1)、[データベース名]に「DQStest」を選択して、[OK]ボタンをクリックします。

00141

6.これで、次のように[OLE DB ソース]が作成されるので、これをダブル クリックします。

00142

OLE DB ソース エディター]ダイアログが表示されたら、[テーブル名またはビュー名]で「取引先マスター」テーブルを選択して、[OK]ボタンをクリックします。

7.次に、[SSIS ツールボックス]の[その他の変換]セクションから[DQS クレンジング]タスクを[OLE DB ソース]タスクの下へドラッグ&ドロップして配置します。

00143

8.続いて、次のように[OLE DB ソース]を選択して、表示される「青の矢印」(成功の場合の処理の流れ)を、[DQS クレンジング]タスクへドラッグ&ドロップして接続します。

00144

9.次に、[DQS クレンジング]タスクをダブル クリックして、[DQS クレンジング変換エディター]ダイアログを表示します。

00145

このダイアログでは、[接続マネージャー]タブで、[新規]ボタンをクリックします。[DQS クレンジング接続マネージャー]ダイアログが表示されたら、[サーバー名]に DQS サーバーの名前(画面は SERVER1)を入力して、[OK]ボタンをクリックします。

10.次に、[データ品質ナレッジ ベース]で、前の Step で作成したナレッジ ベース(KB取引先)を選択します。

00146

使用できるドメイン]には、ナレッジ ベース内で作成した「取引先コード」と「取引先名」が表示されていることを確認できます。

11.次に、[マッピング]タブを開いて、[使用できる入力列]で「取引先コード」と「取引先名」の両方をチェックします。

00147

入力列]の「取引先コード」と「取引先名」に、それぞれ[ドメイン]で「取引先コード」と「取引先名」がマッピングされるようにして、[OK]ボタンをクリックします。

これで、[OLE DB ソース]タスクで取得した「取引先マスター」テーブルの「取引先コード」と「取引先名」を、ナレッジ ベースの「取引先コード」と「取引先名」ドメインへマッピングすることができます。

12.次に、[変換先アシスタント]をドラッグ&ドロップして配置します。

00148

変換先アシスタント]ダイアログが表示されたら、[変換先の型を選択します]で「SQL Server」、[接続マネージャーの選択]で、[OLE DB ソース]タスクのときに作成した接続マネージャー(画面は SERVER1.DQStest)を選択して、[OK]ボタンをクリックします。

13.これで、次のように[OLE DB 変換先]タスクが作成されるので、[DQS クレンジング]タスクの「」(成功)の矢印を[OLE DB 変換先]タスクへ接続します。

00149

14.次に、[OLE DB 変換先]タスクをダブル クリックして、[OLE DB 変換先エディター]ダイアログを開きます。

00150

このダイアログでは、[テーブル名またはビュー名]で[新規作成]ボタンをクリックして、新しいテーブルを作成します。

テーブルの作成]ダイアログが表示されたら、CREATE TABLE の隣のテーブル名を「[結果1]」へ変更して、[OK]ボタンをクリックします。

15.OLE DB 変換先エディター]ダイアログへ戻ったら、[マッピング]ページを開きます。

00151

使用できる入力列]と[使用できる変換先列]が 1対1にマッピングされていることを確認して、[OK]ボタンをクリックします。

16.次に、[DQS クレンジング]と[OLE DB 変換先]タスクの間の「」の矢印を右クリックして、[データ ビューアーの有効化]をクリックします。

00152

これで、デバッグ実行時に、[DQS クレンジング]と[OLE DB 変換先]タスクの間を流れているときのデータをグラフィカルに表示できるようになります。

17.次に、ツールバーの[デバッグ開始]ボタンをクリックして、デバッグを開始します。

00153

18.デバッグが開始されると、次のように[OLE DB ソース]が緑のチェックマークが付いた後に、[DQS クレンジング]と[OLE DB 変換先]タスクが処理中の黄色のアイコンに変わって、データ ビューアーにデータが表示されます。

00154

データ ビューアーでは、[DQS クレンジング]タスクによって、ドメイン ルールに違反した 2つのデータ(TR0333XX011)は、[取引先コード_状態]および[レコードの状態]が「無効」と設定され、シノニムを設定した間違ったデータ(マイクロソフト日本株式会社日本マイクロソフト())には、[取引先名_状態]および[レコードの状態]が「修正済み」、[取引先名_出力]に正しいデータ(日本マイクロソフト株式会社)が設定されていることを確認できます。

確認後、データ ビューアーの[実行]ボタンをクリックして、処理を続行します。

19.これにより、次のように[DQS クレンジング]と[OLE DB 変換先]タスクも緑のチェックマークに変わって、デバッグが正常に完了したことを確認することができます。

00155

20.確認後、データ ビューアーの右上の[終了]ボタンをクリックして、データ ビューアーを閉じます。

21.次に、ツールバーの[デバッグの停止]ボタンをクリックして、デバッグを停止します。

00156

22.次に、Management Studio を起動して、クエリ エディターでクレンジング処理された結果(結果1 テーブルの中身)を参照します。

USE DQStest
SELECT FROM 結果1

00157

データ ビューアーで確認したように、ドメイン ルールに違反した 2つのデータ(TR0333XX011)は、[取引先コード_状態]と[レコードの状態]が「無効」と設定され、シノニムを設定した間違ったデータ(マイクロソフト日本株式会社日本マイクロソフト())には、[取引先名_状態]と[レコードの状態]が「修正済み」、[取引先名_出力]に正しいデータ(日本マイクロソフト株式会社)が設定されていることを確認できます。

◆ 条件分岐の追加(無効なデータを別テーブルへ出力)

次に、条件分岐を追加して、無効なデータは別テーブルへ出力するように変更してみましょう。

1.まずは、次のように[DQS クレンジング]と[OLE DB 変換先]タスクの間の「」の矢印を右クリックして、[削除]をクリックします。

00158

2.次に、[SSIS ツールボックス]から[条件分割]タスクをドラッグ&ドロップして配置します。

00159

3.次に、[DQS クレンジング]タスクの「」の矢印を[条件分割]タスクへ接続します。

00160

4.次に、[条件分割]タスクをダブル クリックして、[条件分割変換エディター]ダイアログを表示します。

00161

]フォルダーを展開して、[レコードの状態]を[条件]へドラッグ&ドロップします。

5.次に、[条件]へ「== "無効"」を追加して、[出力名]を「無効の場合」へ変更します。

00162

既定の出力名]は「有効の場合」へ変更して、[OK]ボタンをクリックします。

これで、レコードの状態が無効の場合とそうでない場合で条件分岐できるようになります。

6.次に、[条件分割]タスクの「」の矢印を[OLE DB 変換先]タスクへ接続します。

00163

入出力の選択]ダイアログが表示されたら、[出力]で「無効な場合」を選択して、[OK]ボタンをクリックします。

00164

これで、「[レコードの状態]== "無効"」の場合のデータを[OLE DB 変換先]タスクへ流すことができるようになります。

7.次に、[OLE DB 変換先]タスクをダブル クリックして、[OLE DB 変換先エディター]を開きます。

00165

このダイアログでは、[テーブル名またはビュー名]で[新規作成]ボタンをクリックして、新しいテーブルを作成します。[テーブルの作成]ダイアログが表示されたら、CREATE TABLE の隣のテーブル名を「[無効の場合]」へ変更して、[OK]ボタンをクリックします。

8.OLE DB 変換先エディター]ダイアログへ戻ったら、[マッピング]ページを開きます。

00166

使用できる入力列]と[使用できる変換先列]が 1対1にマッピングされていることを確認して、[OK]ボタンをクリックします。

9.次に、[変換先アシスタント]をドラッグ&ドロップして配置します。

00167

変換先アシスタント]ダイアログが表示されたら、[変換先の型を選択します]で「SQL Server」、[接続マネージャーの選択]で、[OLE DB ソース]タスクのときに作成した接続マネージャー(画面は SERVER1.DQStest)を選択して、[OK]ボタンをクリックします。

10.これで、次のように[OLE DB 変換先 1]タスクが作成されるので、[条件分割]タスクの「」の矢印を[OLE DB 変換先 1]タスクへ接続します。

00168

今度は、[既定の出力名]で設定した「有効の場合」の流れができるようになります。

00169

これで、「[レコードの状態]== "無効"」という条件を満たさなかった場合のデータ(つまり、有効な場合のデータ)を[OLE DB 変換先 1]タスクへ流すことができるようになります。

11.次に、[OLE DB 変換先 1]タスクをダブル クリックして、[OLE DB 変換先エディター]ダイアログを開きます。

00170

このダイアログでは、[テーブル名またはビュー名]で[新規作成]ボタンをクリックして、新しいテーブルを作成し、[テーブルの作成]ダイアログでは、CREATE TABLE の隣のテーブル名を「[有効の場合]」へ変更して、列定義を「取引先コード」と「取引先名」のみに変更します。

変更後、[OK]ボタンをクリックします。

12.次に、[OLE DB 変換先エディター]ダイアログへ戻ったら、[マッピング]ページを開きます。

00171

取引先コード_出力」を「取引先コード」、「取引先名_出力」を「取引先名」にマッピングするように設定して、[OK]ボタンをクリックします。

これで、シノニムで設定した値へ変換したもののみを転送できるできるようになります。

13.次に、[条件分割]タスクから伸ばした「」の矢印を右クリックして、[データ ビューアーの有効化]をクリックします。

00172

14.両方の「」の矢印(無効の場合と有効の場合)に対して[データ ビューアーの有効化]を設定して、デバッグ中のデータを参照できるようにします。

00173

15.次に、ツールバーの[デバッグ開始]ボタンをクリックして、デバッグを開始します。

00174

16.デバッグが開始されると、次のように[OLE DB ソース]と[DQS クレンジング]タスクが緑のチェックマークが付いた後に、[条件分割]と[OLE DB 変換先]タスクが処理中の黄色のアイコンに変わって、データ ビューアーにデータが表示されます。

00175

無効の場合」のデータ ビューアーでは、ドメイン ルールに違反した 2つのデータ(TR0333XX011)が表示されて、[レコードの状態]が「無効」と設定されていることを確認できます。「有効の場合」のデータ ビューアーには、6件の有効なデータ(無効なデータ 2件が入っていないもの)が表示されていることを確認できます。

確認後、それぞれのデータ ビューアーの[実行]ボタンをクリックして、処理を続行します。

17.処理が完了すると、「無効の場合」のデータは「2行」、「有効の場合」のデータは「6行」と表示されて、緑のチェックマークが付いて、デバッグが正常に完了したことを確認できます。

00176

18.最後に、Management Studio を起動して、クエリ エディターで処理された結果(テーブルの中身)を参照します。

USE DQStest
SELECT FROM 無効の場合

00177

無効の場合」テーブルには、ドメイン ルールに違反した 2つのデータ(TR0333XX011)が格納されていることを確認できます。

19.有効の場合」テーブルについても、内容を参照します。

USE DQStest
SELECT FROM 有効の場合

00178

シノニムを設定した間違ったデータマイクロソフト日本株式会社日本マイクロソフト())が、正しいデータ日本マイクロソフト株式会社)に修正されて、格納されていることを確認できます。

このように、Integration Services の[DQS クレンジング]タスクを利用すれば、ナレッジ ベースへ設定したシノニムやドメイン ルールを基に、簡単にクレンジング処理を行うことができます。

◆ DQS のまとめ

ここまで紹介してきたものは、DQSData Quality Services)機能のほんの一部です。まだまださまざまなルールを作成したデータのクレンジングが可能ですし、似たようなレコードを検出するマッチング(照合)ルールの作成機能、Azure Marketplace のデータを利用したマッチング検出機能などもあるので、オンライン ブック(SQL Server のヘルプ)などを参考にぜひチャレンジしてみてください。DQS は、データの品質を向上させるために大変役立つ機能です。

目次へ | 前のページへ | 次のページへ

事例1

MPNロゴ


SQLQualityは執筆とセミナーを通じて技術の啓蒙やエンジニアの育成支援も行っています
最新刊
SQL Server 2012 の教科書
SQL Server 2012 の教科書(ソシム)

弊社オリジナル制作の
SQL Server 2012 自習書も
マイクロソフトのサイトで公開中!
ロングセラー
ASP.NET でいってみよう  SQL Server 2000 でいってみよう
ASP.NET でいってみよう
第7刷 16,500 部発行
SQL Server 2000 でいってみよう
第12刷 28,500 部発行


セミナー風景
セミナー風景

弊社執筆の
SQL Server 2012 自習書
マイクロソフトのサイトで公開中
全30冊
ダウンロードはこちら
弊社執筆の
SQL Server 2008 R2 自習書
マイクロソフトのサイトで公開中
全30冊
目次はこちら
松本美穂のコラム
(公開活動などのお知らせ)

第38回: SQL Server 2014 CTP2 の公開
第37回: SQL Server 2014 CTP1 の自習書をご覧ください
第36回: SQL Server 2014 CTP1 のクラスター化列ストア インデックスを試す
第35回: SQL Server 2014 CTP1 のインメモリ OLTP の基本操作を試す
第34回: GeoFlow for Excel 2013 のプレビュー版を試す
第33回:iPad と iPhone からの SQL Server 2012 Reporting Servicesのレポート閲覧
第32回:PASS Summit 2012 参加レポート
第31回:SQL Server 2012 Reporting Services 自習書のお知らせ
第30回:SQL Server 2012(RTM 版)の新機能 自習書をご覧ください
第29回:書籍「SQL Server 2012の教科書 開発編」のお知らせ
第26回:SQL Server 2012 の Power View 機能のご紹介
第25回:SQL Server 2012 の Data Quality Services
第24回:SQL Server 2012 自習書のご案内と初セミナー報告
第23回:Denali CTP1 が公開されました
第22回 チューニングに王道あらず
第21回 Microsoft TechEd 2010 終了しました
第20回 Microsoft TechEd Japan 2010 今年も登壇します
第19回 SQL Server 2008 R2 RTM の 日本語版が公開されました
第18回 「SQL Azure 入門」自習書のご案内
第17回 SQL Server 2008 自習書の追加ドキュメントのお知らせ
第16回 SQL Server 2008 R2 自習書とプレビュー セミナーのお知らせ
第15回 SQL Server 2008 R2 Reporting Services と新刊のお知らせ
第14回 TechEd 2009 のご報告と SQL Server 2008 R2 について
第13回 SQL Server 2008 R2 の CTP 版が公開されました
第12回 MVP Summit 2009 in Seattle へ参加

技術コミュニティでも活動中

Microsoft MVP for SQL Server

松本崇博 Blog(SQL Server Tips)
松本美穂ブログ(SQL Serverノート)