はじめに

Big Data Quality SDKでは、Hadoop プラットフォームでデータ品質の操作を行うために MapReduce ジョブ、 Spark ジョブおよび Hive ユーザ定義関数を作成、設定、および 実行できます。

この SDK を使用すると、Hadoop プラットフォームで直接ジョブを作成および実行できるため、ネットワーク遅延をなくし、クラスタで分散されたデータ品質プロセスを実行することにより、パフォーマンスを大幅に向上させることが可能になります。

Big Data Quality SDKでは、次のモジュールがサポートされています。
  1. Advanced Matching モジュール
  2. Data Normalization モジュール
  3. Universal Name モジュール
  4. Universal Addressing モジュール

SDK の使用

この SDK は現在、次を介して使用できます。
  1. Java API: MapReduce と Spark をサポート
  2. Hive ユーザ定義関数