はじめに
Big Data Quality SDKでは、Hadoop プラットフォームでデータ品質の操作を行うために MapReduce ジョブ、 Spark ジョブおよび Hive ユーザ定義関数を作成、設定、および 実行できます。
この SDK を使用すると、Hadoop プラットフォームで直接ジョブを作成および実行できるため、ネットワーク遅延をなくし、クラスタで分散されたデータ品質プロセスを実行することにより、パフォーマンスを大幅に向上させることが可能になります。
Big Data Quality SDKでは、次のモジュールがサポートされています。
- Advanced Matching モジュール
- Data Normalization モジュール
- Universal Name モジュール
- Universal Addressing モジュール
SDK の使用
この SDK は現在、次を介して使用できます。- Java API: MapReduce と Spark をサポート
- Hive ユーザ定義関数