Introducción
Big Data Quality SDK lo ayuda a crear, configurar y ejecutar trabajos MapReduce Trabajos Spark y funciones de Hive definidas por el usuario para operaciones de Data Quality en una plataforma Hadoop Hadoop.
Con el uso de SDK, puede crear y ejecutar trabajos directamente en una plataforma Hadoop, de este modo, se eliminan retrasos en la red y se ejecutan los procesos de Data Quality distribuidos en el clúster, lo que provoca una mejora sustancial en el rendimiento.
Los módulos compatibles con Big Data Quality SDK son:
- Módulo Advanced Matching
- Módulo Data Normalization
- Módulo Universal Name
- Módulo Universal Addressing
Uso de SDK
Este SDK actualmente se puede utilizar a través de:- API de Java: admite MapReduce y Spark
- Funciones de Hive definidas por el usuario