Big Data Integration-Modul

Neue Aktivitäten

Run Hadoop MapReduce Job

Die Aktivität Hadoop-Auftrag MapReduce ausführen führt einen MapReduce-Auftrag in einem Hadoop-Cluster aus. Sie können nun mithilfe des Spectrum Big Data Quality SDK einen MapReduce-Auftrag oder einen externen MapReduce-Auftrag ausführen.

Submit Spark Job

Die Aktivität Submit Spark Job führt mithilfe des Spectrum Big Data Quality SDK einen Spark-Auftrag oder einen beliebigen externen Spark-Auftrag aus.

Der Treiber des Spark-Auftrags kann entweder in einem Hadoop-Cluster oder in einem Spark-Cluster ausgeführt werden. Zur Ausführung eines Spark-Auftrags in einem Cluster-Host oder dem Client-System können Sie YARN oder Spark verwenden.

Spark Sorter

Die neue Aktivität Spark Sorter verwendet Apache Spark-Bibliotheken, um riesige Datensatzmengen zu sortieren.

Neue Knox Gateway-Datenquelle

Sie können nun über die Management Console Verbindungen zu Knox-authentifizierten Hadoop-Diensten hinzufügen. Sobald eine Knox Gateway-Verbindung erstellt wurde, können Sie sie für den Zugriff auf Daten in den verknüpften Hadoop-Clustern verwenden.