Big Data Integration-Modul
Neue Aktivitäten
Run Hadoop MapReduce Job
Die Aktivität Hadoop-Auftrag MapReduce ausführen führt einen MapReduce-Auftrag in einem Hadoop-Cluster aus. Sie können nun mithilfe des Spectrum Big Data Quality SDK einen MapReduce-Auftrag oder einen externen MapReduce-Auftrag ausführen.
Submit Spark Job
Die Aktivität Submit Spark Job führt mithilfe des Spectrum Big Data Quality SDK einen Spark-Auftrag oder einen beliebigen externen Spark-Auftrag aus.Der Treiber des Spark-Auftrags kann entweder in einem Hadoop-Cluster oder in einem Spark-Cluster ausgeführt werden. Zur Ausführung eines Spark-Auftrags in einem Cluster-Host oder dem Client-System können Sie YARN oder Spark verwenden.
Spark Sorter
Die neue Aktivität Spark Sorter verwendet Apache Spark-Bibliotheken, um riesige Datensatzmengen zu sortieren.Neue Knox Gateway-Datenquelle
Sie können nun über die Management Console Verbindungen zu Knox-authentifizierten Hadoop-Diensten hinzufügen. Sobald eine Knox Gateway-Verbindung erstellt wurde, können Sie sie für den Zugriff auf Daten in den verknüpften Hadoop-Clustern verwenden.