Module Big Data Integration

Nouvelles activités

Run Hadoop MapReduce Job

L'activité Run Hadoop MapReduce Job exécute un job MapReduce sur un cluster Hadoop. Vous pouvez désormais exécuter un job MapReduce à l'aide du SDK Qualité des Big Data Spectrum ou tout job MapReduce externe.

Submit Spark Job

L'activité Submit Spark Job exécute un job Spark à l'aide du SDK Qualité des Big Data Spectrum ou tout job Spark externe.

Le pilote du job Spark peut être exécuté sur un cluster Hadoop ou sur un cluster Spark. Pour exécuter un job Spark sur un hôte cluster ou sur le système client, vous pouvez utiliser YARN ou Spark.

Spark Sorter

La nouvelle activité Spark Sorter utilise des bibliothèques Apache Spark pour trier une grande quantité d'enregistrements.

Nouvelle source de données New Knox Gateway

Vous pouvez désormais ajouter des connexions aux services Hadoop authentifiés par Knox via Management Console. Une fois qu'une connexion à la passerelle Knox est créée, vous pouvez utiliser la connexion pour accéder aux données des clusters Hadoop associés via la passerelle Knox.