Utilisation d'un job Match Key Generator Spark
-
Créez une instance de
AdvanceMatchFactory
à l'aide de sa méthode statiquegetInstance()
. -
Fournissez les détails d'entrée et de sortie du job Match Key Generator en créant une instance de
MatchKeyGeneratorDetail
définissantProcessType
. L’instance doit utiliser le type SparkProcessType.-
Spécifiez les paramètres de clé de correspondance pour effectuer la mise en correspondance en créant et en configurant une instance de
MatchKeySettings
. Pour plus d'informations, reportez-vous à l'échantillon de code correspondant. -
Créez une instance de
MatchKeyGeneratorDetail
en transmettant une instance de typeJobConfig
et l'instanceMatchKeySettings
créée comme arguments à son constructeur.Le paramètreJobConfig
doit être une instance de type SparkJobConfig. -
Définissez les détails du fichier d'entrée à l'aide du champ
inputPath
de l'instanceMatchKeyGeneratorDetail
.Pour un fichier d'entrée texte, créez une instance deFilePath
avec les détails pertinents du fichier d'entrée en appelant le constructeur approprié. Pour un fichier d'entrée ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier d'entrée ORC comme argument. -
Définissez les détails du fichier de sortie à l'aide du champ
outputPath
de l'instanceMatchKeyGeneratorDetail
.Pour un fichier de sortie texte, créez une instance deFilePath
avec les détails pertinents du fichier de sortie en appelant le constructeur approprié. Pour un fichier de sortie ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier de sortie ORC comme argument. -
Définissez le nom du job à l'aide du champ
jobName
de l'instanceMatchKeyGeneratorDetail
.
-
Spécifiez les paramètres de clé de correspondance pour effectuer la mise en correspondance en créant et en configurant une instance de
-
Pour créer et exécuter le job Spark, utilisez l'instance de
AdvanceMatchFactory
précédemment créée pour appeler sa méthoderunSparkJob()
. Dans ce cas, transmettez l'instance ci-dessus deMatchKeyGeneratorDetail
comme argument.La méthoderunSparkJob()
exécute le job et renvoie uneMap
des compteurs de reporting du job.