Utilisation d’un job Validate Address Loqate Spark
-
Créez une instance de
LoqateAddressingFactory
à l'aide de sa méthode statiquegetInstance()
. -
Fournissez les détails d'entrée et de sortie du job Validate Address Loqate en créant une instance de
LoqateAddressingDetail
définissantProcessType
. L’instance doit utiliser le type SparkProcessType. Pour ce faire, les étapes sont les suivantes :-
Configurez les paramètres d’initialisation JVM en créant une instance de
LoqateAddressingGeneralConfiguration
.Utilisez l’énumération Énumération ExhaustedAction. -
Configurez les paramètres de base de données nécessaires en créant une instance de
LoqateAddressingEngineConfiguration
et définissez les différents champs. -
Configurez les paramètres de validation d'adresse en créant une instance de
LoqateAddressingValidateConfiguration
.Pour définir les valeurs des différents champs de cette instance, utilisez les énumérations Énumération AcceptanceLevel, Énumération CountryCodes, Énumération OutputCasing, Énumération CountryFormat et Énumération ScriptAlphabet. -
Définissez les détails du chemin d'accès aux données de référence en créant une instance de
LocalReferenceDataPath
. -
Créez une instance de
LoqateAddressingDetail
en transmettant une instance de typeJobConfig
, l'instanceLocalReferenceDataPath
et l'instanceLoqateAddressingValidateConfiguration
créée ci-dessus comme arguments à son constructeur.Le paramètreJobConfig
doit être une instance de type SparkJobConfig.- Définissez les détails du fichier d'entrée à l'aide du champ
inputPath
de l'instanceLoqateAddressingDetail
.Pour un fichier d'entrée texte, créez une instance de
FilePath
avec les détails pertinents du fichier d'entrée en appelant le constructeur approprié. Pour un fichier d'entrée ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier d'entrée ORC comme argument. - Définissez les détails du fichier de sortie à l'aide du champ
outputPath
de l'instanceLoqateAddressingDetail
.Pour un fichier de sortie texte, créez une instance de
FilePath
avec les détails pertinents du fichier de sortie en appelant le constructeur approprié. Pour un fichier de sortie ORC, créez une instance deOrcFilePath
avec le chemin d’accès au fichier de sortie ORC comme argument. - Définissez le nom du job à l'aide du champ
jobName
de l'instanceLoqateAddressingDetail
.
- Définissez les détails du fichier d'entrée à l'aide du champ
-
Configurez les paramètres d’initialisation JVM en créant une instance de
-
Pour créer et exécuter le job Spark, utilisez l'instance de
LoqateAddressingFactory
précédemment créée pour appeler sa méthoderunSparkJob()
. Dans ce cas, transmettez l'instance ci-dessus deLoqateAddressingDetail
comme argument.La méthoderunSparkJob()
exécute le job et renvoie uneMap
des compteurs de reporting du job. - Affichez les compteurs pour voir les statistiques de reporting du job.