Validate Address Loqate Spark ジョブの使用

  1. LoqateAddressingFactoryのインスタンスを、その静的メソッド getInstance() を使用して作成します。
  2. LoqateAddressingDetailを指定するProcessType のインスタンスを作成して、Validate Address Loqate ジョブの入力と出力の詳細を指定します。このインスタンスは、SparkProcessTypeタイプを使用する必要があります。これを行うには、次の手順に従います。
    1. LoqateAddressingGeneralConfigurationのインスタンスを作成することによって、JVM の初期化を設定します。
      列挙体 列挙 ExhaustedActionを使用します。
    2. LoqateAddressingEngineConfigurationのインスタンスを作成して必要なデータベース設定を行い、各種フィールドを設定します。
    3. LoqateAddressingValidateConfigurationのインスタンスを作成して、住所検証の設定を行います。
      このインスタンスの各種フィールドの値を設定するには、列挙体 列挙 AcceptanceLevel、列挙 CountryCodes、列挙 OutputCasing、列挙 CountryFormat、および 列挙 ScriptAlphabet を使用します。
    4. LocalReferenceDataPathのインスタンスを作成することによって、リファレンス データ パスの詳細を設定します。
    5. LoqateAddressingDetailのインスタンスを作成します。JobConfig タイプのインスタンス、LocalReferenceDataPath インスタンス、および先ほど作成した LoqateAddressingValidateConfiguration インスタンスを引数としてコンストラクタに渡します。
      JobConfigパラメータは、SparkJobConfig タイプのインスタンスである必要があります。
      1. inputPathインスタンスの LoqateAddressingDetail フィールドを使用して、入力ファイルの詳細を設定します。

        テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePathのインスタンスを作成します。ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定して OrcFilePathのインスタンスを作成します。

      2. outputPathインスタンスの LoqateAddressingDetail フィールドを使用して、出力ファイルの詳細を設定します。

        テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePathのインスタンスを作成します。ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して OrcFilePathのインスタンスを作成します。

      3. jobNameインスタンスの LoqateAddressingDetail フィールドを使用して、ジョブの名前を設定します。
  3. Spark ジョブを作成して実行するには、先ほど作成した LoqateAddressingFactoryのインスタンスを使用してそのメソッドrunSparkJob() を呼び出します。ここで、上の LoqateAddressingDetailのインスタンスを引数として渡します。
    runSparkJob()メソッドはジョブを実行し、ジョブのレポート カウンタの Map を返します。
  4. カウンタを表示することにより、ジョブに対する統計レポートを表示します。