Interflow Match Spark ジョブの使用

  1. AdvanceMatchFactoryのインスタンスを、その静的メソッド getInstance() を使用して作成します。
  2. Interflow Match ジョブの入力と出力の詳細を指定します。以下の手順に従って、ProcessType を指定する InterMatchDetail のインスタンスを作成することによって、これを行います。このインスタンスは、SparkProcessType タイプを使用する必要があります。
    1. GroupbyOption のインスタンスを作成することによって、レコードのグループ化に使用する列を指定します。
      GroupbySparkOption のインスタンスを使用して、Group-By 列を指定します。
    2. MatchRuleのインスタンスを作成することによって、ジョブのマッチング ルールを生成します。
    3. InterMatchDetail のインスタンスを作成します。JobConfig タイプのインスタンスと、上で作成した GroupbyOption インスタンスおよび MatchRule インスタンスを、コンストラクタの引数として渡します。
      JobConfig パラメータは、SparkJobConfig タイプのインスタンスである必要があります。
    4. candidateFilePathインスタンスの InterMatchDetail フィールドを使用して、候補ファイルの詳細を設定します。
      テキスト候補ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な候補ファイル情報を指定してFilePathのインスタンスを作成します。ORC 候補ファイルの場合、ORC 候補ファイルのパスを引数に指定して OrcFilePathのインスタンスを作成します。
    5. suspectFilePathインスタンスの InterMatchDetail フィールドを使用して、サスペクト ファイルの詳細を設定します。
      テキスト サスペクト ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細なサスペクト ファイル情報を指定してFilePathのインスタンスを作成します。ORC サスペクト ファイルの場合、ORC サスペクト ファイルのパスを引数に指定して OrcFilePathのインスタンスを作成します。
      重要: サスペクト ファイルと候補ファイルは、同じファイル形式である必要があります。両方ともテキスト ファイルまたは ORC 形式ファイルでなければなりません。
    6. outputPathインスタンスの InterMatchDetail フィールドを使用して、出力ファイルの詳細を設定します。
      テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePathのインスタンスを作成します。ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定して OrcFilePathのインスタンスを作成します。
    7. jobNameインスタンスの InterMatchDetail フィールドを使用して、ジョブの名前を設定します。
    8. 必要に応じて、expressMatchColumnインスタンスの InterMatchDetail フィールドを使用して、Express マッチ列を設定します。
    9. ユニーク レコードにコレクション番号 0 (ゼロ) を割り当てる場合は、collectionNumberZerotoUniqueRecordsインスタンスの InterMatchDetail フラグに true を設定します。デフォルトは true です。
      ユニーク レコードにコレクション番号 0 を割り当てたくない場合は、このフラグに false を設定します。
    10. comparisonOptionインスタンスのInterMatchDetail フィールドを使用して、比較オプションを設定します。このフィールドで、クラス InterMatchComparisonOptionを使用して必要な値を設定することにより、以下の 2 つのオプションのいずれかを選択します。
      • [Compare the Suspect record to all Candidate records]: ユニーク レコードを出力に返す必要があるかどうかを指定します。
      • [Compare the Suspect record to the selected Candidate record only]: 検索して返す重複レコードの最大数を指定します。
    11. compressOutputインスタンスの InterMatchDetail フラグに true を設定して、ジョブの出力を圧縮します。
    12. 入力データにマッチ キーがない場合は、マッチ キー設定を指定して、Interflow Match ジョブを実行する前にまず、Match Key Generator ジョブを実行してマッチ キーを生成する必要があります。
      入力データのマッチ キーを生成するには、MatchKeySettingsのインスタンスを作成および設定することによってマッチ キー設定を指定し、Interflow マッチングを実行する前にマッチ キーを生成します。matchKeySettingsインスタンスの InterMatchDetail フィールドを使用して、このインスタンスを設定します。
      注: マッチ キー設定方法については、コード サンプルを参照してください。
  3. Spark ジョブを作成して実行するには、先ほど作成した AdvanceMatchFactory のインスタンスを使用してそのメソッド runSparkJob() を呼び出します。ここで、上の InterMatchDetail のインスタンスを引数として渡します。
    runSparkJob() メソッドはジョブを実行し、ジョブのレポート カウンタの Map を返します。
  4. カウンタを表示することにより、ジョブに対する統計レポートを表示します。