Match Key Generator MapReduce ジョブの使用
-
AdvanceMatchFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
Match Key Generator ジョブの入力と出力の詳細を指定します。以下の手順に従って、
MatchKeyGeneratorDetail
を指定するProcessType
のインスタンスを作成することによって、これを行います。このインスタンスは、MRProcessTypeタイプを使用する必要があります。-
MatchKeySettings
のインスタンスを作成および設定することによって、マッチングを実行するためのマッチ キー設定を指定します。詳細については、関連するコード サンプルを参照してください。 -
MatchKeyGeneratorDetail
のインスタンスを作成します。JobConfig
タイプのインスタンスと、上で作成したMatchKeySettings
インスタンスを、コンストラクタの引数として渡します。JobConfig
パラメータは、MRJobConfig タイプのインスタンスである必要があります。 -
inputPath
インスタンスのMatchKeyGeneratorDetail
フィールドを使用して、入力ファイルの詳細を設定します。テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePath
のインスタンスを作成します。ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。 -
outputPath
インスタンスのMatchKeyGeneratorDetail
フィールドを使用して、出力ファイルの詳細を設定します。テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePath
のインスタンスを作成します。ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。 -
jobName
インスタンスのMatchKeyGeneratorDetail
フィールドを使用して、ジョブの名前を設定します。
-
-
先ほど作成した
AdvanceMatchFactory
のインスタンスを使用してそのメソッドcreateJob()
を呼び出し、MapReduce ジョブを作成します。ここで、上のMatchKeyGeneratorDetail
のインスタンスを引数として渡します。createJob()
メソッドはジョブを作成し、List
インスタンスのControlledJob
を返します。 -
JobControl
のインスタンスを使用して、作成したジョブを実行します。