Advanced Transformer Spark ジョブの使用
-
DataNormalizationFactory
のインスタンスを、その静的メソッドgetInstance()
を使用して作成します。 -
Advanced Transformer ジョブの入力と出力の詳細を指定します。以下の手順に従って、
ProcessType
を指定するAdvancedTransformerDetail
のインスタンスを作成することによって、これを行います。このインスタンスは、SparkProcessType タイプを使用する必要があります。-
AdvancedTransformerConfiguration
のインスタンスを作成することによって、Advanced Transformer ルールを設定します。このインスタンスの中で、次の操作を行います。AbstractAdvancedTransformerRules
タイプのインスタンスを追加します。このAbstractAdvancedTransformerRules
インスタンスは、必要な Advanced Transformer ルール カテゴリに応じてTableDataExtraction
またはRegularExpressionExtraction
のいずれかのクラスを用いて定義する必要があります。 -
ReferenceDataPath
のインスタンスを作成することによって、リファレンス データ パスと場所のタイプの詳細を設定します。列挙 ReferenceDataPathLocationを参照してください。 -
AdvancedTransformerDetail
のインスタンスを作成します。JobConfig
タイプのインスタンスと、上で作成したAdvancedTransformerConfiguration
とReferenceDataPath
のインスタンスを、コンストラクタの引数として渡します。JobConfig
パラメータは、SparkJobConfig タイプのインスタンスである必要があります。 -
inputPath
インスタンスのAdvancedTransformerDetail
フィールドを使用して、入力ファイルの詳細を設定します。テキスト入力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な入力ファイル情報を指定してFilePath
のインスタンスを作成します。ORC 入力ファイルの場合、ORC 入力ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。 -
outputPath
インスタンスのAdvancedTransformerDetail
フィールドを使用して、出力ファイルの詳細を設定します。テキスト出力ファイルの場合は、適切なコンストラクタを呼び出して、関連する詳細な出力ファイル情報を指定してFilePath
のインスタンスを作成します。ORC 出力ファイルの場合、ORC 出力ファイルのパスを引数に指定してOrcFilePath
のインスタンスを作成します。 -
jobName
インスタンスのAdvancedTransformerDetail
フィールドを使用して、ジョブの名前を設定します。
-
-
Spark ジョブを作成して実行するには、先ほど作成した
DataNormalizationFactory
のインスタンスを使用してそのメソッドrunSparkJob()
を呼び出します。ここで、上のAdvancedTransformerDetail
のインスタンスを引数として渡します。runSparkJob()
メソッドはジョブを実行し、ジョブのレポート カウンタのMap
を返します。 - カウンタを表示することにより、ジョブに対する統計レポートを表示します。