| Option Group-By |
Spécifiez le champ à l'aide duquel un seul enregistrement best of breed est créé par la fusion d'un groupe d'enregistrements similaires. Un enregistrement best of breed est créé pour chaque groupe d'enregistrements.
Pour un job MapReduce, transmettez les arguments :
- Colonne GroupBy
- Nom de la colonne à l'aide de laquelle les enregistrements doivent être regroupés.
- Number of Reducer Tasks
- Nombre de tâches de réduction requises pour regrouper les enregistrements.
Pour un job Spark, transmettez les arguments :
- Colonne GroupBy
- Nom de la colonne à l'aide de laquelle les enregistrements doivent être regroupés.
|
| Best of Breed Configuration |
Définissez les règles de modélisation et de consolidation à l'aide desquelles l'enregistrement best of breed doit être créé pour chaque groupe d'enregistrements similaires. |
| Fichier d'entrée |
Pour les fichiers texte :
- Chemin d'accès au fichier
- Chemin d'accès au fichier texte d'entrée sur la plate-forme Hadoop.
- Record Separator
- Séparateur d'enregistrements utilisé dans le fichier d'entrée.
- Field Separator
- Séparateur utilisé entre deux champs consécutifs d'un enregistrement dans le fichier d'entrée.
- Qualificateur de texte
- Le caractère utilisé pour entourer les valeurs de texte dans un fichier délimité.
- Header Row Fields
- Série de champs d'en-tête du fichier d'entrée.
- Skip First Row
- Indicateur spécifiant si la première ligne doit être ignorée lors de la lecture des enregistrements du fichier d'entrée.
Cette option doit être définie sur true au cas où la première ligne est une ligne d'en-tête.
Avertissement : Appelez le constructeur approprié deFilePath.
Pour les fichiers de format ORC :
- Chemin d'accès au fichier ORC
- Chemin d'accès au fichier de format ORC d'entrée sur la plate-forme Hadoop.
Paramètres communs :
- Rapprochements de champs
- Carte de paires clé/valeur, avec les noms de colonne existante comme clés et les noms de colonne de sortie souhaitée comme valeurs.
|
| Fichier de sortie |
Pour les fichiers texte :
- Chemin d'accès au fichier
- Chemin d'accès au fichier texte de sortie sur la plate-forme Hadoop.
- Field Separator
- Séparateur utilisé entre deux champs consécutifs d'un enregistrement dans le fichier de sortie.
Avertissement : Appelez le constructeur approprié deFilePath.
Pour les fichiers de format ORC :
- Chemin d'accès au fichier ORC
- Chemin d'accès au fichier de format ORC de sortie sur la plate-forme Hadoop.
Paramètres communs :
- Écraser
- Indicateur spécifiant si le fichier de sortie doit écraser tout fichier existant du même nom.
- Create Output Header
- Indicateur spécifiant si le fichier d'en-tête doit être créé ou non sur le serveur Hadoop.
|
| Nom du job |
Nom du job. |
| Configurations des jobs |
Configurations Hadoop du job. Pour un job MapReduce, l’instance doit être de type MRJobConfig. Pour un job Spark, l’instance doit être de type SparkJobConfig.
|
| Compress Output |
Indicateur permettant de spécifier si la sortie doit être compressée. Définissez cette valeur sur true pour compresser la sortie.
|