Read from file - data_integration_1 - 23 - 23.1

Guide Spectrum Enterprise Data Integration

Product type
Logiciels
Portfolio
Integrate
Product family
Spectrum
Product
Spectrum > Data Integration
Version
23.1
Language
Français
Product name
Spectrum Data Integration
Title
Guide Spectrum Enterprise Data Integration
First publish date
2005
Last updated
2023-10-12
Published on
2023-10-12T08:41:57.873791

Le stage Read from File spécifie un fichier d'entrée pour un job ou un sous-flux. Il n'est pas disponible pour les services.

Remarque : Si vous souhaitez utiliser un fichier XML en entrée pour votre dataflow, utilisez le stage Read from XML au lieu de Read from File. Si vous souhaitez utiliser un fichier au format variable en entrée, utilisez Read from Variable Format File.
Condition préalable : pour lire un fichier à partir de l'un des types de connexions à des systèmes de fichiers, tel que FTP, Cloud, Amazon AWS S3 et HDFS, procédez comme suit :
  1. Créez une connexion à ces serveurs de fichiers à l'aide de Spectrum Management Console ou de Discovery. Pour plus d’informations, reportez-vous à la section Définition de connexions.
  2. Sélectionnez le fichier à l'aide du champ Nom de fichier de l'onglet Propriétés du fichier (décrit ci-dessous).

Onglet de propriétés du fichier

Nom du champ Description
Server name Indique si le fichier que vous sélectionnez comme entrée figure sur l'ordinateur exécutant Spectrum Enterprise Designer ou sur le serveur Spectrum Technology Platform. Si vous sélectionnez un fichier sur l'ordinateur local, le nom du serveur sera Mon ordinateur. Si vous sélectionnez un fichier sur le serveur, le nom du serveur sera Spectrum Technology Platform.
Nom de fichier Indique le chemin du fichier. Cliquez sur le bouton d'ellipse (...) pour accéder au fichier souhaité.

Vous pouvez lire plusieurs fichiers en utilisant un caractère générique pour lire les données de plusieurs fichiers du répertoire. Les caractères génériques * et ? sont pris en charge. Par exemple, vous pouvez utiliser *.csv pour lire tous les fichiers portant une extension .csv placés dans le répertoire. Pour que plusieurs fichiers puissent être lus, tous doivent présenter la même mise en page (les mêmes champs aux mêmes emplacements). Tout enregistrement ne correspondant pas à la mise en page indiquée dans l'onglet Champs est traité comme un enregistrement non conforme.

Lors de la lecture d'un fichier à partir d'un serveur de fichiers HDFS, les formats de compression pris en charge sont les suivants :

  1. GZIP (.gz)
  2. BZIP2 (.bz2)
Remarque : L'extension du fichier indique le format de compression à utiliser pour décompresser le fichier.
Avertissement : Si le Spectrum Technology Platform est en cours d'exécution sur les systèmes Linux, rappelez-vous que les noms de fichiers et les chemins sur ces plates-formes sont sensibles à la casse.
Type d'enregistrement Le format des enregistrements dans le fichier. Sélectionnez l'un des éléments suivants :
Séquentiel
Un fichier texte dans lequel les enregistrements sont séparés par un caractère de fin de ligne (EOL) comme un retour chariot ou un retour à la ligne (CR ou LF) et chaque champ dispose d'une position de caractère fixe de départ et de fin.
Largeur fixe
Un fichier texte dans lequel chaque enregistrement est un nombre déterminé de caractères de longueur, et chaque champ dispose d'une position de caractère de départ et de fin fixe .
Délimité
Un fichier texte dans lequel les enregistrements sont séparés par un caractère de fin de ligne (EOL) comme un retour chariot ou un retour à la ligne (CR ou LF) et chaque champ est séparé par un caractère désigné comme une virgule.
Chiffrement de caractères L'encodage du fichier texte. Pour plus d'informations, reportez-vous à la section Chiffrements de caractères.
Séparateur de champs Indique le caractère utilisé pour séparer des champs dans un fichier délimité. Par exemple, cet enregistrement utilise une barre verticale (|) comme séparateur de champ :
7200 13TH ST|MIAMI|FL|33144

Ces caractères disponibles à définir en tant que séparateurs de champs sont :

  • Espace
  • Tabulation
  • Virgule
  • Point
  • Point-virgule
  • Pipe

Si le fichier utilise un caractère différent comme séparateur de champ, cliquez sur le bouton de sélection pour sélectionner un autre caractère délimiteur.

Qualificateur de texte

Le caractère utilisé pour entourer les valeurs de texte dans un fichier délimité.

Par exemple, cet enregistrement utilise des guillemets doubles (") en tant que qualificateur de texte.

"7200 13TH ST"|"MIAMI"|"FL"|"33144"

Ces caractères disponibles à définir en tant que qualificateurs de texte sont :

  • Guillemets simples (')
  • Guillemets doubles (")

Si le fichier utilise un délimiteur de texte, cliquez sur le bouton de sélection pour sélectionner un autre caractère délimiteur.

Séparateur d'enregistrements

Indique le caractère utilisé pour séparer des enregistrements dans un fichier séquentiel ligne par ligne ou délimité. Ce champ n'est pas disponible si vous activez la case Utiliser EOL par défaut.

Les paramètres de séparateur d’enregistrements disponibles sont :

Linux (U+000A)
Un caractère de saut de ligne sépare les enregistrements. Il s'agit du séparateur d'enregistrement standard pour les systèmes Linux.
Macintosh (U+000D)
Un caractère de retour chariot sépare les enregistrements. Il s'agit du séparateur d'enregistrement standard pour les systèmes Macintosh.
Windows (U+000D U+000A)
Un retour chariot suivi d'un saut de ligne sépare les enregistrements. Il s'agit du séparateur d'enregistrement standard pour les systèmes Windows.

Si votre fichier utilise un séparateur d'enregistrement, cliquez sur le bouton de sélection pour sélectionner un autre caractère séparateur.

Utiliser EOL par défaut

Indique que le séparateur d'enregistrements du fichier est le caractère de fin de ligne (EOL) par défaut utilisé sur le système d'exploitation sur lequel le serveur Spectrum Technology Platform est exécuté.

Ne sélectionnez pas cette option si le fichier utilise un caractère EOL qui est différent du caractère EOL par défaut utilisé sur le système d'exploitation du serveur. Par exemple, si le fichier utilise un EOL Windows, mais que le serveur fonctionne sous Linux, ne cochez pas cette option. Au lieu de cela, sélectionnez l'option Windows dans le champ Record separator.

Longueur d'enregistrement

Pour les fichiers à largeur fixe, précise le nombre exact de caractères dans chaque enregistrement.

Pour les fichiers de séquence de lignes, indique la longueur, en caractères, de l'enregistrement le plus long dans le fichier.

La première ligne est un enregistrement d'en-tête.

Indique si le premier enregistrement dans un fichier délimité contient des informations d'en-tête, mais aucune donnée.

Par exemple, cet extrait de fichier illustre une ligne d'en-tête dans le premier enregistrement.

"AddressLine1"|"City"|"StateProvince"|"PostalCode" "7200 13TH ST"|"MIAMI"|"FL"|"33144" "One Global View"|"Troy"|"NY"|12180
Traiter les enregistrements comportant moins de champs que ceux définis comme malformés

Les enregistrements de fichiers délimités contenant moins de champs que le nombre défini dans l'onglet Champs seront traités comme des enregistrements incorrects.

Importer

Importe la définition du dessin d'enregiestrement du fichier, le paramètre d'encodage et les options de tri à partir d'un fichier de paramètres. Le fichier de paramètres est créé en exportant les paramètres à partir d'un autre stage Read from File ou Write to File qui utilisait le même fichier d'entrée ou un fichier qui dispose du même dessin d'enregistrement que le fichier avec lequel vous joblez.

Exporter

Enregistre la définition du dessin d'enregistrement du fichier, le paramètre d'encodage et les options de tri dans un fichier de paramètres. Vous pouvez ensuite importer ces paramètres dans d'autres stages Read from File ou Write to File qui utilisent le même fichier d'entrée ou un fichier semble à celui que vous utilisez actuellement. Vous pouvez utiliser le fichier de paramètres avec Job Executor pour indiquer les paramètres de fichier lors de l'exécution.

Pour plus d'informations sur le fichier de paramètres, voir Fichier de paramètres de définition du fichier.

Onglet Champs

L'onglet Champs définit les noms, les positions, et, pour les fichiers à longueur fixe et à séquence de lignes, les longueurs de champs dans le fichier. Pour plus d’informations, reportez-vous à ces rubriques :

Onglet Trier les champs

L'onglet Trier les champs définit les champs permettant de trier les enregistrements d'entrée avant qu'ils ne soient envoyés dans le dataflow. Le tri est facultatif. Pour plus d'informations, reportez-vous à la section Tri des enregistrements d'entrée.

L'onglet Exécution

Nom du champ Description
Nom de fichier

Affiche le nom de fichier sélectionné dans le premier onglet.

Enregistrement de début

Si vous voulez ignorer les enregistrements au début du fichier lors de la lecture des enregistrements dans le dataflow, spécifiez le premier enregistrement que vous souhaitez lire. Par exemple, si vous voulez sauter les 50 premiers enregistrements dans un fichier, spécifiez 51. Le 51ème enregistrement sera le premier enregistrement lu dans le dataflow.

Tous les enregistrements

Sélectionnez cette option si vous souhaitez lire tous les enregistrements à partir de l'enregistrement spécifié dans le champ Starting record jusqu'à la fin du fichier.

Nombre max. d'enregistrements

Sélectionnez cette option si vous souhaitez uniquement lire un certain nombre d'enregistrements à partir de l'enregistrement spécifié dans le champ Starting record. Par exemple, si vous voulez lire les 100 premiers enregistrements, sélectionnez cette option et entrez 100.