Write to DB - data_integration_1 - 23 - 23.1

Guide Spectrum Enterprise Data Integration
Product type
Logiciels
Portfolio
Integrate
Product family
Spectrum
Product
Spectrum > Data Integration
Version
23.1
Language
Français
Product name
Spectrum Data Integration
Title
Guide Spectrum Enterprise Data Integration
First publish date
2005
Last updated
2023-10-12
Published on
2023-10-12T08:41:57.873791
Le stage Write to DB écrit la sortie d'un dataflow dans une base de données. Le stage écrit toutes les valeurs du type de données date sous forme de valeurs String. Il s’agit du comportement du pilote jTDS, qui est le pilote par défaut utilisé par Spectrum. Pour gérer toutes les valeurs du type de données date en l'état, utilisez le pilote JDBC de Microsoft.
Remarque : Le stage prend en charge la lecture et l'écriture de données dans HDFS 3.x et Hive 2.1.1. La prise en charge comprend :
  • Connectivité à Hive depuis Spectrum sous Windows
  • Prise en charge et connectivité depuis Spectrum vers Hive version 2.1.1 avec haute disponibilité
  • Prise en charge de la lecture et de l'écriture à partir de Hive DB (JDBC) via la connexion Model Store

Voir aussi Bonnes pratiques pour la connexion à HDFS 3.x et Hive 2.1.1.

Remarque : Une amélioration significative des performances peut être obtenue en utilisant de multiples instances d'exécution de Write to DB. Pour indiquer plusieurs instances d'exécution, cliquez sur le bouton Exécution.

Configuration de l'onglet Général

  1. Dans la liste déroulante Connexion, sélectionnez la connexion à la base de données que vous souhaitez utiliser.
  2. Pour effectuer une nouvelle connexion de base de données, cliquez sur Gérer. Pour plus d'informations sur la création des connexions aux bases de données, reportez-vous à Gestionnaire de connexion à la base de données.
    Remarque : Cette option est disponible uniquement via Spectrum Enterprise Designer.
  3. Pour sélectionner une table ou une vue de la base de données, cliquez sur le bouton de navigation et accédez à la table ou à la vue que vous souhaitez utiliser.

    Lorsque vous parcourez une table et que vous la sélectionnez, le Schéma de table, y compris les Champs de base de données, les Champs de stage et les Types de données sont affichés. Un Aperçu de la table est également disponible.

    Remarque : Si vous écrivez sur une base de données SQL, vous ne pouvez pas écrire dans les vues qui font référence à plus d'une table. Cela est dû à une limitation dans SQL Server.
  4. Pour créer une nouvelle table dans la base de données, cliquez sur Créer une table , et, dans la fenêtre contextuelle qui s'affiche, sélectionnez le Propriétaire de la table, puis spécifiez le Nom de table.
    Remarque : Les noms de table sont sensibles à la casse.
    Remarque : Si vous ne disposez pas de stage d'entrée (tel que Read from File ou Read from DB) lié au stage Write to DB, vous obtiendrez ce message d'erreur : Impossible de créer de table sans schéma de table défini. Assurez-vous d'avoir des champs définis en amont pour ce stage.
  5. Dans le schéma de table, spécifiez ces détails :
    1. Indiquez la clé principale en cochant la case Clé principale correspondante.
    2. Cochez la case Inclure pour spécifier les champs que vous souhaitez écrire dans la nouvelle table.
    3. Pour le type de données chaîne, indiquez la longueur des champs dans la colonne Largeur.
      Remarque : La valeur par défaut est 512.
    4. Si la case Autoriser null est cochée et que Champs d'entrée contient une valeur null, le dataflow écrit la valeur null dans la base de données.
    5. Vous pouvez modifier le nom de colonne en modifiant la valeur dans les Champs de sortie correspondants.

    Le bouton Créer une table prend en charge la création de table dans ces bases de données :

    • Axion
    • DB2
    • Derby ou Cloudscape
    • Firebird
    • HSQLDB
    • Interbase
    • MaxDB ou SapDB
    • McKoi
    • MySQL
    • Oracle
    • PostgreSQL
    • SQL Server
    • Sybase
    Remarque : Pour les bases de données DB2, si vous essayez de créer une table et que la taille de page est inférieure à la longueur totale de toutes les colonnes de chaîne, vous obtiendrez une erreur indiquant « Échec de la création du corps à partir du contenu. La classe sérialisable n'est pas disponible pour le broker. »
  6. Cliquez sur le bouton OK pour fermer la fenêtre contextuelle Créer une table et revenir à Options Write to DB.
  7. Dans la colonne Champs de stage du Schéma de table, vous pouvez spécifier le nom de champ que vous souhaitez écrire dans la base de données correspondant à la colonne Champ de base de données.
  8. Cochez la case Inclure pour sélectionner les champs à écrire.
    Remarque : Pour éviter des performances faibles, vous devez disposer d'un index ou d'une clé triée dans la table de base de données.

Configuration de l'onglet Runtime

Nom de l'option

Description

Mode Écriture

Spécifie une action à effectuer lors de l'écriture dans la base de données :

Insérer
Insérer les nouveaux enregistrements dans la base de données mais ne pas mettre à jour les enregistrements existants. Il s'agit du paramètre par défaut.
Mettre à jour
Mettre à jour des enregistrements existants dans la base de données, mais ne pas insérer de nouveaux enregistrements
Remarque : Si vous sélectionnez Mettre à jour, le nom de la colonne de clé primaire utilisé dans la table d'entrée doit correspondre au nom de la colonne de clé primaire dans la table de sortie. Si vous essayez de mettre à jour une table où le nom de la colonne de clé primaire ne correspond pas à l'entrée, ou bien où la colonne de clé primaire n'est pas définie, la mise à jour ne fonctionnera pas.
Insérer si impossible de mettre à jour
Insérer de nouveaux enregistrements dans la base de données si l'enregistrement n'existe pas, sinon mettre à jour l'enregistrement existant.
Remarque : Vous ne pouvez pas utiliser l'option Insérer si impossible de mettre à jour si la table comporte un champ clé d'auto-incrémentation ou de génération automatique.

Validation en lot

Sélectionnez cette option pour valider les modifications sur la base de données après avoir indiqué un nombre d'enregistrements à traiter. Par défaut, cette option n'est pas sélectionnée, ce qui signifie que les modifications sont validées après le traitement de chaque enregistrement. Sélectionner cette option peut considérablement améliorer la performance du stage Write to DB.

Taille de lot

L'activation de l'option Validation en lot spécifie le nombre d'enregistrements à valider sur la base de données dans chaque lot. La valeur par défaut est 1 000. Pour vos dataflow créés dans Spectrum Technology Platform 7.0 et versions antérieures, la valeur par défaut est 100.

Une taille de lot plus grande n'offre pas toujours de meilleures performances de chargement. Tenez compte de ces facteurs au moment de choisir une taille de lot :

  • Taux d'arrivée des données au stage Write To DB : si les données arrivent à un taux plus lent que ce que la base de données peut traiter, la modification de la taille de lot ne permettra pas d'améliorer les performances générales du dataflow. Par exemple, les dataflow avec la validation d'adresse ou le géocodage ne peuvent pas bénéficier d'un accroissement de taille.
  • Trafic réseau : pour les réseaux lents, l'augmentation de la taille des lots à une taille de lot moyenne (1 000 à 10 000) se traduit par de meilleures performances.
  • Vitesse de chargement et/ou de traitement de la base de données : pour les bases de données dotées d'une importante puissance de traitement, l'augmentation de la taille de lot permettra d'améliorer les performances.
  • Instances d'exécution multiples : si vous utilisez plusieurs instances d'exécution du stage Write to DB, une taille de lot volumineuse va consommer beaucoup de mémoire ; il est donc préférable d'utiliser une taille de lot petite ou moyenne (100 à 10 000).
  • Restauration de base de données : chaque fois qu'une instruction échoue, l'ensemble du lot est restauré. Plus la taille du lot est volumineuse, plus l'opération de restauration est longue.
Valider à la fin Sélectionnez cette option pour être sûr que l'opération de validation de la base de données se produise après le transfert de tous les enregistrements à la base de données.
Nombre de lots à valider Indiquez une valeur suite à laquelle les enregistrements doivent être validés. Les enregistrements sont validés dans la base de données après chaque nombre (Nombre de lots à valider * taille de lot) d'enregistrements transférés à la base de données. Par exemple, si Taille de lot est défini sur 1 000 et Nombre de lots à valider sur 3, la validation s'effectue à chaque transfert de 3 000 enregistrements vers la base de données.

Tronquer la table avant d’insérer les données

Sélectionnez cette option si vous voulez effacer toutes les données de la table avant d'écrire sur la base de données.

Ignorer la table si elle existe déjà et la recréer.

Sélectionnez cette option pour supprimer et recréer la table avant d'écrire la sortie du dataflow dans la table. Cette option est utile si vous souhaitez que le schéma de la table corresponde aux champs du dataflow et ne contienne pas d'informations de schéma superflues.

La table qui sera supprimée et recréée est celle indiquée dans le champ Table/View dans l'onglet General. Par exemple, si vous indiquez la table Clients dans le champ Table/View et que vous sélectionnez Drop and recreate the table if it already exists, la table Clients sera supprimée de la base de données et une nouvelle table nommée Clients sera créée avec un schéma qui correspond aux champs réels écrits dans la table.