Optimisation de l'écriture vers la base de données - dataflow_designer - spectrum_platform - 23 - 23.1

Guide d'administration Spectrum

Product type
Logiciels
Portfolio
Integrate
Locate
Verify
Product family
Product
Spectrum > Spectrum Platform
Version
23.1
Language
Français
Product name
Spectrum Technology Platform
Title
Guide d'administration Spectrum
Topic type
Conseils
Administration
Aperçu
Référence
Comment faire
First publish date
2007
ft:lastEdition
2023-10-12
ft:lastPublication
2023-10-12T07:14:51.523252

Par défaut, le stage Write to DB valide à chaque fois qu'une rangée est insérée dans la table. Néanmoins, pour améliorer les performances, activez l'option Validation de lot. Lorsque cette option est activée, une validation est effectuée après le nombre d'enregistrements indiqué. En fonction de la base de données, ceci peut améliorer de manière considérable la vitesse d'écriture.

Lorsque vous sélectionnez une taille de lot, prenez en considération les éléments suivants :

  • Taux d'arrivée des données au stage Write To DB : si les données arrivent à un taux plus lent que ce que la base de données peut traiter, la modification de la taille de lot ne permettra pas d'améliorer les performances générales du dataflow. Par exemple, les dataflow avec la validation d'adresse ou le géocodage ne peuvent pas bénéficier d'un accroissement de taille.
  • Trafic réseau : pour les réseaux lents, l'augmentation de la taille des lots à une taille de lot moyenne (1 000 à 10 000) se traduit par de meilleures performances.
  • Vitesse de chargement et/ou de traitement de la base de données : pour les bases de données dotées d'une importante puissance de traitement, l'augmentation de la taille de lot permettra d'améliorer les performances.
  • Instances d'exécution multiples : si vous utilisez plusieurs instances d'exécution du stage Write to DB, une taille de lot volumineuse va consommer beaucoup de mémoire ; il est donc préférable d'utiliser une taille de lot petite ou moyenne (100 à 10 000).
  • Restauration de base de données : chaque fois qu'une instruction échoue, l'ensemble du lot est restauré. Plus la taille du lot est volumineuse, plus l'opération de restauration est longue.