Write to DB - data_integration_1 - 23 - 23.1

Spectrum Enterprise Data Integration-Handbuch
Product type
Software
Portfolio
Integrate
Product family
Spectrum
Product
Spectrum > Data Integration
Version
23.1
Language
Deutsch
Product name
Spectrum Data Integration
Title
Spectrum Enterprise Data Integration-Handbuch
First publish date
2005
Last updated
2023-10-25
Published on
2023-10-25T06:22:15.743462
Der Schritt Write to DB schreibt die Ausgabe eines Datenflusses in eine Datenbank. Der Schritt schreibt alle Werte des Datentyps „date“ als String-Werte. Dieses Verhalten beruht auf dem von Spectrum verwendeten Standardtreiber, dem jTDS-Treiber. Um alle date-Datentypenwerte unverändert zu verarbeiten, verwenden Sie den JDBC-Treiber von Microsoft.
Anmerkung: Der Schritt unterstützt das Lesen von Daten aus und das Schreiben von Daten in HDFS 3.x und Hive 2.1.1. Unterstützt wird Folgendes:
  • Konnektivität zu Hive von Spectrum auf Windows
  • Unterstützung von und Konnektivität zu Hive-Version 2.1.1 von Spectrum mit hoher Verfügbarkeit
  • Unterstützung für das Lesen und Schreiben aus der Hive-DB (JDBC) über eine Model Store-Verbindung

Siehe auch Best Practices für die Verbindung mit HDFS 3.x und Hive 2.1.1.

Anmerkung: Es lassen sich erhebliche Leistungsverbesserungen erzielen, wenn mehrere Laufzeitinstanzen von „Write to DB“ verwendet werden. Klicken Sie auf die Schaltfläche Laufzeit, um mehrere Laufzeitinstanzen anzugeben.

Konfigurieren der Registerkarte „Allgemein“

  1. Wählen Sie aus der Dropdown-Liste Verbindung die Verbindung für die Datenbank aus, die Sie verwenden möchten.
  2. Klicken Sie auf Verwalten, um eine neue Datenbankverbindung herzustellen. Weitere Informationen zum Erstellen von Datenbankverbindungen finden Sie unter Datenbankverbindungs-Manager
    Anmerkung: Diese Option ist nur über den Spectrum Enterprise Designer verfügbar.
  3. Um eine Relation oder Ansicht aus der Datenbank auszuwählen, klicken Sie auf die Schaltfläche „Durchsuchen“  und wählen Sie die Relation oder Ansicht, die Sie verwenden möchten.

    Wenn Sie eine Relation durchsuchen und auswählen, wird das Relationsschema mit Datenbankfeldern, Schrittfeldern und Datentypen angezeigt. Eine Vorschau der Relation ist ebenfalls verfügbar.

    Anmerkung: Wenn Sie in eine SQL-Datenbank schreiben, können Sie nicht in Ansichten schreiben, die mehr als eine Relation referenzieren. Das liegt an einer Einschränkung von SQL Server.
  4. Um eine neue Relation in der Datenbank zu erstellen, klicken Sie auf Relation erstellen , wählen Sie im erscheinenden Popup-Fenster den Relationsbesitzer aus und geben Sie den Relationsnamen an.
    Anmerkung: Bei Relationsnamen wird die Groß-/Kleinschreibung beachtet.
    Anmerkung: Wenn Sie keinen Eingabeschritt (wie Read from File oder Read from DB) besitzen, der mit dem Schritt Write to DB verknüpft ist, erhalten Sie die folgende Fehlermeldung: Zum Erstellen einer Relation muss ein Relationsschema definiert sein. Bitte stellen Sie sicher, dass Sie für diesen Schritt Upstream-Felder definiert haben.
  5. Geben Sie im Relationsschema folgendes Details an:
    1. Geben Sie den Primärschlüssel an, indem Sie das entsprechende Kontrollkästchen Primärschlüssel aktivieren.
    2. Aktivieren Sie das Kontrollkästchen Einschließen, um die Felder anzugeben, die Sie in die neue Relation schreiben möchten.
    3. Geben Sie für den Datentyp „Zeichenfolge“ die Länge der Felder in der Spalte Breite an.
      Anmerkung: Der Standardwert ist 512.
    4. Falls Null zulassen aktiviert ist und die Eingabefelder einen Nullwert enthalten, schreibt der Datenfluss den Nullwert in die Datenbank.
    5. Beachten Sie, dass Sie den Spaltennamen bearbeiten können, indem Sie die entsprechenden Eingabefeldern ändern.

    Die Schaltfläche Relation erstellen unterstützt die Relationserstellung in den folgenden Datenbanken:

    • Axion
    • DB2
    • Derby oder Cloudscape
    • Firebird
    • HSQLDB
    • Interbase
    • MaxDB oder SapDB
    • McKoi
    • MySQL
    • Oracle
    • PostgreSQL
    • SQL Server
    • Sybase
    Anmerkung: Für DB2-Datenbanken gilt: Wenn Sie versuchen, eine Relation zu erstellen und die Seitengröße kleiner als die Gesamtlänge aller Zeichenfolgenspalten ist, erhalten Sie die Fehlermeldung „Fehler beim Erstellen von Text aus Inhalt. Serialisierbare Klasse nicht für Broker verfügbar.“
  6. Klicken Sie auf die Schaltfläche OK, um das Popup-Fenster Relation erstellen zu schließen und zu „Write to DB“-Optionen zurückzukehren.
  7. In der Spalte Schrittfelder des Relationsschemas können Sie den Feldnamen angeben, den Sie in die Datenbank schreiben möchten, die der Spalte Datenbankfeld entspricht.
  8. Aktivieren Sie das Kontrollkästchen „Einschließen“, um die Felder auszuwählen, die Sie schreiben möchten.
    Anmerkung: Um schlechte Leistung zu verhindern, sollte ein sortierter Index oder Schlüssel in der Datenbankrelation vorhanden sein.

Konfiguration der Registerkarte „Laufzeit“

Name der Option

Beschreibung

Schreibmodus

Gibt eine Aktion an, die beim Schreiben in die Datenbank durchgeführt werden soll:

Einfügen
Fügt neue Datensätze in die Datenbank ein, aktualisiert aber keine vorhandenen Datensätze. Dies ist die Standardeinstellung.
Aktualisieren
Aktualisiert vorhandene Datensätze in der Datenbank, fügt aber keine neuen Datensätze ein.
Anmerkung: Wenn Sie Aktualisieren auswählen, muss der Name der Primärschlüsselspalte in der Eingaberelation dem Namen der Primärschlüsselspalte in der Ausgaberelation entsprechen. Wenn Sie versuchen, eine Relation zu aktualisieren, bei der der Name der Primärschlüsselspalte nicht der Eingabe entspricht oder bei der die Primärschlüsselspalte nicht definiert ist, funktioniert die Aktualisierung nicht.
Einfügen, wenn Aktualisierung nicht möglich
Fügt neue Datensätze in die Datenbank ein, wenn der Datensatz nicht vorhanden ist, und aktualisiert andernfalls den vorhandenen Datensatz.
Anmerkung: Sie können die Option Einfügen, wenn Aktualisierung nicht möglich nicht verwenden, wenn die Relation ein Schlüsselfeld mit automatischer Erhöhung oder automatischer Generierung aufweist.

Übergabe als Batch

Wählen Sie diese Option aus, um Änderungen an die Datenbank zu übergeben, nachdem eine angegebene Anzahl von Datensätzen verarbeitet wurde. Standardmäßig ist diese Option nicht ausgewählt, was bedeutet, dass Änderungen sofort übergeben werden, nachdem ein jeder Datensatz verarbeitet wurde. Durch Auswahl dieser Option kann sich die Leistung des „Write to DB“-Schrittes erheblich verbessern.

Batch-Größe

Wenn Sie die Option Übergabe als Batch aktivieren, geben Sie damit die Anzahl von Datensätzen an, die in jedem Batch an die Datenbank übergeben werden sollen. Der Standardwert ist 1.000. Bei mit Spectrum Technology Platform 7.0 und älter erstellten Datenflüssen ist der Standardwert 100.

Eine größere Batchgröße bietet nicht immer eine bessere Leistung beim Laden. Berücksichtigen Sie die folgenden Faktoren, wenn Sie eine Batchgröße auswählen:

  • Dateneingangsrate für Schritt „Write to DB“: Wenn Daten mit einer geringeren Rate eingehen, als die Datenbank verarbeiten kann, erzielen Sie durch Ändern der Batchgröße keine Verbesserung der Datenflussgesamtleistung. So profitieren beispielsweise Datenflüsse mit Adressenüberprüfung oder Geocoding nicht von größeren Batches.
  • Netzwerkverkehr: Bei langsamen Netzwerken bewirkt eine Erhöhung der Batchgröße auf eine mittlere Größe (1.000 bis 10.000) eine bessere Leistung.
  • Lade- und/oder Verarbeitungsgeschwindigkeit der Datenbank: Bei Datenbanken mit hoher Verarbeitungsleistung sorgen größere Batches für bessere Leistung.
  • Mehrere Laufzeitinstanzen: Wenn Sie mehrere Laufzeitinstanzen des Schrittes „Write to DB“ verwenden, verursachen große Batches einen hohen Speicherverbrauch. Verwenden Sie daher eine kleine oder mittlere Batchgröße (100 bis 10.000).
  • Datenbank-Rollbacks: Immer, wenn eine Anweisung fehlschlägt, wird der vollständige Batch rückgängig gemacht. Je größer der Batch, desto länger dauert es, die Rollback-Operation auszuführen.
Am Ende übergeben Wählen Sie diese Option aus, um sicherzustellen, dass die Übergabeoperation für die Datenbank ausgeführt wird, nachdem alle Datensätze an die Datenbank übertragen wurden.
Anzahl zu übergebender Batches Geben Sie einen Wert an, bei dessen Erreichen die Datensätze übergeben werden sollen. Datensätze werden immer dann an die Datenbank übergeben, wenn (Anzahl zu übergebender Batches * Batchgröße) Datensätze an die Datenbank übertragen wurden. Beispiel: Wenn Batchgröße auf 1.000 und Anzahl zu übergebender Batches auf 3 gesetzt ist, erfolgt die Übergabe immer, nachdem 3.000 Datensätze an die Datenbank übertragen wurden.

Relation vor dem Einfügen von Daten abschneiden

Wählen Sie diese Option aus, wenn Sie vor dem Schreiben in die Datenbank alle Daten aus der Relation löschen möchten.

Relation löschen und neu erstellen, wenn sie bereits vorhanden ist

Wählen Sie diese Option aus, um die Relation vor dem Schreiben der Ausgabe des Datenflusses in die Relation zu löschen und erneut zu erstellen. Diese Option ist nützlich, wenn Sie möchten, dass das Schema der Relation mit den Feldern aus dem Datenfluss übereinstimmt und keine fremden Schemadaten enthält.

Die Relation, die gelöscht und erneut erstellt wird, ist die Relation, die im Feld Relation/Ansicht auf der Registerkarte Allgemein angegeben ist. Beispiel: Wenn Sie die Relation „Customers“ im Feld Relation/Ansicht angeben und Relation löschen und neu erstellen, wenn sie bereits vorhanden ist auswählen, wird die Relation „Customers“ aus der Datenbank gelöscht und eine neue Relation namens „Customers“ erstellt – mit einem Schema, das genau den in die Relation geschriebenen Feldern entspricht.