Konfigurieren der HDFS-Verbindung für HA-Cluster - spectrum_platform - 23 - 23.1

Spectrum Enterprise Data Integration-Handbuch
Product type
Software
Portfolio
Integrate
Product family
Spectrum
Product
Spectrum > Data Integration
Version
23.1
Language
Deutsch
Product name
Spectrum Data Integration
Title
Spectrum Enterprise Data Integration-Handbuch
First publish date
2005
Last updated
2023-10-25
Published on
2023-10-25T06:22:15.743462
Geben Sie folgende Details an, um die HDFS-Verbindung für HA-Cluster zu konfigurieren:
  1. Host: <Namensdienst des Clusters>
  2. Port: <Port, auf dem der Namensdienst ausgeführt wird>.
    1. Dieser Wert ist eine Kombination aus der definierten dfs.http.policy und dem für die Clusterkonfiguration verwendeten Port. Wenn beispielsweise HTTPS für dfs.http.policy festgelegt ist, muss der HTTPS-Port, der in der Clusterkonfiguration verwendet wird, hier definiert werden. Wenn jedoch HTTP für dfs.http.policy festgelegt ist, wird der während der Clusterkonfiguration verwendete HTTP-Port hier eingegeben.
    2. Der Portwert in den folgenden erweiterten Serveroptionen entspricht dem hier definierten Wert.
      • dfs.namenode.http-address.<nameservice name>.<namenode1 name>
      • dfs.namenode.http-address.<nameservice name>.<namenode2 name>
      • dfs.namenode.https-address.<nameservice name>.<namenode1 name>
      • dfs.namenode.https-address.<nameservice name>.<namenode2 name>
  3. Legen Sie diese Schlüssel-Wert-Paare in den erweiterten Serveroptionen fest.
    Anmerkung: Es wird davon ausgegangen, dass HTTPS-Port 9871 für die Clusterkonfiguration verwendet wurde.
    Schlüssel Wert
    fs.defaultFS hdfs://<nameservice-name>
    dfs.nameservices <nameservice-name>
    dfs.ha.namenodes<nameservice-name> primary1, primary2 (Namen von zwei Primärknoten)
    dfs.namenode.http-address.<nameservice name>.<namenode1 name> <primary1 IP or name>: 9871
    dfs.namenode.http-address.<nameservice name>.<namenode2 name> <primary2 IP or name>: 9871
    dfs.namenode.rpc-address.<nameservice name>.<namenode1 name> <primary1 IP or name>: 8020
    dfs.namenode.rpc-address.<nameservice name>.<namenode2 name> <primary2 IP or name>: 8020
    dfs.client.failover.proxy.provider org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    dfs.namenode.servicerpc-address.<nameservice name>.<namenode1 name> <primary1 IP or name>: 8022
    dfs.namenode.servicerpc-address.<nameservice name>.<namenode2 name> <primary2 IP or name>: 8022
    dfs.namenode.https-address.<nameservice name>.<namenode1 name> <primary1 IP or name>: 9871
    dfs.namenode.https-address.<nameservice name>.<namenode2 name> <primary2 IP or name>: 9871
    hadoop.security.authentication Kerberos
    dfs.namenode.kerberos.principal <principal> Beispiel: primary1@HADOOP.COM
    dfs.http.policy HTTPS
    dfs.ha.automatic-failover.enabled wahr
  4. Machen Sie diese Eingabe in der Datei Wrapper.conf unter: SpectrumDirectory/server/bin/wrapper: wrapper.java.additional.<n>=-Djavax.net.ssl.trustStore=<Speicherort der Truststore-Datei>/<Name der Truststore-Datei>
    Anmerkung: Hier kann n ein beliebiger verfügbarer Speicherort sein, während sich SpectrumDirectory auf das Verzeichnis bezieht, in dem Sie den Spectrum Technology Platform-Server installiert haben.