Configuration de la connexion HDFS pour le cluster HA - spectrum_platform - 23 - 23.1

Guide Spectrum Enterprise Data Integration
Product type
Logiciels
Portfolio
Integrate
Product family
Spectrum
Product
Spectrum > Data Integration
Version
23.1
Language
Français
Product name
Spectrum Data Integration
Title
Guide Spectrum Enterprise Data Integration
First publish date
2005
Last updated
2023-10-12
Published on
2023-10-12T08:41:57.873791
Pour configurer la connexion HDFS au cluster HA, spécifiez ces détails :
  1. Hôte : <nameservice du cluster>
  2. Port : <Port sur lequel le nameservice s'exécute>.
    1. Cette valeur est une combinaison du dfs.http.policy défini et du port utilisé pour la configuration du cluster. Par exemple, si dfs.http.policy est HTTPS, le port HTTPS utilisé dans la configuration du cluster doit être défini ici. Cependant, si dfs.http.policy est HTTP, le port HTTP utilisé lors de la configuration du cluster sera entré ici.
    2. La valeur du port dans les options de serveur avancées suivantes sera la même que celle définie ici.
      • dfs.namenode.http-address.<nom nameservice>.<nom namenode1>
      • dfs.namenode.http-address.<nom nameservice>.<nom namenode2>
      • dfs.namenode.https-address.<nom nameservice>.<nom namenode1>
      • dfs.namenode.https-address.<nom nameservice>.<nom namenode2>
  3. Définissez ces paires clé-valeur dans les options avancées du serveur.
    Remarque : On présuppose que le port HTTPS 9871 a été utilisé pour la configuration du cluster.
    Clé Valeur
    fs.defaultFS hdfs://<nameservice-name>
    dfs.nameservices <nameservice-nom>
    dfs.ha.namenodes<nameservice-nom> primary1, primary2 (nom de deux nœuds principaux)
    dfs.namenode.http-address.<nom nameservice>.<nom namenode1> <IP ou nom primaire1> : 9871
    dfs.namenode.http-address.<nom nameservice>.<nom namenode2> <IP ou nom primaire2> : 9871
    dfs.namenode.rpc-address.<nom nameservice>.<nom namenode1> <IP ou nom primaire1> : 8020
    dfs.namenode.rpc-address.<nom nameservice>.<nom namenode2> <IP ou nom primaire2> : 8020
    dfs.client.failover.proxy.provider org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    dfs.namenode.servicerpc-address.<nom nameservice>.<nom namenode1> <IP ou nom primaire1> : 8022
    dfs.namenode.servicerpc-address.<nom nameservice>.<nom namenode2> <IP ou nom primaire2> : 8022
    dfs.namenode.https-address.<nom nameservice>.<nom namenode1> <IP ou nom primaire1> : 9871
    dfs.namenode.https-address.<nom nameservice>.<nom namenode2> <IP ou nom primaire2> : 9871
    hadoop.security.authentication Kerberos
    dfs.namenode.kerberos.principal <principal> par exemple, primaire1@HADOOP.COM
    dfs.http.policy HTTPS
    dfs.ha.automatic-failover.enabled vrai
  4. Faites cette entrée dans le fichier Wrapper.conf à l'emplacement : SpectrumDirectory/server/bin/wrapper : wrapper.java.additional.<n>=-Djavax.net.ssl.trustStore=<emplacement du fichier truststore>/<nom du fichier truststore>
    Remarque : Ici, n peut être n'importe quel emplacement et SpectrumDirectory est le répertoire où vous avez installé le serveur Spectrum Technology Platform.