Comment installer Hadoop?
Vous trouverez ce fichier dans le dossier "hadoop" qui se trouve dans le dossier "etc" du précédent.
Ce guide vous apprend à installer Hadoop sur un ordinateur Windows.
Méthode 1 sur 5: préparer l'installation de hadoop
- 1Installez winrar avec le support TAR. Étant donné que vous devrez extraire un fichier TAR pour installer Hadoop, assurez-vous de cocher la case "TAR" lors de l'installation de WinRAR.
- 2Installez java. Faire cela:
- Accédez à https://java.com/en/download/ et cliquez sur Téléchargement java gratuit.
- Cliquez sur Accepter et lancez le téléchargement gratuit.
- Double-cliquez sur le fichier Java téléchargé.
- Cliquez sur Oui lorsque vous y êtes invité.
- Cliquez sur Installer, puis suivez les invites à l'écran.
- 3Ouvrez la page hadoop. Accédez à https://hadoop.apache.org/ dans le navigateur Web de votre ordinateur.
- 4Cliquez sur télécharger. C'est en haut de la page.
- 5Cliquez sur Binaire à côté du premier résultat. Cela vous mènera à la page de lien du miroir binaire pour la version la plus récente d'Hadoop.
- 6Cliquez sur le lien recommandé. Il s'agit du lien situé sous la ligne de texte «Nous suggérons le site miroir suivant pour votre téléchargement:» près du haut de la page. Cela invite votre ordinateur à commencer à télécharger le fichier Hadoop TAR.
- 7Ouvrez le site du kit de développement Java (JDK). Accédez à http://oracle.com/technetwork/java/javase/downloads/index.html dans votre navigateur.
- 8Cliquez sur télécharger. Vous le trouverez sous la rubrique "JDK" sur le côté droit de la page.
- 9Cochez la case "accepter le contrat de licence". C'est vers le bas de la page.
- 10Cliquez sur le lien "télécharger" de Windows. Il s'agit du lien sous la rubrique "Téléchargements" et à droite de la catégorie "Windows" près du bas de la page. Cela invite le fichier d'installation JDK à télécharger sur votre ordinateur.
- 11Installez le JDK. Double-cliquez sur le fichier d'installation du JDK, puis procédez comme suit:
- Cliquez sur Oui lorsque vous y êtes invité.
- Cliquez deux fois sur Suivant.
- Autorisez l'installation du JDK et suivez les invites à l'écran si nécessaire.
Méthode 1 sur 5: préparation de l'installation de hadoop.
Méthode 2 sur 5: ajouter hadoop à votre disque dur
- 1Ouvrez le fichier TAR Hadoop. Double-cliquez sur le fichier Hadoop TAR téléchargé pour ce faire. Il devrait s'ouvrir dans WinRAR.
- 2Cliquez sur Extraire vers. C'est en haut de la fenêtre WinRAR. Cela ouvre une fenêtre contextuelle.
- 3Sélectionnez votre disque dur comme emplacement d'extraction. Dans la plupart des cas, votre disque dur doit être étiqueté OS (C:); cliquez dessus dans le volet droit de la fenêtre contextuelle pour le sélectionner.
- 4Cliquez sur D'accord. C'est en bas de la fenêtre. Cela extraira le dossier Hadoop sur le lecteur "C" de votre ordinateur. Une fois l'extraction terminée, vous pouvez continuer.
Accédez au dossier de votre disque dur, puis double-cliquez sur le dossier "hadoop".
Méthode 3 sur 5: ajout de variables d'environnement hadoop et java
- 1Ouvrez ce PC. Double-cliquez sur l'icône de cette application PC, qui ressemble à un écran d'ordinateur.
- Si vous n'avez pas ce PC sur votre bureau, cliquez sur Explorateur de fichiers, puis sur Ce PC sur le côté gauche de la fenêtre.
- 2Ouvrez votre disque dur. Double-cliquez sur le nom de votre disque dur (encore une fois, généralement OS (C:)) sous l'en-tête "Périphériques et lecteurs".
- 3Ouvrez le dossier d'installation de Hadoop. Double-cliquez sur le dossier "hadoop" dans la liste des dossiers de votre disque dur.
- Vous verrez le numéro de version Hadoop après "hadoop" dans le nom du dossier.
- 4Ouvrez le dossier "bin". Double-cliquez sur le dossier "bin" pour le faire.
- 5Copiez l'adresse. Cliquez sur la barre d'adresse en haut de l'explorateur de fichiers pour mettre l'adresse en surbrillance, puis appuyez sur Ctrl+ C pour la copier.
- 6Ouvrir le démarrage. Cliquez sur le logo Windows dans le coin inférieur gauche de l'écran.
- 7Ouvrez la fenêtre des variables système. Tapez edit the system, puis cliquez sur Modifier les variables d' environnement système en haut du menu Démarrer.
- 8Cliquez sur Variables d'environnement.... C'est au bas de la fenêtre Variables système. Une nouvelle fenêtre apparaîtra.
- 9Cliquez sur Nouveau... dans la section "Variables utilisateur". Cela ouvre encore une autre fenêtre.
- 10Nommez la variable. Tapez HADOOP_HOME dans la zone de texte "Nom de la variable".
- 11Entrez le chemin d'accès au dossier hadoop. Cliquez sur la zone de texte "Valeur variable", puis appuyez sur Ctrl+ V.
- 12Cliquez sur D'accord. C'est en bas de la fenêtre. Vous devriez maintenant avoir une variable "HADOOP_HOME" répertoriée dans le volet supérieur.
- 13Ajoutez java à la section "variables utilisateur". Allez sur votre disque dur, ouvrez le dossier "Program Files", ouvrez le dossier "Java", ouvrez le dossier "jdk" (ce dossier aura un numéro après lui), et ouvrez le dossier "bin", puis copiez l'adresse. Vous pouvez ensuite ajouter Java à l'environnement en procédant comme suit:
- Cliquez sur Nouveau... dans la section "Variables utilisateur".
- Tapez JAVA_HOME dans la zone de texte "Nom".
- Cliquez sur la zone de texte "Valeur variable", puis appuyez sur Ctrl+ V.
- Cliquez sur OK.
- 14Ajoutez les deux adresses à la variable PATH. Vous pouvez ajouter à la fois l'adresse Hadoop et l'adresse Java à la variable PATH en procédant comme suit:
- Cliquez sur le titre "Chemin" dans la section "Variables système".
- Cliquez sur Modifier....
- Cliquez sur Nouveau... sur le côté droit de la fenêtre.
- Collez l'adresse Java en appuyant sur Ctrl+ V, puis appuyez sur ↵ Enter.
- Revenez en arrière et copiez l'adresse du dossier Hadoop "bin", puis cliquez sur Nouveau..., collez-la et appuyez sur ↵ Enter.
- 15Enregistrez vos modifications dans les variables d'environnement. Cliquez sur OK dans les trois fenêtres des variables d'environnement système ouvertes pour ce faire.
Méthode 4 sur 5: configuration de hadoop
- 1Ouvrez le dossier d'installation de Hadoop. Accédez à votre disque dur dans Ce PC, puis double-cliquez sur le dossier "hadoop".
- 2Ouvrez le dossier "etc". Double-cliquez dessus pour le faire.
- 3Ouvrez le dossier "hadoop". Cela devrait être le seul dossier dans le dossier "etc".
- 4Ouvrez le fichier "core-site" dans le bloc-notes. Faire cela:
- Faites un clic droit sur le fichier "core-site".
- Sélectionnez Ouvrir avec dans le menu déroulant.
- Cliquez sur Bloc-notes.
- 5Ajoutez la configuration appropriée. Supprimez les balises "<configuration></configuration>" à la fin du document, puis copiez et collez le code suivant:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- 6Enregistrez le document. Appuyez sur Ctrl+ S, puis cliquez sur OK si vous y êtes invité. Vous pouvez alors fermer le document.
- 7Ouvrez le fichier "mapred-site" dans le bloc-notes. Vous devriez voir un fichier similaire au fichier "core-site" ouvert.
- 8Ajoutez la configuration appropriée. Supprimez les balises "<configuration></configuration>" à la fin du document, puis copiez et collez le code suivant:
<configuration> <property> <name>mapreduce.framework.name</name> <value>fil</value> </property> </configuration>
- 9Enregistrez le document. Appuyez sur Ctrl+ S, puis cliquez sur OK si vous y êtes invité. Vous pouvez alors fermer le document.
- 10Retournez dans le dossier d'installation "hadoop". Cliquez sur le dossier "hadoop" qui inclut le numéro de version Hadoop dans la barre d'adresse.
- 11Créez un nouveau dossier nommé "data". Pour ce faire, cliquez avec le bouton droit sur un espace vide dans la fenêtre, sélectionnez Nouveau, cliquez sur Dossier, tapez data et appuyez sur ↵ Enter.
- 12Ouvrez le dossier "données". Double-cliquez dessus pour le faire.
- 13Créez deux nouveaux dossiers nommés "datanode" et "namenode". Lorsque vous avez terminé, vous devriez avoir un dossier "data" qui a un dossier nommé "datanode" et un dossier nommé "namenode".
- 14Ouvrez le fichier "hdfs-site" dans le bloc-notes. Vous trouverez ce fichier dans le dossier "hadoop" qui se trouve dans le dossier "etc" du précédent.
- 15Ajoutez la configuration appropriée. Supprimez les balises "<configuration></configuration>" à la fin du document, puis copiez et collez le code suivant:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>C: \hadoop-2,8.0\data\namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>C:\hadoop-2,8.0\data\datanode </value> </property> </configuration>
- 16Enregistrez le document. Appuyez sur Ctrl+ S, puis cliquez sur OK si vous y êtes invité. Vous pouvez alors fermer le document.
- 17Ouvrez le fichier «fil-site» dans le bloc-notes. Ce fichier se trouve également dans le dossier "hadoop".
- 18Ajoutez la configuration appropriée. Supprimez les balises "<configuration></configuration>" à la fin du document, puis copiez et collez le code suivant:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class< /name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
- 19Enregistrez le document. Appuyez sur Ctrl+ S, puis cliquez sur OK si vous y êtes invité. Vous pouvez alors fermer le document.
- 20Ouvrez le fichier "hadoop-env" dans le bloc-notes. Cliquez simplement avec le bouton droit sur ce fichier, puis cliquez sur Modifier pour le faire.
- 21Mettez à jour le chemin Java. Recherchez la
set JAVA_HOME=%JAVA_HOME%ligne, tapez @rem devant elle, puis tapez en dessous la phrase "set JAVA_HOME=" suivie de l'adresse de votre dossier Java JDK (pas l'adresse du dossier "bin"). Par exemple, votre ligne peut ressembler à ce qui suit:@rem définir JAVA_HOME=%JAVA_HOME% définir JAVA_HOME=C:\Program Files\Java\jdk-10,0.2
Cliquez sur le dossier "hadoop" qui comprend le numéro de version Hadoop dans la barre d'adresse.
Méthode 5 sur 5: appliquer le correctif hadoop
- 1Téléchargez et extrayez le fichier de correctif Hadoop. Ouvrez la page Google Drive du fichier correctif et cliquez sur Télécharger, puis extrayez-le en procédant comme suit:
- Double-cliquez sur le fichier de correctif.
- Cliquez sur Extraire vers.
- Cliquez sur Bureau.
- Cliquez sur OK.
- 2Ouvrez le fichier de correctif extrait. Une fois l'extraction du fichier terminée, double-cliquez dessus pour l'ouvrir.
- 3Copiez le dossier "bin". Cliquez une fois sur le dossier "bin" pour le sélectionner, puis appuyez sur Ctrl+ C pour le copier.
- 4Ouvrez le dossier d'installation de Hadoop. Accédez au dossier de votre disque dur, puis double-cliquez sur le dossier "hadoop".
- 5Collez dans le dossier "bin". Appuyez sur Ctrl+ V pour le faire.
- 6Cliquez sur Remplacer les fichiers dans la destination lorsque vous y êtes invité. Une fois ce processus terminé, Hadoop doit être installé sur votre ordinateur.
En parallèle
