Outils pour utilisateurs
Outils du site
site:enseignement:master:bdle:tmes:spark
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
|
site:enseignement:master:bdle:tmes:spark [23/09/2019 10:46] hubert [Utilisation d'un notebook] |
site:enseignement:master:bdle:tmes:spark [22/10/2019 18:05] (Version actuelle) amine [Utilisation un notebook Zeppelin] |
||
|---|---|---|---|
| Ligne 16: | Ligne 16: | ||
| ===== Installation de Spark (à réaliser une seule fois) ===== | ===== Installation de Spark (à réaliser une seule fois) ===== | ||
| - | Vérifier si Spark (version **<fc #ff0000>2.3</fc>**) est installé sur votre machine, en salle de TME, en tapant | + | Vérifier que spark (version **<fc #ff0000>2.4</fc>**) est installé sur votre machine, en salle de TME, en tapant |
| <code bash> | <code bash> | ||
| source /Infos/bd/spark/config.sh | source /Infos/bd/spark/config.sh | ||
| Ligne 38: | Ligne 38: | ||
| <code scala>:q</code> | <code scala>:q</code> | ||
| - | A faire **seulement** si spark n'est **pas** installé sur votre machine de TME : télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue | + | |
| + | A faire **seulement** si vous utilisez votre machine personelle et que spark n'est **pas** déjà installé: télécharger la dernière version de Spark depuis [[http://spark.apache.org/downloads.html]]. Décompresser l'archive obtenue | ||
| et ajouter dans votre fichier .bashrc les lignes : | et ajouter dans votre fichier .bashrc les lignes : | ||
| <code bash> | <code bash> | ||
| Ligne 46: | Ligne 47: | ||
| puis appliquer les lignes ajoutées en exécutant | puis appliquer les lignes ajoutées en exécutant | ||
| <code bash>source ~/.bashrc</code> | <code bash>source ~/.bashrc</code> | ||
| - | |||
| - | |||
| ==== Utilisation en mode local (plutôt conseillé) ==== | ==== Utilisation en mode local (plutôt conseillé) ==== | ||
| Ligne 59: | Ligne 58: | ||
| pour restreindre l'affichage des logs aux erreurs seulement. | pour restreindre l'affichage des logs aux erreurs seulement. | ||
| + | |||
| + | |||
| + | ==== Utilisation de jupyter-notebook depuis une machine personnelle ==== | ||
| + | **Pré-requis** : disposer d'une installation locale de spark et de jupyter-notebook. | ||
| + | |||
| + | - créer une variable d’environnement <code bash>SPARK_HOME</code> qui devra pointer vers le répertoire d'installation de Spark | ||
| + | - installer le package spylon-kernel en tapant <code bash> pip install spylon-kernel</code> | ||
| + | - rajouter le kernel en tapant <code bash>python -m spylon_kernel install</code> | ||
| + | - lancer jupyter-notebook puis sélectionner le kernel //spylon_kernel//. L'instance Spark démarrera à l'évaluation de la première instruction | ||
| + | |||
| Ligne 70: | Ligne 79: | ||
| Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]] | Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]] | ||
| - | /* ANCIEN Noteboook | + | /*Autre possibilité, utiliser le kernel spylon dans jupyter notebook |
| + | (seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install) | ||
| + | */ | ||
| + | |||
| + | /* ---------------- ANCIEN Noteboook | ||
| <code bash> | <code bash> | ||
| unzip /Infos/bd/spark/spark-notebook-master-scala-2.11.8-spark-2.2.0-hadoop-2.7.2.zip | unzip /Infos/bd/spark/spark-notebook-master-scala-2.11.8-spark-2.2.0-hadoop-2.7.2.zip | ||
| </code> | </code> | ||
| - | |||
| Démarrer le notebook: | Démarrer le notebook: | ||
| - | |||
| <code bash> | <code bash> | ||
| cd spark-notebook-0.9.0-SNAPSHOT-scala-2.11.8-spark-2.2.0-hadoop-2.7.2 | cd spark-notebook-0.9.0-SNAPSHOT-scala-2.11.8-spark-2.2.0-hadoop-2.7.2 | ||
| bin/spark-notebook | bin/spark-notebook | ||
| </code> | </code> | ||
| - | |||
| puis lancer dans votre navigateur : | puis lancer dans votre navigateur : | ||
| http://localhost:9000 | http://localhost:9000 | ||
| - | */ | + | --------------------------------------- */ |
site/enseignement/master/bdle/tmes/spark.1569228405.txt.gz · Dernière modification: 23/09/2019 10:46 par hubert
Outils de la page
Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
