Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
site:enseignement:master:bdle:tmes:spark [23/09/2019 10:51] hubert [Installation de Spark (à réaliser une seule fois)] |
site:enseignement:master:bdle:tmes:spark [22/10/2019 18:05] (Version actuelle) amine [Utilisation un notebook Zeppelin] |
||
---|---|---|---|
Ligne 16: | Ligne 16: | ||
===== Installation de Spark (à réaliser une seule fois) ===== | ===== Installation de Spark (à réaliser une seule fois) ===== | ||
- | Vérifier si Spark (version **<fc #ff0000>2.3</fc>**) est installé sur votre machine, en salle de TME, en tapant | + | Vérifier que spark (version **<fc #ff0000>2.4</fc>**) est installé sur votre machine, en salle de TME, en tapant |
<code bash> | <code bash> | ||
source /Infos/bd/spark/config.sh | source /Infos/bd/spark/config.sh | ||
Ligne 58: | Ligne 58: | ||
pour restreindre l'affichage des logs aux erreurs seulement. | pour restreindre l'affichage des logs aux erreurs seulement. | ||
+ | |||
+ | |||
+ | ==== Utilisation de jupyter-notebook depuis une machine personnelle ==== | ||
+ | **Pré-requis** : disposer d'une installation locale de spark et de jupyter-notebook. | ||
+ | |||
+ | - créer une variable d’environnement <code bash>SPARK_HOME</code> qui devra pointer vers le répertoire d'installation de Spark | ||
+ | - installer le package spylon-kernel en tapant <code bash> pip install spylon-kernel</code> | ||
+ | - rajouter le kernel en tapant <code bash>python -m spylon_kernel install</code> | ||
+ | - lancer jupyter-notebook puis sélectionner le kernel //spylon_kernel//. L'instance Spark démarrera à l'évaluation de la première instruction | ||
+ | |||
Ligne 68: | Ligne 78: | ||
==== Utilisation d'un notebook ==== | ==== Utilisation d'un notebook ==== | ||
Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]] | Pour ceux qui le désirent, il est possible d'utiliser un environnement graphique vous facilitant la saisie des instructions Scala. Voir le notebook Apache [[https://zeppelin.apache.org/|Zeppelin]] | ||
+ | |||
+ | /*Autre possibilité, utiliser le kernel spylon dans jupyter notebook | ||
+ | (seulement si le kernel n'aparait pas, faire python3 -m spylon_kernel install) | ||
+ | */ | ||
/* ---------------- ANCIEN Noteboook | /* ---------------- ANCIEN Noteboook |