Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
site:enseignement:master:bdle:tmes:tme3-prise-main-spark [25/10/2017 08:21] amine |
site:enseignement:master:bdle:tmes:tme3-prise-main-spark [15/10/2018 09:09] (Version actuelle) amine [Interrogation des données] |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
{{indexmenu_n>30}} | {{indexmenu_n>30}} | ||
- | ====== [TME II-2] MapReduce en Spark - Algèbre RDD ====== | + | ====== [TME II-1] Introduction à Spark (Algèbre RDD) ====== |
**Remarque générale :** Le cours ne peut être //self-contained// --> consulter la documentation en ligne de [[https://spark.apache.org/docs/2.1.1/api/scala/index.html#package|Spark]]. | **Remarque générale :** Le cours ne peut être //self-contained// --> consulter la documentation en ligne de [[https://spark.apache.org/docs/2.1.1/api/scala/index.html#package|Spark]]. | ||
Ligne 8: | Ligne 8: | ||
===== Exercice 1 ===== | ===== Exercice 1 ===== | ||
- | //Cet exercice est la suite de l'exercice 2 du TME précédent.// | ||
+ | Copier le fichier | ||
+ | <code> /Infos/bd/spark/bdle/2015/data/wordcount.txt.bz2</code> sur votre espace personnel. | ||
Lancer le spark-shell en mode local ([[spark|voir Doc]]) en suivant les instructions fournies | Lancer le spark-shell en mode local ([[spark|voir Doc]]) en suivant les instructions fournies | ||
puis charger le fichier | puis charger le fichier | ||
Ligne 83: | Ligne 84: | ||
* films (MovieID, Title, Genres) | * films (MovieID, Title, Genres) | ||
- | === Structure de donnée : Dataset=== | + | |
- | Pour le TME sur les Dataset, récupérer le fichier suivant: | + | |
- | <code bash> | + | |
- | cp /Infos/bd/spark/tme-dataset-etudiant.scala <votre repertoire de travail> | + | |
- | emacs tme-dataset-etudiant.scala & | + | |
- | </code> | + | |
Ligne 135: | Ligne 131: | ||
</code> | </code> | ||
</showif> | </showif> | ||
+ | |||
+ | |||
+ | === Exercice Subsidiaire : reprendre les questions précédentes en utilisant l'API Dataset === | ||
+ | Pour utiliser les Dataset, récupérer le fichier suivant: | ||
+ | <code bash> | ||
+ | cp /Infos/bd/spark/tme-dataset-etudiant.scala <votre repertoire de travail> | ||
+ | emacs tme-dataset-etudiant.scala & | ||
+ | </code> | ||
+ | |||
+ |