Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
site:enseignement:master:bdle:tmes:spark-execution [25/10/2017 17:00] hubert [[TME III] Exécution dans Spark] |
site:enseignement:master:bdle:tmes:spark-execution [18/12/2017 16:04] (Version actuelle) hubert |
||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
- | {{indexmenu_n>65}} | + | {{indexmenu_n>210}} |
- | ====== [TME III-2] Exécution dans Spark ====== | + | ====== Ancien TME 2016 : Exécution dans Spark ====== |
Ligne 17: | Ligne 17: | ||
b) Proposer une fonction pour évaluer un motif complexe quelconque. | b) Proposer une fonction pour évaluer un motif complexe quelconque. | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ===== ANCIENS ENONCES 2015 et 2016 ===== | ||
+ | |||
+ | |||
+ | ===Dataset (vu en 2016)=== | ||
+ | Voir la définition des Datasets **USERS**, **FILMS** et **AVIS** dans le fichier du tme | ||
+ | |||
+ | ===RDD (vu en 2015)=== | ||
+ | Les utilisateurs : USERSRDD (numU, (genre, age, profession, codePostal)). Le numéro d'utilisateur //numU// identifie un utilisateur. Les notes attribuées par les utilisateurs : RATINGSRDD (numU, (film, note, date)) | ||
+ | |||
+ | Voir la définition des RDD USERSRDD, RATINGSRDD dans le fichier du tme | ||
+ | |||
+ | Les données ont été lues puis fragmentées sans critère particulier en 10 et 20 fragments respectivement. Pour vérifier le nombre de fragments d'une RDD : | ||
+ | <code scala> | ||
+ | USERSRDD.partitions.size | ||
+ | RATINGSRDD.partitions.size | ||
+ | </code> | ||
+ | |||
+ | |||