Différences

Ci-dessous, les différences entre deux révisions de la page.

--- site:enseignement:master:bdle:tmes:spark-execution [19/10/2017 11:07]
hubert
+++ site:enseignement:master:bdle:tmes:spark-execution [18/12/2017 16:04] (Version actuelle)
hubert
@@ Ligne 1: / Ligne 1: @@
-{{indexmenu_n>65}}
+{{indexmenu_n>210}}
-====== [TME III-??] Exécution dans Spark  ======
+====== Ancien TME 2016 : Exécution dans Spark  ======
@@ Ligne 17: / Ligne 17: @@
 b) Proposer une fonction pour évaluer un motif complexe quelconque.
+===== ANCIENS ENONCES 2015 et 2016 =====
+===Dataset (vu en 2016)===
+Voir la définition des Datasets **USERS**, **FILMS** et **AVIS** dans le fichier du tme
+===RDD (vu en 2015)===
+Les utilisateurs : USERSRDD (numU, (genre, age, profession, codePostal)).  Le numéro d'utilisateur //numU// identifie un utilisateur.  Les notes attribuées par les utilisateurs : RATINGSRDD (numU, (film, note, date))
+Voir la définition des RDD USERSRDD, RATINGSRDD dans le fichier du tme
+Les données ont été lues puis fragmentées sans critère particulier en 10 et 20 fragments respectivement. Pour vérifier le nombre de fragments d'une RDD :
+<code scala>
+USERSRDD.partitions.size
+RATINGSRDD.partitions.size
+</code>

Bases de Données / Databases