Ceci est une ancienne révision du document !
Pour l'aide sur l'utilisation de Spark voir ici
Cet exercice est la suite de l'exercice 2 du TME précédent.
Lancer le spark-shell en mode local (voir Doc) en suivant les instructions fournies puis charger le fichier
wordcount.txt
au moyen de la méthode textFile() invoquée à partir de la variable context comme suit :
val data = sc.textFile("<le_chemin_dans_votre_espace_perso>/wordcount.txt")
Remarque pour partitionner une chaîne de caractères en utilisant le point (.) comme délimiteur à l'aide de la méthode split(), il faut protéger le point avec \, i.e split(“\.”)
Cet exercice s’intéresse à la formulation de jointures simples en Scala. Pour cet exercice, utiliser le jeux de données films (cf Jeux de données) qui contient les fichiers :
Comme d’habitude, commencez par formater les données afin de pouvoir les traiter.
Pour information :
Pour plus d'informations, voir movielens.
Charger et Transformer en tableau de String chaque ligne des fichiers ratings.dat, users.dat et movies.dat dans les variables notes, utilis, et films respectivement en effectuant les conversions de type nécessaires tel que indiqué dans le schéma suivant :
Pour le TME sur les Dataset, récupérer le fichier suivant:
cp /Infos/bd/spark/tme-dataset-etudiant.scala <votre repertoire de travail> emacs tme-dataset-etudiant.scala &
Exprimer en Scala les requêtes suivantes
Remarque : on considère dans un premier temps qu’un genre est représenté par le groupe de genres donné par la chaine de caractères de l’attribut Genres. Dans un second temps, on considère les genres « atomiques » qui sont séparés par des barres « | ». Pour ce faire, déplier les données de films et les stocker dans une valeur intermédiaire films_bis qui contient un nuplet de fims avec un genre à la fois. Par exemple, pour le nuplet (1,Toy Story (1995),Animation|Children's|Comedy) de films, il existe trois nuplets dans films_bis : (1,Toy Story (1995),Animation), (1,Toy Story (1995), Children's) et (1,Toy Story (1995), Comedy). Indice: pour construire films_bis, il est possible d’imbriquer une fonction map à l’intérieur d’une autre (cf. question 2 de l’exercice 3).