Outils pour utilisateurs
Outils du site
site:enseignement:master:bdle:annales
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
|
site:enseignement:master:bdle:annales [21/11/2018 22:05] amine |
site:enseignement:master:bdle:annales [20/11/2019 07:57] (Version actuelle) amine |
||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| ====== Recueil d'examens ====== | ====== Recueil d'examens ====== | ||
| ===== Partie MR et Spark ===== | ===== Partie MR et Spark ===== | ||
| + | ==== Novembre 2019 ==== | ||
| + | {{ :site:enseignement:master:bdle:exam_bdle_nov2018.pdf |Sujet}} | ||
| + | ==== Septembre 2018 ==== | ||
| + | {{ :site:enseignement:master:bdle:ratt_bdle_sep2018.pdf |Sujet }} | ||
| ==== Novembre 2017 ==== | ==== Novembre 2017 ==== | ||
| + | === Exercice 1 === | ||
| + | == Données == | ||
| + | <code bash> | ||
| + | nom:mcgill,prenom:ben,age:22 | ||
| + | nom:smith,prenom:lara,niveau:4 | ||
| + | nom:snod,prenom:rick,age:27,niveau:5 | ||
| + | nom:kirch,prenom:lars,pays:russia | ||
| + | </code> | ||
| + | == Programme scala == | ||
| + | <code scala> | ||
| + | val data = sc.textFile(path+"users.txt") | ||
| + | |||
| + | case class attribut(cle:String,valeur:String) | ||
| + | |||
| + | def parseElem(in: String): attribut = { | ||
| + | val tmp = in.split(":") | ||
| + | attribut(tmp(0),tmp(1)) | ||
| + | } | ||
| + | |||
| + | parseTuple(in:List[String]) //identique | ||
| + | |||
| + | val parsed = data.map(x=>x.split(",").toList).map(x=>parseTuple(x).sortBy(f=>f.cle)) | ||
| + | |||
| + | parsed.collect.foreach(println) | ||
| + | |||
| + | case class attribut(cle:String,pres:Boolean) | ||
| + | |||
| + | def parseElem(in: String): attribut = { | ||
| + | val tmp = in.split(":") | ||
| + | attribut(tmp(0),true) | ||
| + | } | ||
| + | |||
| + | def parseTuple(in:List[String]): List[attribut] = in.map(x=>parseElem(x)) | ||
| + | |||
| + | |||
| + | |||
| + | val parsed = data.map(x=>x.split(",").toList).map(x=>parseTuple(x).sortBy(f=>f.cle)) | ||
| + | |||
| + | /*non posée*/ | ||
| + | def mergeListAttributes(lat1: List[attribut], lat2: List[attribut]): List[attribut] ={ | ||
| + | ... | ||
| + | } | ||
| + | |||
| + | |||
| + | val synthese = parsed.reduce(mergeListAttributes) | ||
| + | |||
| + | |||
| + | scala> parsed.collect.foreach(println) | ||
| + | List(attribut(age,true), attribut(nom,true), attribut(prenom,true)) | ||
| + | List(attribut(niveau,true), attribut(nom,true), attribut(prenom,true)) | ||
| + | List(attribut(age,true), attribut(niveau,true), attribut(nom,true), attribut(prenom,true)) | ||
| + | List(attribut(nom,true), attribut(pays,true), attribut(prenom,true)) | ||
| + | |||
| + | |||
| + | </code> | ||
| === Exercice 2 : Algèbre Dataset de Spark === | === Exercice 2 : Algèbre Dataset de Spark === | ||
| == Données == | == Données == | ||
| Ligne 24: | Ligne 83: | ||
| map(tab => Triple(tab(0), tab(1), tab(2))).toDS() | map(tab => Triple(tab(0), tab(1), tab(2))).toDS() | ||
| - | //Retourner le nombre de circuits (cycles) de longueur 3, ie les motifs de la forme x → y → z → x | + | /*Retourner le nombre de circuits (cycles) de longueur 3, ie les motifs de la forme x → y → z → x*/ |
| val t1 = triples.withColumnRenamed("sujet","x").withColumnRenamed("objet","y").select("x","y") | val t1 = triples.withColumnRenamed("sujet","x").withColumnRenamed("objet","y").select("x","y") | ||
| Ligne 35: | Ligne 94: | ||
| - | //On étend l’ensemble de triplets avec des triplets de la forme n, isA, t indiquant que le noeud n a le type t. Pour simplifier, chaque n a un seul type t. | + | /*On étend l’ensemble de triplets avec des triplets de la forme n, isA, t indiquant que le noeud n a le type t. Pour simplifier, chaque n a un seul type t.*/ |
| - | //Retourner les arcs p communs à au moins deux triplets n, p, n′ et m, p, m′ tels que n et m ont le même type tandis que n′ et m′ ont deux types distincts. | + | /*Retourner les arcs p communs à au moins deux triplets n, p, n′ et m, p, m′ tels que n et m ont le même type tandis que n′ et m′ ont deux types distincts.*/ |
| val t_types = triples.where("prop='isa'").select("sujet", "objet") | val t_types = triples.where("prop='isa'").select("sujet", "objet") | ||
site/enseignement/master/bdle/annales.1542834352.txt.gz · Dernière modification: 21/11/2018 22:05 par amine
Outils de la page
Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
