Outils pour utilisateurs
Outils du site
site:enseignement:master:bdle:tmes:projet2018
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
|
site:enseignement:master:bdle:tmes:projet2018 [18/01/2019 10:42] hubert |
site:enseignement:master:bdle:tmes:projet2018 [31/01/2019 21:25] (Version actuelle) hubert [Mini-projet 2018] |
||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| ====== Mini-projet 2018 ====== | ====== Mini-projet 2018 ====== | ||
| - | Consulter le [[https://nuage.lip6.fr/s/wNwjFKqAw9aGXHp| Dossier pour le projet]] contenant : | + | Commencer par consulter le [[https://nuage.lip6.fr/s/wNwjFKqAw9aGXHp| Dossier pour le projet]] contenant |
| - | le sujet et le document tuto_idea pour utiliser l'outil IDEA | + | le //sujet// et le document //tuto_idea// pour utiliser l'outil IDEA |
| - | Complément pour manipuler des graphes : | + | |
| - | Voir le dossier /Infos/bd/spark/dataset/arxiv/graphe_similarite | + | |
| + | ====Facultatif : Complément du mini projet : Calcul de composantes connexes==== | ||
| + | Date: janvier 2019 | ||
| + | |||
| + | Utiliser GraphX pour manipuler le graphe se trouvant dans | ||
| + | le dossier /Infos/bd/spark/dataset/arxiv/graphe_similarite | ||
| <code bash> | <code bash> | ||
| - | cd /Infos/bd/spark/dataset/arxiv/graphe_similarite | + | cd /Infos/bd/spark/dataset/arxiv/graphe_similarite/40_topics_par_annee |
| more similarite.json | more similarite.json | ||
| - | more topicAnnee.json | + | more topicDetail.json |
| </code> | </code> | ||
| + | |||
| + | Etant donnée un seuil de similarité //s//, calculer le sous-graphe Gs dont les liens ont une similarité supérieure ou égale à //s//. | ||
| + | Faire le calcul pour les 10 valeurs de s dans {0, 0.1, 0.2, ..., 0.9} | ||
| + | |||
| + | Pour chaque Gs obtenu, calculer les **composantes connexes**. | ||
| + | Quelles sont les 10 composantes les plus grandes en nombre de noeuds et contenant au moins 4 années? | ||
| + | Proposer un critère d'importance pour une composante et calculer les 10 composantes les plus importantes. | ||
| + | |||
| + | |||
| + | |||
| + | |||
| Ligne 18: | Ligne 34: | ||
| - | ===Divers=== | + | ====Divers==== |
| [[https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package| Spark API]], les [[https://spark.apache.org/docs/latest/api/sql/index.html|fonctions]] pour transformer un élément d'un Dataframe. | [[https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.package| Spark API]], les [[https://spark.apache.org/docs/latest/api/sql/index.html|fonctions]] pour transformer un élément d'un Dataframe. | ||
| Retour vers l'UE [[site:enseignement:master:bdle:start]] | Retour vers l'UE [[site:enseignement:master:bdle:start]] | ||
site/enseignement/master/bdle/tmes/projet2018.1547804547.txt.gz · Dernière modification: 18/01/2019 10:42 par hubert
Outils de la page
Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
