Différences

Ci-dessous, les différences entre deux révisions de la page.

--- site:enseignement:master:bdle:start [29/01/2021 11:12]
camelia
+++ site:enseignement:master:bdle:start [06/09/2022 09:52] (Version actuelle)
amine
@@ Ligne 1: / Ligne 1: @@
 {{indexmenu_n>52}}
-====== MU5IN852 : Bases de Données Large Echelle (2020-2021) ======
+====== MU5IN852 : Bases de Données Large Echelle (2021-2022) ======
-===== Années précédentes =====
+[[https://moodle-sciences-22.sorbonne-universite.fr/course/view.php?id=2719|Moodle]]
-  * [[site:enseignement:master:bdle:2019-20:start|2019-2020]]
-  * [[site:enseignement:master:bdle:2018-19:start|2018-2019]]
-[[https://cal.ufr-info-p6.jussieu.fr/master/|EDT du Master]] (ou [[http://sucal.aminedjeghri.tk/calendar/M2_DAC| su cal ]])
-[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209|Moodle]]
-**Liens zoom pour les cours des intervenants**
-<del>27/11 : [[https://zoom.us/j/91930609614?pwd=TmgwSWxXTTNycWJwTlFZN2ZuTlB6QT09
-|Zoom Amine (Cours et TME)]],</del>
-<del>18/12 au 8/01:  [[https://us02web.zoom.us/j/3860080539?pwd=RlNjcE93bnM2MkJpdnl1RFdtdURIUT09| Zoom Hubert]]
-</del>
-/01 au 05/02: [[https://zoom.us/j/98033160049?pwd=N05OR3B6UWpkRElzT2t3cEFQTDdWUT09| Zoom Camelia]]
-[[https://gather.town/app/mxMK3qKaQHloyXfs/BDLE3|Gather Town (TME)]]
-/*
-  * Groupe 3 : **503** Tour 14/15
-*/
-**Mails Equipe pédagogique :**
-  * bernd.amann@lip6.fr
-  * mohamed-amine.baazizi@lip6.fr (responsable)
-  * camelia.constantin@lip6.fr
-  * hubert.naacke@lip6.fr
-=====Description =====
-L’explosion de données conduit à reconsidérer radicalement les méthodologie de traitement  de celles-ci tant au niveau performance et efficacité d’accès qu’au niveau acquisition, préparation et structuration. Les plateformes se basant sur le paradigme MapReduce ont été mises oeuvre pour relever ces deux défis à la fois et sont en continuelle évolution pour répondre aux besoins croissants en terme d’analyse de données massives.
-Ce cours permet de se familiariser avec la méthodologie de traitement de données massives qui s’articule autour de deux axes : i) collecte, agrégation et génération de données et ii) analyse de données.  Le premier axe sera abordé sous l’angle de la nouvelle démarche de manipulation et d’exploration de données massives dénotée REPL (Read Evaluate Print Loop) fortement inspirée des systèmes d’analyse comme R. Le système Spark, fortement répandu, est étudié et utilisé tout au long du cours.
-Le second axe sera abordé selon deux cas d’études : a) analyse de données multidimensionnelles à l’aide de requêtes SQL sur des cubes de données , b) analyse statistique de graphes sociaux en utilisant des techniques connues (PageRank, Hits, etc) et c) et interrogation de graphes de données à l’aide de langages récents tels que Cypher de Neo4J.
-=====Liens utiles =====
-  * Le [[site:enseignement:master:bdle:tmes:projet2020]]
-  * L'utilisation de Spark sous [[site:enseignement:master:bdle:tmes:databricks|Databricks]]  et les [[site:enseignement:master:bdle:tmes:dataset|jeux de données]].
-=====Planning =====
-^ Semaine ^ Date ^ Theme ^  Cours ^  TME ^  Gr1 ^  Gr2 ^
-|  0|  02-10-2020 | Mise à niveau - Révision (Amphi 45A) | [[https://nuage.lip6.fr/s/xw42cPPrzE3EwK6|révisions SQL]] |  | |
-|  1|  09-10-2020 | Analyse multidimensionnelle en SQL |  [[https://nuage.lip6.fr/s/YYpMDHiRpMwF7CS| SQL à large échelle et projet IMDB]]  et début de  [[https://nuage.lip6.fr/s/igXPBoke3SmfodE| Conception multidimensionnelle : faits et dimensions]]|  [[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2791810606759612/2495359598332771/5157551416556042/latest.html|notebook databricks du TP1]]   |  H. Naacke  | B. Amann  |
-|  2|  16-10-2020 | Préparation, analyse et visualisation de données massives 2/3 | fin de  [[https://nuage.lip6.fr/s/igXPBoke3SmfodE|SQL multidim: CUBE et fenêtres]] (complément hors cours:[[http://www-bd.lip6.fr/wiki/lib/exe/fetch.php?tok=75c0c9&media=http%3A%2F%2Fwww-poleia.lip6.fr%2F~doucet%2FBDLE%2FpolyBDLE|Agrégations multidim en SQL]]) | [[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2791810606759612/2479815340389523/5157551416556042/latest.html|TP2]] |  H. Naacke  | B. Amann  |
-|  3|  23-10-2020 | Préparation, analyse et visualisation de données massives 3/3 |  [[https://nuage.lip6.fr/s/484Gq77JddiCA4G| cours streaming]]| fin du TP2 et suite mini projet |  H. Naacke  | B. Amann  |
-|  4|  30-10-2020 | Introduction à MapReduce -  Spark et Scala   | {{ :site:enseignement:master:bdle:p2_cours1_2020.pdf |Intro, MR, Spark et Scala}} | [[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2892959645003799/221066055863842/8833663786323975/latest.html
-|TME 4]]|  M-A. Baazizi  |  H. Naacke  |
-|  5| 06-11-2020 | Interrogation de données structurées   en Spark| {{ :site:enseignement:master:bdle:p2_cours2_2020.pdf |Spark SQL}} | [[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2892959645003799/4113460162496448/8833663786323975/latest.html|TME 5]]|  M-A. Baazizi  |  H. Naacke  |
-|  |  13-11-2020 | **Toussaint**  |  | | |
-|  6|   20-11-2020 | Aperçu sur la préparation de données pour le ML en Spark |[[https://moodle-sciences.upmc.fr/moodle-2020/pluginfile.php/715598/mod_resource/content/1/P2_cours3_2020.pdf|Spark ML]] |[[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2892959645003799/1241371342591564/8833663786323975/latest.html|TME 6]]  | M-A. Baazizi  |  H. Naacke  |
-|  7|  27-11-2020 | Aperçu du modèle d’exécution Map-Reduce et Spark - Optimisation logique | {{ :site:enseignement:master:bdle:p2_cours4_2020.pdf |Eval. Spark RDD et SQL - Intro}}| [[https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/2892959645003799/1889751729646752/8833663786323975/latest.html|TME 7]]|  M-A. Baazizi  |  H. Naacke  |
-| | 04-12-2020| ER1 | |
-|  8| 11-12-2020 | Stockage à l'échelle du Web | voir [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-4| moodle]] | voir [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-4| moodle]]  |  H. Naacke  |  M-A. Baazizi  |
-|  9|  18-12-2020 | Optimisation de requêtes|  voir [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-4| moodle]] | voir [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-4| moodle]]  |  H. Naacke  |  M-A. Baazizi   |
-| | 25-12-2020 | **vacances de fin d'année**| |
-| | 01-01-2021 | **vacances de fin d'année**| |
-|  10|  08-01-2021 | Tuning | cours/TD correction des annales | [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-4| moodle]]  |  H. Naacke  |  M-A. Baazizi   |
-|  11|  15-01-2021 | Graphes en Spark |[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-7| cours Graphes en Spark]]|[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-6| TME Graphes DataFrames]] |C.Constantin | M-A. Baazizi |
-|  12|  22-01-2021| Graphes en Spark |[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-7| cours Graphes en Spark]] |[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-6| TME Graphes DataFrames]] |C.Constantin  | B. Amann |
-|  13|   29-01-2021 | API GraphX | [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-7| cours GraphX]]  |[[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=3209#section-6| TME GraphX]]| C.Constantin |B. Amann  |
-|  14|   05-02-2021 | Requêtes graphes - Récursion Neo4J |  {{ :site:enseignement:master:bdle:1-intro-
-graphes_sql-recursif-19-4parpage.pdf |Cours 14}}  |[[site:enseignement:master:bdle:tmes:graphes-neo4j|]] |C.Constantin  | B. Amann |
-| | 12-02-2020| Révisions | |
-| | 19-02-2020| ER2 | |
-===== Annales =====
-**Les solutions (SANS GARANTIE!)  seront migrées au fur et à mesure ici [[site:enseignement:master:bdle:annales|lien]]**
 <showif isloggedin>
+Années précédentes (accès restreint)
-Accès **réservé** aux enseignants (A MAJ):
+  * [[https://moodle-sciences.upmc.fr/moodle-2021/course/view.php?id=3171|2021-2022]]
+  * [[site:enseignement:master:bdle:2020-21|2020-2021]]
-[[https://www-dbufr.ufr-info-p6.jussieu.fr/lmd/2004/dbufr3/auths/course.php?course_occurrence_id=916375|DBUFR3 2020-2021]],
+  * [[site:enseignement:master:bdle:2019-20:start|2019-2020]]
-[[https://www-master.ufr-info-p6.jussieu.fr/ue/Dbufr4/auths/course.php?course_occurrence_id=916375|DBUFR4 2020-2021]]
+  * [[site:enseignement:master:bdle:2018-19:start|2018-2019]]
-[[https://www-dbufr.ufr-info-p6.jussieu.fr/lmd/2004/dbufr2/auths/courses.php?course_occurrence_id=916375|DBUFR2 pour charger des notes par csv 2020-2021]],
-/* ------------------------------
-anciens documents :
-[[https://nuage.lip6.fr/apps/onlyoffice/s/9FwNSkmdkW6q93g|Préparation, analyse et visualisation de données massives]]
-[[https://nuage.lip6.fr/s/F2zmDGYGHaYXnmN?path=%2FTMEs-Spark|TME 3]]
-[[https://drive.google.com/file/d/1Ac58L1XaegOZdTlT67rjP80LgsuqN8ji/view?usp=sharing| Notebook TP Stockage]]
-{{ :site:enseignement:master:bdle:hn_cours01_hdfs_formatorc_2019_bdle_4pp.pdf |HDFS, ORC, partitions}}
-: [[https://drive.google.com/file/d/1Ac58L1XaegOZdTlT67rjP80LgsuqN8ji/view?usp=sharing|Notebook TP Stockage et Plans]]
---------------------
-*/
 </showif>

Bases de Données / Databases

Outils pour utilisateurs

Outils du site

Différences

Outils de la page