Bases de Données / Databases

Site Web de l'équipe BD du LIP6 / LIP6 DB Web Site

Outils pour utilisateurs

Outils du site


site:enseignement:master:sam:start

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision
Révision précédente
site:enseignement:master:sam:start [26/03/2020 23:15]
hubert [Calendrier]
site:enseignement:master:sam:start [23/01/2023 10:57] (Version actuelle)
hubert [Ancien site (fév 2020)]
Ligne 2: Ligne 2:
  
 ====== MU4IN803 : SAM - Stockage et Accès aux Mégadonnées (fév 2020) ====== ====== MU4IN803 : SAM - Stockage et Accès aux Mégadonnées (fév 2020) ======
-(anciennement BDR Bases de Données Réparties) 
  
-  ​Enseignants: Hubert Naacke ​et Stéphane Gançarski+ 
 +==== Pour 2023 ==== 
 + 
 +**<fc #​ff0000>​2023 : voir le site</​fc>​** [[https://​moodle-sciences-22.sorbonne-universite.fr/​course/​view.php?​id=4263| Moodle 4IN803]] 
 + 
 + 
 + 
 +====== Ancien site (fév 2020) ====== 
 + 
 +/* 
 +2022 : voir le site [[https://​moodle-sciences.upmc.fr/​moodle-2021/​course/​view.php?​id=5165| Moodle 4IN803]] 
 + 
 +2021 : voir le site [[https://​moodle-sciences.upmc.fr/​moodle-2020/​course/​view.php?​id=4470| Moodle 4IN803]]*/​ 
 + 
 +  * Enseignant: Hubert Naacke ​
   * Cours : le mardi à 16h vérifier la [[https://​cal.ufr-info-p6.jussieu.fr/​master/​|salle]] avant chaque séance.   * Cours : le mardi à 16h vérifier la [[https://​cal.ufr-info-p6.jussieu.fr/​master/​|salle]] avant chaque séance.
-  * Groupes 1 et 2Mardi  **TME à 8h30** puis TD+  * Groupes 1 : Vendredi ​ **TME à 8h30** puis TD
    
 /* Groupe 2 : Vendredi **TME à 8h30** puis TD*/ /* Groupe 2 : Vendredi **TME à 8h30** puis TD*/
Ligne 13: Ligne 26:
 Examen: les documents de cours, TD et TME sont autorisés. ​ Examen: les documents de cours, TD et TME sont autorisés. ​
  
-<fc #ff0000> +/* ----- OLD ---------------------- 
-**Confinement et télétravail:​**</​fc>​+<fc #​ff0000>​**Confinement et télétravail:​**</​fc>​
 On prévoit d'​utiliser discord pour nos RV: On prévoit d'​utiliser discord pour nos RV:
-[[ https://​discord.gg/​MKfvvxG| lien Discord pour SAM]]+[[ https://​discord.gg/​MKfvvxG| lien Discord pour SAM 2020]]
  
 +-----------------------------
 +*/
  
 Sujet du devoir maison : {{ :​site:​enseignement:​master:​sam:​sam_dm_mars_2020.pdf |DM1}} Sujet du devoir maison : {{ :​site:​enseignement:​master:​sam:​sam_dm_mars_2020.pdf |DM1}}
  
 +Le [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] 2020 peut être fait chez soi, localement en utilisant H2. Il n'est plus nécessaire d'​accéder au  serveur Oracle de la PPTI pour faire ce TME.
  
  
-==== Calendrier ====+ 
 + 
 +==== Calendrier ​2020 ====
 ^  Date cours  ^  cours  ^  Dates TD  ^  TD  ^  TME à 8h30  ^  ens  ^ ^  Date cours  ^  cours  ^  Dates TD  ^  TD  ^  TME à 8h30  ^  ens  ^
 |  28/01  |  cours 1: Arbres B+     ​| ​ -  |  -  |  -  |   | |  28/01  |  cours 1: Arbres B+     ​| ​ -  |  -  |  -  |   |
Ligne 34: Ligne 52:
 |  17/03  |  Examen 1   ​| ​ -  |  -  |  -  |  -  | |  17/03  |  Examen 1   ​| ​ -  |  -  |  -  |  -  |
 |  24/03  |  cours 7: Réplication ​ |  24/03  |  TD6: Conception par fragmentation ​  ​| ​ [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] ​ |  H  | |  24/03  |  cours 7: Réplication ​ |  24/03  |  TD6: Conception par fragmentation ​  ​| ​ [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] ​ |  H  |
-|   **Ve 03/04**  ​| ​ cours 8: Transactions réparties ​ |  ​**Ve 03/04**  ​| ​ TD7: Requêtes réparties ​ |  [[TMEJDBC]] (2)  |  H  |+|   31/03  ​| ​ cours 8: Transactions réparties ​ |  ​31/03  ​| ​ TD7: Requêtes réparties ​ |  [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] ​ (2)  |  H  |
 |  6/04 et 14/04  |  Vacances ​ |  -  |  -  |  -  |  -  | |  6/04 et 14/04  |  Vacances ​ |  -  |  -  |  -  |  -  |
-|  21/04  |  cours 9: BD parallèles ​ |  21/04  |  TD8: Requêtes réparties (suite) ​ |  [[TMEJDBC]] (3)   ​| ​ H  | +|  21/04  |  cours 9: BD parallèles ​ |  21/04  |  TD8: Requêtes réparties (suite) ​ |  [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] ​ (3)   ​| ​ H  | 
-|  28/04  |  cours 10  :  Reprise sur panne + démo Spark   ​| ​ 28/04  |  TD9 : Transactions réparties ​ |     ​[[TMEJDBC]] (4)  |  H  |+|  28/04  |  cours 10  :  Reprise sur panne + démo Spark   ​| ​ 28/04  |  TD9 : Transactions réparties ​ |     [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] ​ (4)  |  H  |
 |  5/05  |   ​- ​                    ​| ​ 5/05 |  TD10 Révisions ​   | TME 10 sur l'​[[https://​docs.google.com/​document/​d/​1z6t9NUrqONlOkeayy2PxSdwtAGOwG__Ryk_QmLBtHFU/​edit?​usp=sharing]|interblocage réparti]] et révisions ​ |  H  | |  5/05  |   ​- ​                    ​| ​ 5/05 |  TD10 Révisions ​   | TME 10 sur l'​[[https://​docs.google.com/​document/​d/​1z6t9NUrqONlOkeayy2PxSdwtAGOwG__Ryk_QmLBtHFU/​edit?​usp=sharing]|interblocage réparti]] et révisions ​ |  H  |
 |  12/05  |  - révisions -  |  -  |  -  |  -  |  -  | |  12/05  |  - révisions -  |  -  |  -  |  -  |  -  |
Ligne 51: Ligne 69:
   * {{ :​site:​enseignement:​master:​sam:​sam6-requetes-reparties_2020_resume.pdf |Traitement des requêtes réparties}} ({{ :​site:​enseignement:​master:​sam:​sam6-requetes-reparties_2020.pdf |supplément}})   * {{ :​site:​enseignement:​master:​sam:​sam6-requetes-reparties_2020_resume.pdf |Traitement des requêtes réparties}} ({{ :​site:​enseignement:​master:​sam:​sam6-requetes-reparties_2020.pdf |supplément}})
   * {{ :​site:​enseignement:​master:​bdr:​bdr7_replication_2019_v2_4pp.pdf |Réplication}}   * {{ :​site:​enseignement:​master:​bdr:​bdr7_replication_2019_v2_4pp.pdf |Réplication}}
-  * {{ :​site:​enseignement:​master:​bdr:bdr7-trans-reparties_2018_v1.pdf |Transactions réparties}}+  * {{ :​site:​enseignement:​master:​sam:hn_cours_transactions-calvin_2020.pdf |Transactions réparties ​(Calvin)}}
   * {{ :​site:​enseignement:​master:​bdr:​bdr9-bdparalleles_2019_v3_4pp.pdf |BD parallèles}} ( {{:​site:​enseignement:​master:​bdr:​exemple_demo.pdf|Exemple de la démo sur Spark}})   * {{ :​site:​enseignement:​master:​bdr:​bdr9-bdparalleles_2019_v3_4pp.pdf |BD parallèles}} ( {{:​site:​enseignement:​master:​bdr:​exemple_demo.pdf|Exemple de la démo sur Spark}})
   * {{ :​site:​enseignement:​master:​bdr:​bdr10a-pannes_hn2019_4pp.pdf |Reprise sur panne}}   * {{ :​site:​enseignement:​master:​bdr:​bdr10a-pannes_hn2019_4pp.pdf |Reprise sur panne}}
Ligne 74: Ligne 92:
   * {{ :​site:​enseignement:​master:​bdr:​bdr10-pannes_hn2018_4ppages.pdf |Reprise sur panne}}   * {{ :​site:​enseignement:​master:​bdr:​bdr10-pannes_hn2018_4ppages.pdf |Reprise sur panne}}
  
 + * {{ :​site:​enseignement:​master:​bdr:​bdr7-trans-reparties_2018_v1.pdf |Transactions réparties}}
 */ */
  
Ligne 93: Ligne 112:
   * [[TMEJointure]] (2 séances)   * [[TMEJointure]] (2 séances)
   * [[TMEJointureRepartie]] (1 séance)   * [[TMEJointureRepartie]] (1 séance)
-  * [[TMEJDBC]] (4 séances)+  * [[https://​drive.google.com/​open?​id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]](4 séances)
   * [[TME2PC]] (1 séances)   * [[TME2PC]] (1 séances)
  
Ligne 122: Ligne 141:
 Le tri parallèle mis en oeuvre pour le SortBenchmark : les rapports d'​expérimentation pour les années [[http://​sortbenchmark.org/​TencentSort2016.pdf|sortBenchmark 2016]] et [[ http://​sortbenchmark.org/​ApacheSpark2014.pdf|sortBenchmark 2014]] Le tri parallèle mis en oeuvre pour le SortBenchmark : les rapports d'​expérimentation pour les années [[http://​sortbenchmark.org/​TencentSort2016.pdf|sortBenchmark 2016]] et [[ http://​sortbenchmark.org/​ApacheSpark2014.pdf|sortBenchmark 2014]]
  
-[[https://​cloud.google.com/​spanner/​|Spanner]]:​ [[https://​www.usenix.org/​conference/​osdi12/​technical-sessions/​presentation/​corbett|OSDI2012]],​ [[https://​ai.google/​research/​pubs/​pub39966|TOCS2013]],​ [[https://​static.googleusercontent.com/​media/​research.google.com/​fr//​pubs/​archive/​46103.pdf|SIGMOD2017]] [[https://​ai.google/​research/​pubs/​pub45855|TrueTime]]+[[https://​cloud.google.com/​spanner/​|Spanner]]:​ [[https://​www.usenix.org/​conference/​osdi12/​technical-sessions/​presentation/​corbett|OSDI2012]],​ [[https://​ai.google/​research/​pubs/​pub39966|TOCS2013]],​ [[https://​static.googleusercontent.com/​media/​research.google.com/​fr//​pubs/​archive/​46103.pdf|SIGMOD2017]] [[https://​ai.google/​research/​pubs/​pub45855|TrueTime]] ​expliqué par E.Brewer ([[https://​storage.googleapis.com/​pub-tools-public-publication-data/​pdf/​45855.pdf|pdf]]) 
 + 
 + 
 +==Quelques articles intéressants et récents (EDBT 2020)== 
 + 
 +Coût d'une requête: Un modèle de coût qui est "​appris"​ avec un réseaux de neurones... Est ce que cela veut dire qu'il n'est plus besoin de s’embêter avec des formules de cout ? pas tout à fait... 
 +[[https://​openproceedings.org/​2020/​conf/​edbt/​paper_261.pdf|PDF]] 
 + 
 + 
 +Des requêtes d’agrégation sur des flux de données : une solution distribuée très efficace: 
 +[[https://​openproceedings.org/​2020/​conf/​edbt/​paper_300.pdf|PDF]] 
 + 
 + 
 +ML-Index: ​ est ce qu'on peut remplacer les niveaux intermédiaires d'un arbre B+ par un réseau de neurones ? Si oui pour quelles requêtes ? 
 +[[https://​openproceedings.org/​2020/​conf/​edbt/​paper_277.pdf|PDF]] 
 + 
 + 
 +Transactions réparties: un article plus "​système réparti",​ pour les étudiants SAR de préférence. L'​astuce est d'​ordonner globalement de manière déterministe les transactions avant de les exécuter. L'​article s'​appuie sur la solution Calvin de 2012. Calvin est expliqué de manière résumée et très abordable (pour des Master1) en section 2.1. Le reste est un peu plus difficile à lire. 
 +**Q-Store**:​ Distributed,​ Multi-partition Transactions via Queue-oriented Execution and Communication. 
 +[[https://​openproceedings.org/​2020/​conf/​edbt/​paper_39.pdf|PDF]] 
 + 
 + 
  
 ===== Pour les enseignants ===== ===== Pour les enseignants =====
site/enseignement/master/sam/start.1585260911.txt.gz · Dernière modification: 26/03/2020 23:15 par hubert