Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente Prochaine révision Les deux révisions suivantes | ||
site:enseignement:master:sam:start [07/04/2020 09:37] hubert [MU4IN803 : SAM -Stockage et Accès aux Mégadonnées (fév 2020)] |
site:enseignement:master:sam:start [23/01/2023 10:56] hubert [Pour 2023] |
||
---|---|---|---|
Ligne 2: | Ligne 2: | ||
====== MU4IN803 : SAM - Stockage et Accès aux Mégadonnées (fév 2020) ====== | ====== MU4IN803 : SAM - Stockage et Accès aux Mégadonnées (fév 2020) ====== | ||
- | (anciennement BDR Bases de Données Réparties) | ||
- | * Enseignants: Hubert Naacke et Stéphane Gançarski | + | |
+ | ==== Pour 2023 ==== | ||
+ | |||
+ | <fc #ff0000>2023 : voir le site</fc> [[https://moodle-sciences-22.sorbonne-universite.fr/course/view.php?id=4263| Moodle 4IN803]] | ||
+ | |||
+ | |||
+ | |||
+ | ====== Ancien site (fév 2020) ====== | ||
+ | |||
+ | /* | ||
+ | 2022 : voir le site [[https://moodle-sciences.upmc.fr/moodle-2021/course/view.php?id=5165| Moodle 4IN803]] | ||
+ | |||
+ | 2021 : voir le site [[https://moodle-sciences.upmc.fr/moodle-2020/course/view.php?id=4470| Moodle 4IN803]]*/ | ||
+ | |||
+ | * Enseignant: Hubert Naacke | ||
* Cours : le mardi à 16h vérifier la [[https://cal.ufr-info-p6.jussieu.fr/master/|salle]] avant chaque séance. | * Cours : le mardi à 16h vérifier la [[https://cal.ufr-info-p6.jussieu.fr/master/|salle]] avant chaque séance. | ||
- | * Groupes 1 et 2: Mardi **TME à 8h30** puis TD | + | * Groupes 1 : Vendredi **TME à 8h30** puis TD |
/* Groupe 2 : Vendredi **TME à 8h30** puis TD*/ | /* Groupe 2 : Vendredi **TME à 8h30** puis TD*/ | ||
Ligne 13: | Ligne 26: | ||
Examen: les documents de cours, TD et TME sont autorisés. | Examen: les documents de cours, TD et TME sont autorisés. | ||
- | <fc #ff0000> | + | /* ----- OLD ---------------------- |
- | **Confinement et télétravail:**</fc> | + | <fc #ff0000>**Confinement et télétravail:**</fc> |
On prévoit d'utiliser discord pour nos RV: | On prévoit d'utiliser discord pour nos RV: | ||
- | [[ https://discord.gg/MKfvvxG| lien Discord pour SAM]] | + | [[ https://discord.gg/MKfvvxG| lien Discord pour SAM 2020]] |
- | Le TME JDBC 2020 peut être fait <fc #ff0000>chez soi</fc>, localement en utilisant H2. Il n'est pas nécessaire d'accéder au serveur Oracle de la PPTI pour faire ce TME. | + | ----------------------------- |
+ | */ | ||
Sujet du devoir maison : {{ :site:enseignement:master:sam:sam_dm_mars_2020.pdf |DM1}} | Sujet du devoir maison : {{ :site:enseignement:master:sam:sam_dm_mars_2020.pdf |DM1}} | ||
+ | Le [[https://drive.google.com/open?id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]] 2020 peut être fait **<fc #ff0000>chez soi</fc>**, localement en utilisant H2. Il n'est plus nécessaire d'accéder au serveur Oracle de la PPTI pour faire ce TME. | ||
- | ==== Calendrier ==== | + | |
+ | |||
+ | ==== Calendrier 2020 ==== | ||
^ Date cours ^ cours ^ Dates TD ^ TD ^ TME à 8h30 ^ ens ^ | ^ Date cours ^ cours ^ Dates TD ^ TD ^ TME à 8h30 ^ ens ^ | ||
| 28/01 | cours 1: Arbres B+ | - | - | - | | | | 28/01 | cours 1: Arbres B+ | - | - | - | | | ||
Ligne 52: | Ligne 69: | ||
* {{ :site:enseignement:master:sam:sam6-requetes-reparties_2020_resume.pdf |Traitement des requêtes réparties}} ({{ :site:enseignement:master:sam:sam6-requetes-reparties_2020.pdf |supplément}}) | * {{ :site:enseignement:master:sam:sam6-requetes-reparties_2020_resume.pdf |Traitement des requêtes réparties}} ({{ :site:enseignement:master:sam:sam6-requetes-reparties_2020.pdf |supplément}}) | ||
* {{ :site:enseignement:master:bdr:bdr7_replication_2019_v2_4pp.pdf |Réplication}} | * {{ :site:enseignement:master:bdr:bdr7_replication_2019_v2_4pp.pdf |Réplication}} | ||
- | * {{ :site:enseignement:master:bdr:bdr7-trans-reparties_2018_v1.pdf |Transactions réparties}} | + | * {{ :site:enseignement:master:sam:hn_cours_transactions-calvin_2020.pdf |Transactions réparties (Calvin)}} |
* {{ :site:enseignement:master:bdr:bdr9-bdparalleles_2019_v3_4pp.pdf |BD parallèles}} ( {{:site:enseignement:master:bdr:exemple_demo.pdf|Exemple de la démo sur Spark}}) | * {{ :site:enseignement:master:bdr:bdr9-bdparalleles_2019_v3_4pp.pdf |BD parallèles}} ( {{:site:enseignement:master:bdr:exemple_demo.pdf|Exemple de la démo sur Spark}}) | ||
* {{ :site:enseignement:master:bdr:bdr10a-pannes_hn2019_4pp.pdf |Reprise sur panne}} | * {{ :site:enseignement:master:bdr:bdr10a-pannes_hn2019_4pp.pdf |Reprise sur panne}} | ||
Ligne 75: | Ligne 92: | ||
* {{ :site:enseignement:master:bdr:bdr10-pannes_hn2018_4ppages.pdf |Reprise sur panne}} | * {{ :site:enseignement:master:bdr:bdr10-pannes_hn2018_4ppages.pdf |Reprise sur panne}} | ||
+ | * {{ :site:enseignement:master:bdr:bdr7-trans-reparties_2018_v1.pdf |Transactions réparties}} | ||
*/ | */ | ||
Ligne 94: | Ligne 112: | ||
* [[TMEJointure]] (2 séances) | * [[TMEJointure]] (2 séances) | ||
* [[TMEJointureRepartie]] (1 séance) | * [[TMEJointureRepartie]] (1 séance) | ||
- | * [[TMEJDBC]] (4 séances) | + | * [[https://drive.google.com/open?id=1M9KqYEv8hIlIQVURH2IwFy1IHBaKC4ZS|TMEJDBC]](4 séances) |
* [[TME2PC]] (1 séances) | * [[TME2PC]] (1 séances) | ||
Ligne 123: | Ligne 141: | ||
Le tri parallèle mis en oeuvre pour le SortBenchmark : les rapports d'expérimentation pour les années [[http://sortbenchmark.org/TencentSort2016.pdf|sortBenchmark 2016]] et [[ http://sortbenchmark.org/ApacheSpark2014.pdf|sortBenchmark 2014]] | Le tri parallèle mis en oeuvre pour le SortBenchmark : les rapports d'expérimentation pour les années [[http://sortbenchmark.org/TencentSort2016.pdf|sortBenchmark 2016]] et [[ http://sortbenchmark.org/ApacheSpark2014.pdf|sortBenchmark 2014]] | ||
- | [[https://cloud.google.com/spanner/|Spanner]]: [[https://www.usenix.org/conference/osdi12/technical-sessions/presentation/corbett|OSDI2012]], [[https://ai.google/research/pubs/pub39966|TOCS2013]], [[https://static.googleusercontent.com/media/research.google.com/fr//pubs/archive/46103.pdf|SIGMOD2017]] [[https://ai.google/research/pubs/pub45855|TrueTime]] | + | [[https://cloud.google.com/spanner/|Spanner]]: [[https://www.usenix.org/conference/osdi12/technical-sessions/presentation/corbett|OSDI2012]], [[https://ai.google/research/pubs/pub39966|TOCS2013]], [[https://static.googleusercontent.com/media/research.google.com/fr//pubs/archive/46103.pdf|SIGMOD2017]] [[https://ai.google/research/pubs/pub45855|TrueTime]] expliqué par E.Brewer ([[https://storage.googleapis.com/pub-tools-public-publication-data/pdf/45855.pdf|pdf]]) |
+ | |||
+ | |||
+ | ==Quelques articles intéressants et récents (EDBT 2020)== | ||
+ | |||
+ | Coût d'une requête: Un modèle de coût qui est "appris" avec un réseaux de neurones... Est ce que cela veut dire qu'il n'est plus besoin de s’embêter avec des formules de cout ? pas tout à fait... | ||
+ | [[https://openproceedings.org/2020/conf/edbt/paper_261.pdf|PDF]] | ||
+ | |||
+ | |||
+ | Des requêtes d’agrégation sur des flux de données : une solution distribuée très efficace: | ||
+ | [[https://openproceedings.org/2020/conf/edbt/paper_300.pdf|PDF]] | ||
+ | |||
+ | |||
+ | ML-Index: est ce qu'on peut remplacer les niveaux intermédiaires d'un arbre B+ par un réseau de neurones ? Si oui pour quelles requêtes ? | ||
+ | [[https://openproceedings.org/2020/conf/edbt/paper_277.pdf|PDF]] | ||
+ | |||
+ | |||
+ | Transactions réparties: un article plus "système réparti", pour les étudiants SAR de préférence. L'astuce est d'ordonner globalement de manière déterministe les transactions avant de les exécuter. L'article s'appuie sur la solution Calvin de 2012. Calvin est expliqué de manière résumée et très abordable (pour des Master1) en section 2.1. Le reste est un peu plus difficile à lire. | ||
+ | **Q-Store**: Distributed, Multi-partition Transactions via Queue-oriented Execution and Communication. | ||
+ | [[https://openproceedings.org/2020/conf/edbt/paper_39.pdf|PDF]] | ||
+ | |||
+ | |||
===== Pour les enseignants ===== | ===== Pour les enseignants ===== |