Outils pour utilisateurs
Outils du site
site:enseignement:master:bdle:supports-cours:spark
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
|
site:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:02] amine |
site:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:12] (Version actuelle) amine [Analyser du JSON en Spark SQL] |
||
|---|---|---|---|
| Ligne 118: | Ligne 118: | ||
| </code> | </code> | ||
| Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique. | Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique. | ||
| + | ===== Analyser du JSON en Spark SQL ===== | ||
| + | Les extrait du cours sont dans <code bash>/Infos/bd/spark/dataset/json/json_samples.tar</code> | ||
| + | Chaque fichier de l'archive respecte le format [[http://jsonlines.org|Json lines]] et contient une collection d'objets JSON. | ||
| + | L'instruction suivant permet de charger une collection depuis //fichier.json// dans un dataset //coll// | ||
| + | <code scala>val coll = spark.read.json(fichier.json)</code> | ||
site/enseignement/master/bdle/supports-cours/spark.1542301338.txt.gz · Dernière modification: 15/11/2018 18:02 par amine
Outils de la page
Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
