Outils pour utilisateurs
Outils du site
site:enseignement:master:bdle:supports-cours:spark
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentes Révision précédente | |||
|
site:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:11] amine |
site:enseignement:master:bdle:supports-cours:spark [15/11/2018 18:12] (Version actuelle) amine [Analyser du JSON en Spark SQL] |
||
|---|---|---|---|
| Ligne 119: | Ligne 119: | ||
| Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique. | Il est aussi possible de visualizer le plan physique et les Stages de l'exécution en utilisant l'interface graphique. | ||
| ===== Analyser du JSON en Spark SQL ===== | ===== Analyser du JSON en Spark SQL ===== | ||
| - | Les extrait du cours sont dans <code bash>/Infos/bd/spark/dataset/json/json_samples.tar<code> | + | Les extrait du cours sont dans <code bash>/Infos/bd/spark/dataset/json/json_samples.tar</code> |
| Chaque fichier de l'archive respecte le format [[http://jsonlines.org|Json lines]] et contient une collection d'objets JSON. | Chaque fichier de l'archive respecte le format [[http://jsonlines.org|Json lines]] et contient une collection d'objets JSON. | ||
| L'instruction suivant permet de charger une collection depuis //fichier.json// dans un dataset //coll// | L'instruction suivant permet de charger une collection depuis //fichier.json// dans un dataset //coll// | ||
| <code scala>val coll = spark.read.json(fichier.json)</code> | <code scala>val coll = spark.read.json(fichier.json)</code> | ||
site/enseignement/master/bdle/supports-cours/spark.1542301915.txt.gz · Dernière modification: 15/11/2018 18:11 par amine
Outils de la page
Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Noncommercial-Share Alike 3.0 Unported
