t pour disposer temporairement des données.
<code bash>
if [ ! -d /tmp/BDLE/dataset ] ; then mkdir -p /... hiers: movies.dat users.dat et ratings.dat
<code bash>
cp -r /Infos/bd/spark/dataset/movielens /tmp/BDL... des universités, personnels et étudiants.
<code bash>
cd /tmp/BDLE/dataset
tar zxvf /Infos/bd/spark/da... nom des 50 propriétés les plus fréquentes :
<code bash>
cp /Infos/bd/spark/dataset/dbpedia/dbpediaShortN
enu avec la commande zip ou tar.
AVec tar:
<code bash>
tar xzf TMEJDBC-H2.zip
cd TMEJDBC-H2
</code>
L... hiers *.sql)
Lancer le serveur en tapant
<code bash>
java -cp h2-1.4.200.jar org.h2.tools.Server -ifN... hemin exact.</fc>
</showif>
Linux et Mac:
<code bash>
java -cp .:h2-1.4.200.jar org.h2.tools.RunScript... -script insertions.sql
</code>
Windows:
<code bash>
java -cp .;h2-1.4.200.jar org.h2.tools.RunScript
r votre machine, en salle de TME, en tapant
<code bash>
source /Infos/bd/spark/config.sh
which spark-she... tre fichier ''.bashrc'' la ligne suivante :
<code bash>
source /Infos/bd/spark/config.sh
</code>
Puis lancer le client Spark :
<code bash>spark-shell --driver-memory 8G --executor-memory... ter dans votre fichier .bashrc les lignes :
<code bash>
export SPARK_HOME=<le-chemin-vers-votre-dosier-s
.com/paulovn/sparql-kernel]]
en exécutant
<code bash>
pip install sparqlkernel
jupyter sparqlkernel in... al et se rendre sur votre espace de travail
<code bash>
cd <repetoire-de-travail>
</code>
Télécharger ... e}} contenant les notebooks et les données
<code bash>
wget http://www-bd.lip6.fr/wiki/_media/site/ense... ] contenant le serveur Fuseki en exécutant
<code bash>
wget https://mirrors.ircam.fr/pub/apache/jena/bi
ce TME===
Vérifier que java est installé
<code bash>
java –version
</code>
sinon télécharger le ... t si nécessaire, compléter le PATH
Linux :
<code bash>
export PATH=${PATH}:chemin vers le dossier bi... ode>
Windows dans une invite de commande :
<code bash>
set PATH=%PATH%;chemin vers le dossier conten... uvez utiliser wget pour le téléchargement :
<code bash>
wget https://h2database.com/h2-2019-10-14.zip
un
e conditionnelle.
===== Préparation =====
<code bash>
cd votre répertoire
tar zxvf /Infos/bd/kvstore/k... ersion light de kvstore) avec la commande :
<code bash>
java -jar lib/kvstore.jar kvlite -root /tmp/... ur : soit la touche Ctrl-C soit la commande
<code bash>
java -Djava.library.path=./lib -jar lib/kvstor... root
</code>
Récupérer les fichiers du TME
<code bash>
tar zxvf /Infos/bd/kvstore/kvstore-etu.tgz
cd
tenu de apache-jena-2.12.1.tar.gz en tapant <code bash> mkdir /tmp/jena && tar xzf /Infos/bd/sparql/apac... la variable d'environnement $PATH en tapant <code bash>cat /Infos/bd/sparql/jena-export.txt >> ~/.bashrc... er que vous avez bien configuré jena, taper <code bash>which arq</code> vous deviez obtenir <code bash>/tmp/jena/apache-jena-2.12.1/bin/arq</code>
Pour avoi
version 1.8.0_170 taper dans votre terminal <code bash>alias java=/usr/lib/jvm/jdk1.8.0_170/bin/java</co... a version de java est bien la 1.8 en tapant <code bash> java -version</code>
* Télécharger et décompre... r les caractères [ et @ dans l'outil xpath: <code bash>ssh -X `uname -n`</code> ou <code bash> ssh -X ppti-14-SSS-MM avec SSS étant le numéro de la salle et M
figurer l'environnement et doc des API===
<code bash>
source /Infos/bd/spark-config
idea.sh &
</code>... t. Exemple si votre projet s'appelle BDLE :
<code bash>
cd
cp /Infos/bd/spark/PartitionEtudiant.scala I... ------
Vérifier l'alias pour le spark-shell
<code bash>
alias spark-shell
</code>
Cela doit afficher :
... /spark/prop.txt'
Puis lancer le spark-shell
<code bash>
spark-shell
</code>
Seulement en cas d'erreur:
re compte et créer les synonymes de tennis.
<code bash>
@vider
@tennis
</code>
* **JOUEUR**(__NUJOUEU... /code>
Ce code produit la sortie suivante
<code bash>
quelle annee ?
quel lieu ?
</code>
4- Modifi...
La sortie du programme est comme suit :
<code bash>
Les joueurs de la base sont :
Numéro 1 Nom : MA... ommencer par ouvrir votre éditeur en tapant
<code bash>
eclipse &
</code>
puis suivre les étapes ci-dess
Préparation =====
Editer le fichier de TME
<code bash>
cd <répertoire de travail> # aller dans votre ré... ode>
====Configurer l'environnement====
<code bash>
source /Infos/bd/spark-config
</code>
Vérifier l'alias pour le spark-shell
<code bash>
alias spark-shell
</code>
Cela doit afficher :
... /spark/prop.txt'
Puis lancer le spark-shell
<code bash>
spark-shell
</code>
**seulement** si l'étape p
.com/paulovn/sparql-kernel]]
en exécutant
<code bash>
pip install sparqlkernel
jupyter sparqlkernel in... al et se rendre sur votre espace de travail
<code bash>
cd <repetoire-de-travail>
</code>
Télécharger ... dXap8dH|l'archive]] contenant le notebook
<code bash>
tar xzvf TME-SPARQL.tgz
cd TME-SPARQL
</code>
*... e notebook fourni.
Pour le lancer exécuter
<code bash>
jupyter notebook
</code>
puis cliquer sur ''TME-
CH ====
Désarchiver dans votre espace perso <code bash>/Infos/bd/spark/dataset/tpch/tpch-extrait.tgz</co... rait, créer les données dans hdfs en tapant
<code bash>
hadoop fs -mkdir /tpch
hadoop fs -put lineitem.t... de>
puis vérifier que les fichiers existent
<code bash>
hadoop fs -ls /tpch
</code>
Les instructions s... rk SQL =====
Les extrait du cours sont dans <code bash>/Infos/bd/spark/dataset/json/json_samples.tar</co