This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision | ||
en:site:recherche:logiciels:sparqlwithspark:snowflakeq8 [16/09/2016 23:12] hubert [Plan for Spark 1.5] |
en:site:recherche:logiciels:sparqlwithspark:snowflakeq8 [16/09/2016 23:14] (current) hubert |
||
---|---|---|---|
Line 5: | Line 5: | ||
- | ===== Plan for Spark 1.5 ===== | + | ===== Plans for Spark 1.5 ===== |
<code scala> | <code scala> | ||
Line 46: | Line 46: | ||
SOByName.count | SOByName.count | ||
//328 620 776 | //328 620 776 | ||
- | |||
- | // on garde le dictionnaire en tant que RDD et pas en tant que DataFrame, car un DataFrame n'a pas la méthode lookup (avec accès à une seule partition) | ||
- | // durée moyenne du lookup d'un sujet avec un RDD trié vS partitionné | ||
- | // sortByKey: 330 ms | ||
- | // partitionBy (300 part): 160 ms | ||
- | // partitionBy (1200 part): 66 ms | ||
- | // partitionBy (3000 part): 83 ms | ||