Dépendance introuvable

Le problème exposé dans ce sujet a été résolu.

Bonjour à tous,

En ce moment et suite au conseil d’une clémentine (d’un clémentin plutôt), je me penche sur Apache Spark et je dois utiliser SBT dans mon IDE Intellij IDEA. Je ne suis pas du tout familier de tout ce qui est SBT, Maven…

Bref !

Voici le fichier build.sbt :

1
2
3
4
5
6
7
name := "spark_tests"

version := "1.0"

scalaVersion := "2.12.2"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

L’erreur

SBT m’affiche cette erreur dans la console Intellij IDEA :

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
Error:Error while importing SBT project:<br/>...<br/><pre>[warn] ==== public: tried
[warn]   https://repo1.maven.org/maven2/org/apache/spark/spark-core_2.12/2.1.0/spark-core_2.12-2.1.0.pom
[info] Resolving org.scala-lang#scala-compiler;2.12.2 ...
[info] Resolving org.scala-lang#scala-reflect;2.12.2 ...
[info] Resolving org.scala-lang.modules#scala-xml_2.12;1.0.6 ...
[info] Resolving jline#jline;2.14.3 ...
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]  ::          UNRESOLVED DEPENDENCIES         ::
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]  :: org.apache.spark#spark-core_2.12;2.1.0: not found
[warn]  ::::::::::::::::::::::::::::::::::::::::::::::
[warn]
[warn]  Note: Unresolved dependencies path:
[warn]      org.apache.spark:spark-core_2.12:2.1.0 (/home/xxx/Documents/spark_tests/build.sbt#L7-8)
[warn]        +- default:spark_tests_2.12:1.0
[trace] Stack trace suppressed: run 'last *:ssExtractProject' for the full output.
[trace] Stack trace suppressed: run 'last *:update' for the full output.
[error] (*:ssExtractProject) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.1.0: not found
[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-core_2.12;2.1.0: not found
[error] Total time: 2 s, completed May 20, 2017 8:20:16 PM</pre><br/>See complete log in <a href="file:/home/xxx/.IdeaIC2017.1/system/log/sbt.last.log">file:/home/xxx/.IdeaIC2017.1/system/log/sbt.last.log</a>

J’ai regardé sur Internet, et apparemment il se pourrait qu’il me manque un dépôt SBT (dans ~/.sbt/repositories/), mais a priori Intellij IDEA s’occupe de ça non ? D’ailleurs ~/.sbt ne contient même pas de répertoire repositories

+0 -0

Je n’ai jamais utilisé SBT. Mais maven directement avec IntelliJ.

Si tu utilises le bouton project structure en haut à droite tu peux gérer tes dépendances maven. Je ne peux pas te mettre plus de détail je suis sur mon tél.

Ps: Pour les tags, il ne faut plus les mettre entre crochets, il y a maintenant un champs pour les mettre ;)

Je n’ai jamais utilisé SBT. Mais maven directement avec IntelliJ.

Si tu utilises le bouton project structure en haut à droite tu peux gérer tes dépendances maven. Je ne peux pas te mettre plus de détail je suis sur mon tél.

Ps: Pour les tags, il ne faut plus les mettre entre crochets, il y a maintenant un champs pour les mettre ;)

WinXaito

Bonsoir,

Je vais voir ça, et éditerai mon message ! Désolé pour les tags, j’ai pas fait attention :)

Edit : solution trouvée

Alors en fait c’était parce qu’SBT recherchait le spark-core correspondant certes à la version de ce dernier, que j’indique, mais en tenant aussi compte de la version de Scala (que j’indique aussi). Et c’est ce dernier truc qui fait que ça fonctionne pas : apparemment Apache ne fournit pas de spark-core compatible avec Scala v2.12. Avec Scala 2.11 c’est OK.

Mais je ne sais pas où se trouve la page de la documentation d’Apache qui contient une phrase du genre "spark-core version X est compatible avec Scala version Y"… :(

+2 -0

Mais je ne sais pas où se trouve la page de la documentation d’Apache qui contient une phrase du genre "spark-core version X est compatible avec Scala version Y"… :(

The-Aloha-Protocol

Bonsoir,

Dans l’avant-dernier paragraphe de la partie "Downloading": https://spark.apache.org/docs/latest/ :)

+0 -0
Connectez-vous pour pouvoir poster un message.
Connexion

Pas encore membre ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte