ighack 发表于 2017-11-06 09:00

在maven项目中添加了spark-core依赖以后提示错误: 找不到或无法加载主类

我在idea建的maven项目
public class App {
    public static void main(String[] args){
      System.out.println("asfasd");
    }
}打包成jar运行没有问题
但当我添加了spark-core依赖以后在java -jar javaspark.jar以后就提示错误
错误: 找不到或无法加载主类 App
<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.2.0</version>
    </dependency>我用spark-submit 的方法提交,也提示相同的错误

ighack 发表于 2017-11-07 15:13

本帖最后由 ighack 于 2017-11-07 15:29 编辑

spark的程序打包成jar以后。要把什么spark,hadoop,scala的依赖删除掉在打包
不然会 报找不到或无法加载主类,打包成JAR以后只能在linux的spark集群中运行。本地不能运行
如果要提交到yarn-cluster中的话,不要设置setMaster("local"),在spark-submit --master spark://tester:7077可以有setMaster("local"),这样.foreach(println)才会显示到终端
在IDEA里运行时可以用setMaster("local")

heguangwu 发表于 2017-11-29 13:03

spark项目要用spark-submit提交,不能用java -jar允许
页: [1]
查看完整版本: 在maven项目中添加了spark-core依赖以后提示错误: 找不到或无法加载主类