用maven编译spark2.1.0-白红宇

用maven编译spark2.1.0

阅读量：5172 次

发布时间：2019-06-13

本文共 511 字，大约阅读时间需要 1 分钟。

以下编译都是在root用户下执行的命令 1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本，其他版本未测;  2.执行   export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

3.切换到spark2.1.0解压后的源码根目录下 ./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Dscala-2.11 -Phive -Phive -thriftserver -DskipTests clean package 这里的选择scala-2.11,用2.10编译报错 4切换到编译完的dev目录下执行下面命令打包

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn

转载于:https://www.cnblogs.com/zyzloner/p/6599158.html

你可能感兴趣的文章

ACE6.3.3在Linux（CentOS7.0）下的安装和使用

动态将ASPX生成HTML网页并将网页导出PDF

查看>>

Find Backpacker Jobs in Australia

从零开始学 Web 之 Ajax（五）同步异步请求，数据格式

查看>>

场景分析：用户登录界面场景分析

查看>>