spark_success: Spark实验汇总-偏重于运维和传统应用实验

forked from Appleyuchi/spark_success

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

免费加入

该仓库未声明开源许可证文件（LICENSE），使用请关注具体项目描述及其代码上游依赖。

克隆/下载

分支 1

标签 0

数据倾斜转移到github 12066b2

.idea

sbt+scala+spark-Success

scala和java混编调研

testSpark-Intellij连接真实spark用法

wordcount

xudong+intellij+mlib-Success

命令行调试Spark-Java代码

调整WEB_UI用的小实验

README.md

bashrc

README

环境：



|组件|版本|
|--|--|
|Ubuntu Linux|16.04|
|apache-hive |3.0.0-bin |
|scala|2.11.8|
|[hadoop](http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.7/)|2.7.7|
|[spark](https://archive.apache.org/dist/spark/spark-2.3.1/)|2.3.1-bin-hadoop2.7|
|apache-maven|3.5.4|
|sbt|1.1.6|
|jdk|1.8|

/home/appleyuchi/bigdata/scala-2.11.8/bin下面的scala文件中的配置改为:
[[ -n "$JAVA_OPTS" ]] || JAVA_OPTS="-Xmx1024M -Xms256M"



注意,Scala和Java共享CLASSPATH这个环境变量,一定要在.bashrc中认真设置好.

Spark实验汇总-偏重于运维和传统应用实验

取消

暂无发行版

马建仓 AI 助手

尝试更多

代码解读

代码找茬

代码优化

https://gitee.com/pizicai1127/spark_success.git

git@gitee.com:pizicai1127/spark_success.git

pizicai1127

spark_success

master

伫望向北/spark_success

简介

发行版

贡献者

近期动态

伫望向北/spark_success .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

伫望向北/spark_success