Spark 有很多种模式最简单就是单机夲地模式,还有单机伪分布式模式复杂的则运行在集群中,目前能很好的运行在 Yarn和 Mesos 中当然 Spark 还有自带的 was的standalone模式 模式,对于大多数情况 was的standalone模式 模式就足够了如果企业已经有 Yarn 或者 Mesos 环境,也是很方便部署的
local(本地模式):常用于本地开发测试,本地还分为local单线程和local-cluster多线程;
on mesos(集群模式): 运行在 mesos 资源管理器框架之上由 mesos 负责资源管理,Spark 负责任务调度和计算
1.解压Spark二进制压缩包