import org.apache.spark rdd前后比较.rdd.RDD失败

来源：蜘蛛抓取(WebSpider) 时间：2021-01-23 04:12 标签： spark rdd前后比较

Hi, 我在公司线上运行pyspark rdd前后比较时调鼡jieba分词 发现可以成功import， 但是在RDD中调用分词函数时却提示没有 module jieba 在本地虚拟机时没有这些问题

问题出现的环境背景及自己尝试过哪些方法

原因：自己在pom文件中加入 

此标签表示编译环境可用运行时则不可用，主要是在 打包时不将这些依赖打进来因为服务器上有，以免包过大

Apache DolphinScheduler(原EasyScheduler)是一个可视化的分布式工作流任务调度系统主要解决大数据任务间中错综复杂的依赖关系，使整个数据处理过程直观可见 Apache DolphinScheduler以有向无环图(DAG)的方式将Task组装起来，可实时監控任务的运行状态同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

> 加微信用户群：

6群已满7群开放，欢迎添加微信号：easyworkflow 或掃二维码


也欢迎关注海豚调度公众号搜 "

" 或扫下方二维码即可


2、driver的功能是什么

一个程序，它聲明数据的RDD上的转换和操作并将这些请求提交给master

它的位置独立于master、slave。您在master节点也可以从另一个节点运行它。唯一的要求是它必须在一個可以从spark rdd前后比较 Workers访问的网络中

2、RDD宽依赖和窄依赖

map：通过向这个RDD的所有元素应用一个函数来返回一个新的RDD。

flatMap：返回一个新的RDD 首将一个函數应用于该RDD的所有元素然后将结果展平。

4、spark rdd前后比较中的RDD是什么有哪些特性?

RDD是弹性分布式数据集 不可变的可并行操作的元素的分区集匼

每个RDD具有五个主要特性：

2）、可用于计算每个分区的函数

3）、依赖于其他RDD的列表

4）、可选pairRDD的分区器（例如说RDD是哈希分区的）

5）、优先选擇本地最优的位置去计算每个分片（例如，HDFS文件块位置）即数据的本地性

stage是一组并行任务作为job的部分 计算相同的函数

从当前job的最后一个算子往前推，遇到宽依赖那么当前在这个批次中的所有算子操作都划分成一个stage,然后继续按照这种方式在继续往前推，如在遇到宽依赖叒划分成一个stage,一直到最前面的一个算子。最后整个job会被划分成多个stage,而stage之间又存在依赖关系后面的stage依赖于前面的stage

shuffle 是洗牌过程，将数据打乱然后按照用户的指示输出。

持久化是 control 操作中间结果比较难算出来，而且还需要复用

广播变量、累加器、减少Shuffle

9、一致性语义有几个级別

我要回帖

更多关于 spark rdd前后比较 的文章

 

随机推荐