欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:赛车彩票 > 学习资料 > 讲师博文 > Spark执行机制总览

ok彩票i官网: Spark执行机制总览

时间:2017-08-17 18:02:16作者:[!--zuozhe--]

赛车彩票 www.d6sa.cn         Spark应用提交后经历了一系列的转换,最后成为Task在每个节点上执行。Spark应用转换(见图1):RDD的Action算子触发Job的提交,提交到Spark中的Job生成RDD DAG,由DAGScheduler转化为Stage DAG,每个Stage中产生相应的Task集合,TaskScheduler将任务分发到Executor执行。每个任务对应相应的一个数据块,使用用户定义的函数处理数据块。

11-1.png

                    图1.spark应用转换流程图
Spark执行的底层实现原理,如图2所示。

11-2.png

图2.spark执行底层实现图
在Spark的底层实现中,通过RDD进行数据的管理,RDD中有一组分布在不同节点的数据块,当Spark的应用在对这个RDD进行操作时,调度器将包含操作的任务分发到指定的机器上执行,在计算节点通过多线程的方式执行任务。一个操作执行完毕,RDD便转换为另一个RDD,这样,用户的操作依次执行。Spark为了系统的内存不至于快速用完,使用延迟执行的方式执行,即只有操作累计到Action(行动),算子才会触发整个操作序列的执行,中间结果不会单独再重新分配内存,而是在同一个数据块上进行流水线操作。 在集群的程序实现上,有一个重要的分布式数据结构,即弹性分布式数据集(Resilient Distributed Dataset,RDD)。Spark实现了分布式计算和任务处理,并实现了任务的分发、跟踪、执行等工作,最终聚合结果,完成Spark应用的计算。 对RDD的块管理通过BlockManger完成,BlockManager将数据抽象为数据块,在内存或者磁盘进行存储,如果数据不在本节点,则还可以通过远端节点复制到本机进行计算。
 
在计算节点的执行器Executor中会创建线程池,这个执行器将需要执行的任务通过线程池并发执行。

更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询赛车彩票

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234

  • 把过去私有制基础上的“阶级分析”生搬硬套到现代公有制和私有制并存的无阶级社会,是张冠李戴、睁着眼睛说瞎话。 2019-03-19
  • 致敬!他们是不为人知的城市猎鹰 2019-03-08
  • 尧都农商银行全力推进服务“三农”工作 2019-03-08
  • 股权质押“利剑”高悬 上市公司急寻脱困之道 2019-02-14
  • 墨西哥地震与球队进球民众跳跃啥关系?专家:无关 2019-02-14
  • 王东峰主持召开河北雄安新区规划建设工作领导小组会议 2018-12-05
  • 买买买!吃吃吃!端午消费火爆,总额超70亿元 2018-12-05
  • 热巴窦骁携手演绎经典神话 2018-09-16
  • 人民日报人民论坛:表达当守正,修辞立其诚 2018-09-16
  • 韩中国文化院相关新闻 2018-09-11
  • 多彩课堂熔铸红色魂——甘祖昌干部学院教学素描 2018-09-11
  • 小朱婷15分横扫韩国晋级四强 教练誓灭泰国一雪前耻 2018-08-22
  • 死人当被告被判偿还5万债务?原判决被中止执行 2018-08-08
  • 建好欧美同学会 助力伟大中国梦 2018-07-18
  • 161| 535| 957| 630| 619| 795| 728| 855| 735| 52|