环岛赛直播:

招聘频道
当前位置:赛车彩票 > 名企招聘 > 招聘报道 > Hadoop技术的发展

Hadoop技术的发展

时间:2018-09-26 17:39:09作者:魔据大数据学院

赛车彩票 www.d6sa.cn 在Hadoop 出现之前,高性能计算和网格计算一直是处理大数据问题主要的使用方法和工具,它们主要采用消息传递接口提供的API 来处理大数据。高性能计算的思想是将计算作业分散到集群机器上,集群计算节点访问存储区域网络SAN 构成的共享文件系统获取数据,这种设计比较适合计算密集型作业。

当需要访问像PB 级别的数据的时候,由于存储设备网络带宽的限制,很多集群计算节点只能空闲等待数据。而Hadoop却不存在这种问题,由于Hadoop 使用专门为分布式计算设计的文件系统HDFS,计算的时候只需要将计算代码推送到存储节点上,即可在存储节点上完成数据本地化计算,Hadoop 中的集群存储节点也是计算节点。

Hadoop技术的发展

在分布式编程方面,MPI 是属于比较底层的开发库,它赋予了程序员极大的控制能力,但是却要程序员自己控制程序的执行流程,容错功能,甚至底层的套接字通信、数据分析算法等底层细节都需要自己编程实现。这种要求无疑对开发分布式程序的程序员提出了较高的要求。

相反,Hadoop 的MapReduce 却是一个高度抽象的并行编程模型,它将分布式并行编程抽象为两个原语操作,即map 操作和reduce 操作,开发人员只需要简单地实现相应的接口即可,完全不用考虑底层数据流、容错、程序的并行执行等细节。这种设计无疑大大降低了开发分布式并行程序的难度。

Hadoop技术的发展

Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。到目前为止,Hadoop 技术在互联网领域已经得到了广泛的运用,例如,Yahoo 使用4 000 个节点的Hadoop集群来支持广告系统和Web 搜索的研究;Facebook 使用1 000 个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200TB 的数据,从而进行搜索日志分析和网页数据挖掘工作;中国移动研究院基于Hadoop 开发了“大云”(Big Cloud)系统,不但用于相关数据分析,还对外提供服务;淘宝的Hadoop 系统用于存储并处理电子商务交易的相关数据。


学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:400-690-5006,值班手机:18501996998(7*24小时)

在线咨询:李老师QQ(226594285),陈老师QQ(428683440)

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2017 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询赛车彩票

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234

  • 致敬!他们是不为人知的城市猎鹰 2019-03-08
  • 尧都农商银行全力推进服务“三农”工作 2019-03-08
  • 股权质押“利剑”高悬 上市公司急寻脱困之道 2019-02-14
  • 墨西哥地震与球队进球民众跳跃啥关系?专家:无关 2019-02-14
  • 王东峰主持召开河北雄安新区规划建设工作领导小组会议 2018-12-05
  • 买买买!吃吃吃!端午消费火爆,总额超70亿元 2018-12-05
  • 热巴窦骁携手演绎经典神话 2018-09-16
  • 人民日报人民论坛:表达当守正,修辞立其诚 2018-09-16
  • 韩中国文化院相关新闻 2018-09-11
  • 多彩课堂熔铸红色魂——甘祖昌干部学院教学素描 2018-09-11
  • 小朱婷15分横扫韩国晋级四强 教练誓灭泰国一雪前耻 2018-08-22
  • 死人当被告被判偿还5万债务?原判决被中止执行 2018-08-08
  • 建好欧美同学会 助力伟大中国梦 2018-07-18
  • 417| 310| 415| 925| 570| 780| 524| 954| 533| 87|