欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:赛车彩票 > 学习资料 > 讲师博文 > Hive和ElasticSearch整合文档

海南环岛赛开奖: Hive和ElasticSearch整合文档

时间:2017-08-16 09:06:57作者:[!--zuozhe--]

 

  • 下载elasticsearch-hadoop-vetsion.jar包,上传到hive的安装目录的lib目录下,注意
  • 版本一定要和相应的elasticsearch的版本一致
  • 切换到hive用户,执行$hive --auxpath=/path/lib/elasticsearch-hadoop.jar 或者修改hive-site.xml配置文件,如下:
 赛车彩票 www.d6sa.cn <property>
          <name>hive.aux.jars.path</name>
          <value>/path/elasticsearch-hadoop.jar</value>
          <description>A comma separated list (with no spaces) of the jar files</description>
</property> 

  • 进入hive脚本界面中建表

1.首先你得告诉es这个表是ElasticSearch支持的:

建立view表是
CREATEEXTERNALTABLEuser(idBIGINT, nameSTRING) STOREDBY'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'radio/artists','es.index.auto.create' = 'true');
如果无法插入数据请执行下面命令指定es端口和ip
CREATEEXTERNALTABLEuser(idBIGINT, nameSTRING) STOREDBY'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'radio/artists','es.index.auto.create' = 'true','es.nodes'='192.168.1.88','es.port'='9200');
es.resourceradiott/artiststt分别是索引名和索引的类型,这个是在es访问数据时候使用的。

2.然后建立源数据表:

CREATETABLE user_source (idINT, nameSTRING) ROWFORMATDELIMITEDFIELDSTERMINATEDBY',';
将数据导入到user_source表中:
LOADDATALOCAL INPATH '/home/steven/data.txt' OVERWRITE INTOTABLE user_source;
  • 建立好表之后推出hive脚本,然后上传elasticsearch-hadoop.jarhdfs的一个目录下
hadoop fs -put /root/hive/lib/elasticsearch-hadoop-2.0.2.jar /tmp/elasticsearch-hadoop-2.0.2.jar加载到hdfs
  • 然后重新以以下命令进入hive
hive -hiveconf hive.aux.jars.path=/tmp/elasticsearch-hadoop-2.0.2.jar
  • 然后进入到相应的数据库下,向索引表中(view)中插入数据
INSERT OVERWRITE TABLEuserSELECT s.id, s.nameFROM user_source s;

到此整合完成


更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询赛车彩票

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234

  • 互联网基金违规销售乱象:巧立名目送红包、送份额 2019-05-22
  • 2018国际产学研用合作会议在南昌举行 2019-05-22
  • QFII政策调整引增量资金入场 “成长+大消费”或成布局重点 2019-05-12
  • 广东金林村:农民爱写诗 2019-05-11
  • 二哈冲进轻轨“调戏”乘客 工作人员急追 2019-05-11
  • 南方电网首座500千伏智能变电站投运 2019-04-28
  • 为什么说一直辛苦劳作的农民没有富起来?而不说一直勤劳的农民没有富起来? 2019-04-28
  • 东博会16个国家企业参展 国际展区人气旺 2019-04-12
  • 走路开车看手机是把生命当儿戏(社会观察) 2019-04-05
  • 广西壮族自治区东兰县“七民一站一阵地工作法”维护群众权益 2019-04-05
  • 这是全国精气最为集中的地方 被称为中国丹田所在 ——凤凰网房产 2019-04-04
  • [大笑]大家都不玩了,咱就不相信光靠房地产商和金融资本两方能把房价通过左手倒右手右手倒左手炒上天! 2019-03-25
  • 世界杯开幕式小旗手来自中国贵州丹寨--旅游频道 2019-03-25
  • 把过去私有制基础上的“阶级分析”生搬硬套到现代公有制和私有制并存的无阶级社会,是张冠李戴、睁着眼睛说瞎话。 2019-03-19
  • 致敬!他们是不为人知的城市猎鹰 2019-03-08
  • 877| 917| 862| 99| 906| 343| 45| 548| 457| 676|