我要分享资源网

 找回密码
 立即注册
搜索
查看: 305|回复: 0

尚学堂_大数据_impala和oozie视频教程

[复制链接]

131

主题

132

帖子

7万

积分

超级版主

Rank: 8Rank: 8

积分
72556

最佳新人活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2018-1-7 13:29:37 | 显示全部楼层 |阅读模式
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。

优点:

1、Impala不需要把中间结果写入磁盘,省掉了大量的I/O开销。

2、省掉了MapReduce作业启动的开销。MapReduce启动task的速度很慢(默认每个心跳间隔是3秒钟),Impala直接通过相应的服务进程来进行作业调度,速度快了很多。

3、Impala完全抛弃了MapReduce这个不太适合做SQL查询的范式,而是像Dremel一样借鉴了MPP并行数据库的思想另起炉灶,因此可做更多的查询优化,从而省掉不必要的shuffle、sort等开销。

4、通过使用LLVM来统一编译运行时代码,避免了为支持通用编译而带来的不必要开销。

5、用C++实现,做了很多有针对性的硬件优化,例如使用SSE指令。

6、使用了支持Data locality的I/O调度机制,尽可能地将数据和计算分配在同一台机器上进行,减少了网络开销。


01.impala简介

impala简介_1
impala简介_2
02.impala架构_外部shell_3

impala架构、外部shell_1
impala架构、外部shell_2
impala架构、外部shell_3
03.impala内部shell_存储_sql

impala内部shell、存储、sql_1
impala内部shell、存储、sql_2
impala内部shell、存储、sql_3
04.oozie简介

oozie简介_1
oozie简介_2
oozie简介_3
05.oozie视频

oozie视频_1
oozie视频_2
oozie视频_3
oozie视频_4
oozie视频_5












游客,如果您要查看本帖隐藏内容请回复







上一篇:尚学堂_大数据_Linux视频教程
下一篇:尚学堂_大数据_Hive视频教程
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则



QQ|Archiver|手机版|小黑屋|我要分享资源网 ( 蜀ICP备15020398号 )

GMT+8, 2018-10-20 06:59 , Processed in 0.112238 second(s), 24 queries .

Powered by 我要分享资源网 © 2017-2018

快速回复 返回顶部 返回列表