1.3.1 Hive的發(fā)展歷程

1. 版本歷史

2007年8月由Facebook開始開發(fā)。

2008年8月開源。

2013年2月Hortonworks主導(dǎo)了探針計(jì)劃（Stinger），這個計(jì)劃旨在使Hive的性能提升100倍。Stinger分為三個階段完成。

（1）Stinger階段一（2013年5月）：Hive 0.11.0，加入了ORC、HiveServer2等。

（2）Stinger階段二（2013年10月）：Hive 0.12.0，對ORC進(jìn)行了改善。

（3）Stinger階段三（2014年4月）：Hive 0.13.0，加入了Tez和支持向量化的查詢。

2014年11月Stinger.next后續(xù)階段：Hive 0.14.0，加入了基于成本的優(yōu)化器（Cost based Optimizer，CBO）對HQL執(zhí)行計(jì)劃進(jìn)行優(yōu)化。適用于Hadoop 1.x.y，2.x.y。

2015年2月Hive 1.0.0發(fā)布，與Hive 0.14.0變化不大。該版本正式移除了HiveServer1，全面開始使用HiveServer2。

2015年5月Hive 1.2.0發(fā)布。

2016年2月Hive 2.0.0發(fā)布，適用于Hadoop 2.x.y，加入了HPLSQL、LLAP等。

2018年5月Hive 3.0.0發(fā)布，適用于Hadoop 3.x.y，加入了物化視圖等新功能。

2. 里程碑版本

Hive 0.14.0引入CBO。

Hive 1.0.x為HiveMetaStoreClient定義了API，移除了HiveServer1，全面使用HiveServer2。

Hive 2.x版本中，推出了140余項(xiàng)優(yōu)化與改進(jìn)。下面簡單介紹其四大特性。

（1）開啟了LLAP

Hive 2.1推出的LLAP是下一代分布式計(jì)算架構(gòu)，它能夠智能地將數(shù)據(jù)緩存到多臺機(jī)器的內(nèi)存中，并允許所有客戶端共享這些緩存的數(shù)據(jù)，同時還保留了彈性伸縮的能力。通過LLAP（Live Long and Process），Hive 2.1進(jìn)行了極大的性能優(yōu)化。在開啟LLAP的Hive 2.x與Hive 1.x進(jìn)行對比測試，結(jié)果顯示Hive 2.x的性能提升了約25倍。

（2）支持使用HPL/SQL的存儲過程語言

Hive 2.0.0推出的Hive Hybrid Procedural SQL On Hadoop（HPL/SQL）是一個在Hive上執(zhí)行存儲過程的SQL工具，它可以表達(dá)復(fù)雜的業(yè)務(wù)規(guī)則。

（3）持續(xù)優(yōu)化成本優(yōu)化器CBO

Hive 2.0.0開始持續(xù)不斷地優(yōu)化成本優(yōu)化器CBO，尤其是在BI業(yè)務(wù)關(guān)注的TPC-DS查詢上。

（4）提供全面詳盡的監(jiān)控和診斷工具

可以通過新的HiveServer2 Web UI、LLAP Web UI和Tez Web UI查看Hive相關(guān)的HQL查詢以及關(guān)聯(lián)的作業(yè)狀態(tài)和日志，豐富了Hive用戶的運(yùn)維和排錯手段。