前言

環(huán)顧四周，可以發(fā)現(xiàn)到處都有人為人工智能、機器學(xué)習(xí)或數(shù)據(jù)網(wǎng)格（Data Mesh）等技術(shù)的革新而興奮不已。

事實上，新技術(shù)和技術(shù)的進步確實孕育著巨大的發(fā)展前景。

但是，這些新技術(shù)的發(fā)展都有一個共同的前提：必須有可靠的數(shù)據(jù)來支持這些技術(shù)的應(yīng)用。擁有可支持人工智能、機器學(xué)習(xí)和數(shù)據(jù)網(wǎng)格運行的數(shù)據(jù)源只是一種基本假設(shè)。

每個人都希望他所在的組織能夠以數(shù)據(jù)驅(qū)動的方式運營。

但很多時候往往事與愿違。遺憾的是，人工智能、機器學(xué)習(xí)和數(shù)據(jù)網(wǎng)格與它們的前輩一樣容易受到“垃圾進，垃圾出”（Garbage In，Garbage Out，GIGO）范式的影響。GIGO適用于人工智能、機器學(xué)習(xí)和數(shù)據(jù)網(wǎng)格，就像適用于其他已開發(fā)的技術(shù)一樣。

事實上，目前仍缺乏堅實的數(shù)據(jù)基礎(chǔ)設(shè)施，以有效支持各種新技術(shù)的運用。

然而，數(shù)據(jù)湖倉的出現(xiàn)改變了這一現(xiàn)狀。數(shù)據(jù)湖倉架構(gòu)不僅為新技術(shù)和復(fù)雜技術(shù)提供了數(shù)據(jù)基礎(chǔ)，同時也為構(gòu)建更深入的分析能力奠定了基礎(chǔ)。

為了確保這些技術(shù)能夠發(fā)揮作用，必須建立可靠的數(shù)據(jù)基礎(chǔ)，同時其中僅僅有數(shù)據(jù)是不夠的，還要確保這些數(shù)據(jù)具備以下特性：

● 可信；

● 具有延展性；

● 能夠被共享。

只有擁有了具備上述特性的數(shù)據(jù)，我們才能推進如人工智能、機器學(xué)習(xí)和數(shù)據(jù)網(wǎng)格等新技術(shù)的運用。因此，一個合適的數(shù)據(jù)湖倉將提供強大的數(shù)據(jù)基礎(chǔ)設(shè)施。

那么，支持未來應(yīng)用程序的基礎(chǔ)數(shù)據(jù)需要具備哪些品質(zhì)呢？

針對這個問題，必須考慮不同類型的數(shù)據(jù)，特別是結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)和模擬/物聯(lián)網(wǎng)數(shù)據(jù)。這3種類型的數(shù)據(jù)具有不同的屬性。針對其中某種數(shù)據(jù)類型的技能并不一定適用于其他類型的數(shù)據(jù)，像南極洲、亞馬孫河和撒哈拉沙漠一樣，這3個地方雖然都在地球上，但它們的地質(zhì)風(fēng)貌是完全不同的。

換句話說，不同類型的數(shù)據(jù)在檢索、操作和使用規(guī)則以及使用方法上有很大的差異。然而，為了支持應(yīng)用程序和數(shù)據(jù)處理，我們必須了解不同類型數(shù)據(jù)的不同特性。

本書講述了現(xiàn)代信息系統(tǒng)中數(shù)據(jù)發(fā)展和生存所需的數(shù)據(jù)基礎(chǔ)。沒錯，這本書是關(guān)于數(shù)據(jù)湖倉的。

本書是為數(shù)據(jù)架構(gòu)師、業(yè)務(wù)人員和系統(tǒng)開發(fā)人員準備的。

希望本書的內(nèi)容對你有用。我們也希望你在人工智能、機器學(xué)習(xí)和數(shù)據(jù)網(wǎng)格方面取得成功。

比爾·恩門

戴夫·拉皮恩

瓦萊麗·巴特爾特

2023年6月