1.4 邊緣計(jì)算的核心技術(shù)

在云計(jì)算架構(gòu)中，數(shù)據(jù)中心是資源的擁有者和控制者，用戶按需申請(qǐng)資源。用戶數(shù)據(jù)被上傳到數(shù)據(jù)中心進(jìn)行計(jì)算和處理，數(shù)據(jù)中心最后通過(guò)網(wǎng)絡(luò)向用戶發(fā)送處理結(jié)果的反饋。然而，在邊緣計(jì)算的架構(gòu)中，邊緣節(jié)點(diǎn)具備一定的計(jì)算與存儲(chǔ)能力，因此用戶不需要完全依賴數(shù)據(jù)中心。有了這種組織架構(gòu)，現(xiàn)有的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的關(guān)鍵技術(shù)將發(fā)生重大變化。本節(jié)總結(jié)歸納邊緣計(jì)算發(fā)展過(guò)程中的幾項(xiàng)核心技術(shù)，包括核心計(jì)算技術(shù)、分布式存儲(chǔ)技術(shù)、網(wǎng)絡(luò)技術(shù)、虛擬化與隔離技術(shù)以及安全和隱私保護(hù)等。

1.4.1 核心計(jì)算技術(shù)

資源集中且充裕的云計(jì)算架構(gòu)有著相對(duì)成熟的計(jì)算模型，然而在邊緣計(jì)算架構(gòu)中，不同邊緣節(jié)點(diǎn)的體系結(jié)構(gòu)和計(jì)算能力之間存在顯著差異，本小節(jié)展示了一些關(guān)鍵的計(jì)算技術(shù)性難題和策略，如智能任務(wù)調(diào)度策略、異構(gòu)節(jié)點(diǎn)上的計(jì)算。

1.智能任務(wù)調(diào)度策略

對(duì)于分布式計(jì)算模型，如何大規(guī)模地動(dòng)態(tài)部署計(jì)算和存儲(chǔ)資源，以及如何實(shí)現(xiàn)邊緣設(shè)備之間的高效協(xié)作和云-邊無(wú)縫連接是一個(gè)具有挑戰(zhàn)性的難題[6]。分布式計(jì)算的持續(xù)發(fā)展產(chǎn)生了許多將任務(wù)在不同地理位置上進(jìn)行分割執(zhí)行的技術(shù)，然而，由于邊緣節(jié)點(diǎn)的異構(gòu)性等因素，基于任務(wù)分割的計(jì)算模式在邊緣計(jì)算下較難實(shí)現(xiàn)。因此，邊緣計(jì)算環(huán)境要求有新的調(diào)度策略將分割后的任務(wù)合理地分配到每個(gè)計(jì)算節(jié)點(diǎn)。一種理想的策略是邊緣設(shè)備能完全智能地決定何時(shí)采用哪些邊緣計(jì)算資源以及對(duì)哪些數(shù)據(jù)進(jìn)行處理。

另一個(gè)問(wèn)題是如何確保邊緣節(jié)點(diǎn)在做額外計(jì)算的同時(shí)依然可靠。例如，如果一個(gè)基站過(guò)載，與其相連的終端設(shè)備很可能會(huì)受到影響。因此，邊緣節(jié)點(diǎn)的運(yùn)行需要被智能地感知并調(diào)控，通常認(rèn)為，只有采用能同時(shí)控制云端、設(shè)備和信道的技術(shù)，在云端和邊緣設(shè)備之間高效執(zhí)行一個(gè)較為復(fù)雜的任務(wù)才能實(shí)現(xiàn)。

2.異構(gòu)節(jié)點(diǎn)上的計(jì)算

隨著支持通用計(jì)算的邊緣節(jié)點(diǎn)的增加，對(duì)開(kāi)發(fā)框架和工具鏈的需求也不斷提高。程序設(shè)計(jì)模式需要借助邊緣節(jié)點(diǎn)支持任務(wù)或數(shù)據(jù)的并行處理，并在不同層次的硬件設(shè)備上做計(jì)算；編程語(yǔ)言也需要考慮異構(gòu)的硬件和工作流程中異構(gòu)計(jì)算資源所帶來(lái)的問(wèn)題。而容器化技術(shù)趨于成熟，移動(dòng)容器可以先在多種虛擬設(shè)備中對(duì)硬件進(jìn)行復(fù)用，且能提供與本地硬件相同的性能，并且能在異構(gòu)平臺(tái)上迅速做應(yīng)用部署，因而容器化技術(shù)為異構(gòu)節(jié)點(diǎn)上的計(jì)算提供了極大的便利。

1.4.2 分布式存儲(chǔ)技術(shù)

一般認(rèn)為，隨著計(jì)算機(jī)處理器性能的快速提升，處理器與存儲(chǔ)器間的速度差異已成為限制計(jì)算機(jī)系統(tǒng)性能的關(guān)鍵因素之一。邊緣計(jì)算系統(tǒng)在數(shù)據(jù)存儲(chǔ)和計(jì)算方面具有很強(qiáng)的實(shí)時(shí)性需求，存儲(chǔ)器需要具有低延遲、大容量、高容錯(cuò)率等特點(diǎn)。已有的分布式存儲(chǔ)架構(gòu)非常適用于中心化的云計(jì)算系統(tǒng)，而隨著邊緣計(jì)算的深入發(fā)展，算力更多地被邊緣共享。將來(lái)的操作系統(tǒng)，尤其是邊緣上的本地文件系統(tǒng)，將更專注于為計(jì)算服務(wù)。從以存儲(chǔ)為中心的機(jī)制到以計(jì)算為中心的機(jī)制的轉(zhuǎn)變，是對(duì)現(xiàn)有的存儲(chǔ)系統(tǒng)的設(shè)計(jì)思想的一種顛覆。邊緣計(jì)算中的數(shù)據(jù)存儲(chǔ)技術(shù)需要考慮以下幾個(gè)方面的問(wèn)題。

1.數(shù)據(jù)分布

數(shù)據(jù)分布是設(shè)計(jì)分布式存儲(chǔ)系統(tǒng)之初就必須要考慮的問(wèn)題，一些典型的數(shù)據(jù)分布算法，如分布式哈希表（Distributed Hash Table, DHT）、一致性哈希算法等，將數(shù)據(jù)分割后公平地分配到各個(gè)節(jié)點(diǎn)上，這樣的數(shù)據(jù)分布能夠平衡云計(jì)算中心計(jì)算節(jié)點(diǎn)的算力。然而，對(duì)于邊緣節(jié)點(diǎn)參與的計(jì)算模型，數(shù)據(jù)需要存儲(chǔ)在對(duì)其進(jìn)行處理的節(jié)點(diǎn)上，而不是隨機(jī)的位置。邊緣計(jì)算更為關(guān)注減少計(jì)算延遲而不是數(shù)據(jù)均衡。

2.數(shù)據(jù)一致性

典型的分布式場(chǎng)景下，數(shù)據(jù)有多份拷貝，這些拷貝可能會(huì)被同時(shí)讀寫(xiě)，因此數(shù)據(jù)一致性問(wèn)題始終存在，并引起了廣泛的關(guān)注和研究。在邊緣計(jì)算中，獲取數(shù)據(jù)的是邊緣設(shè)備而不是終端用戶，因此不需要傳統(tǒng)的一致性機(jī)制，而是采用新的架構(gòu)。邊緣數(shù)據(jù)庫(kù)是地理分布式的多主節(jié)點(diǎn)數(shù)據(jù)平臺(tái)，使用免協(xié)調(diào)的方式支持多個(gè)邊緣位置。邊緣數(shù)據(jù)庫(kù)使用不需要集中的共識(shí)形式，也不需要重組云應(yīng)用來(lái)進(jìn)行擴(kuò)展，能夠在保證數(shù)據(jù)一致性的同時(shí)，多個(gè)節(jié)點(diǎn)實(shí)時(shí)地同步到共享的真實(shí)版本數(shù)據(jù)。

3.新存儲(chǔ)硬件上的軟件

分布式計(jì)算是對(duì)延遲敏感的計(jì)算模型，尤其在互聯(lián)網(wǎng)和嵌入式應(yīng)用中，大的趨勢(shì)是將存儲(chǔ)介質(zhì)由機(jī)械硬盤(pán)替代為其他非易失存儲(chǔ)器（如PCRAM、NAND Flash、RRAM等）。然而，當(dāng)前的存儲(chǔ)系統(tǒng)更多地基于機(jī)械硬盤(pán)進(jìn)行設(shè)計(jì)開(kāi)發(fā)，其設(shè)計(jì)理念不能充分發(fā)揮新型非易失存儲(chǔ)器的全部性能。隨著邊緣計(jì)算技術(shù)的持續(xù)發(fā)展，高速節(jié)能的非易失存儲(chǔ)介質(zhì)將更多地部署在邊緣節(jié)點(diǎn)上，因此適配新型非易失存儲(chǔ)介質(zhì)的存儲(chǔ)系統(tǒng)將成為一項(xiàng)關(guān)鍵技術(shù)。

1.4.3 網(wǎng)絡(luò)技術(shù)

邊緣計(jì)算把一部分計(jì)算和數(shù)據(jù)存儲(chǔ)任務(wù)部署到更靠近數(shù)據(jù)源的設(shè)備上，甚至將整個(gè)計(jì)算任務(wù)分配到數(shù)據(jù)源至云計(jì)算中心的數(shù)據(jù)傳輸路徑的某一個(gè)節(jié)點(diǎn)上，這種計(jì)算部署方式對(duì)網(wǎng)絡(luò)結(jié)構(gòu)提出了更為嚴(yán)格的要求。

1.服務(wù)發(fā)現(xiàn)

邊緣計(jì)算環(huán)境下，計(jì)算服務(wù)的請(qǐng)求者所在的網(wǎng)絡(luò)環(huán)境在時(shí)間和空間上會(huì)產(chǎn)生較大的變化，而請(qǐng)求者如何得知周邊的服務(wù)環(huán)境是邊緣計(jì)算所面臨的核心問(wèn)題之一。傳統(tǒng)的服務(wù)發(fā)現(xiàn)機(jī)制基于DNS協(xié)議，主要適用于靜態(tài)服務(wù)或地址變化較少的服務(wù)場(chǎng)景。當(dāng)服務(wù)發(fā)生變化，DNS服務(wù)器需要進(jìn)行域名同步，同步的過(guò)程會(huì)產(chǎn)生網(wǎng)絡(luò)波動(dòng)，所以DNS服務(wù)器無(wú)法應(yīng)用在動(dòng)態(tài)性較強(qiáng)的邊緣計(jì)算環(huán)境中。

2.快速配置

邊緣計(jì)算環(huán)境下，用戶可能動(dòng)態(tài)加入或退出邊緣環(huán)境，同時(shí)其計(jì)算設(shè)備也會(huì)進(jìn)行動(dòng)態(tài)的注冊(cè)和注銷，因此計(jì)算服務(wù)需要進(jìn)行動(dòng)態(tài)遷移，而遷移的過(guò)程會(huì)產(chǎn)生大量的突發(fā)流量。相比于較為封閉的云計(jì)算中心，公網(wǎng)中的網(wǎng)絡(luò)環(huán)境要復(fù)雜得多，應(yīng)對(duì)突發(fā)流量的彈性也容易受到寬帶的限制。因此，實(shí)現(xiàn)設(shè)備服務(wù)的快速配置，是邊緣環(huán)境下的重要技術(shù)之一。

3.負(fù)載均衡

在邊緣計(jì)算中，大量數(shù)據(jù)由邊緣設(shè)備產(chǎn)生，而邊緣服務(wù)器也提供了大量的資源。根據(jù)網(wǎng)絡(luò)狀況和邊緣服務(wù)器的分布，如何動(dòng)態(tài)地調(diào)整和調(diào)度計(jì)算任務(wù)及邊緣服務(wù)器的計(jì)算資源，以達(dá)到負(fù)載均衡并高效地完成計(jì)算任務(wù)，是邊緣計(jì)算模型中的一個(gè)關(guān)鍵問(wèn)題。對(duì)此，最簡(jiǎn)單的解決方案是將所有計(jì)算服務(wù)均部署到所有中間節(jié)點(diǎn)上，但這對(duì)邊緣設(shè)備的算力的要求很高，且造成了服務(wù)的大量冗余。在建立從邊緣設(shè)備到云計(jì)算中心的服務(wù)路徑的過(guò)程中，首先要解決的問(wèn)題是如何尋找服務(wù)來(lái)建立計(jì)算路徑。命名數(shù)據(jù)網(wǎng)絡(luò)（Named Data Networking, NDN）[7]將數(shù)據(jù)和服務(wù)做命名尋址，并結(jié)合P2P與中心化進(jìn)行自組織。將NDN應(yīng)用到邊緣計(jì)算中，進(jìn)行計(jì)算服務(wù)和數(shù)據(jù)的命名，從而完成數(shù)據(jù)的關(guān)聯(lián)流動(dòng)，或者可以解決計(jì)算路徑中的服務(wù)發(fā)現(xiàn)問(wèn)題。

邊緣計(jì)算使得網(wǎng)絡(luò)瓶頸由計(jì)算中心的主干網(wǎng)絡(luò)向邊緣節(jié)點(diǎn)遷移，在該場(chǎng)景下，邊緣服務(wù)器的內(nèi)外交互迅速增加，這使得傳統(tǒng)的TCP/IP技術(shù)難以滿足嚴(yán)苛的網(wǎng)絡(luò)需求。面對(duì)這些問(wèn)題，遠(yuǎn)程直接存儲(chǔ)器訪問(wèn)（Remote Direct Memory Access, RDMA）和InfiniBand等成了邊緣計(jì)算中網(wǎng)絡(luò)加速的一些關(guān)鍵技術(shù)。RDMA技術(shù)的示意圖如圖1-6所示。基于RDMA，數(shù)據(jù)能直接通過(guò)網(wǎng)絡(luò)傳輸?shù)揭慌_(tái)設(shè)備的存儲(chǔ)區(qū)，這意味著數(shù)據(jù)可以迅速地由一個(gè)系統(tǒng)轉(zhuǎn)移到另一個(gè)遠(yuǎn)程系統(tǒng)的內(nèi)存中，而且對(duì)計(jì)算設(shè)備的處理能力要求較低。這種技術(shù)避免了在外存上的數(shù)據(jù)拷貝和交換操作，從而可以節(jié)省存儲(chǔ)帶寬和CPU時(shí)鐘周期數(shù)，提高了系統(tǒng)的整體性能[8]。InfiniBand是一種能處理并行鏈接的電纜交換技術(shù)。InfiniBand擁有高帶寬、低延時(shí)以及高可擴(kuò)展性等特點(diǎn)，非常適用于服務(wù)器與服務(wù)器、服務(wù)器與存儲(chǔ)設(shè)備以及服務(wù)器與網(wǎng)絡(luò)之間的通信。將InfiniBand應(yīng)用于邊緣計(jì)算環(huán)境，能在保證節(jié)點(diǎn)之間通信效率的同時(shí)，提供優(yōu)良的可擴(kuò)展性。

1.4.4 虛擬化與隔離技術(shù)

邊緣計(jì)算的應(yīng)用場(chǎng)景廣泛，因而邊緣節(jié)點(diǎn)類型和用戶類型極為多樣，產(chǎn)生的邊緣服務(wù)也較為不固定。一方面，不同用戶在特定場(chǎng)景下向不同的邊緣節(jié)點(diǎn)卸載其任務(wù)和用戶數(shù)據(jù)。在此情況下，從安全與隱私的角度，用戶任務(wù)之間必須互相不可見(jiàn)，相互透明，不能泄露用戶隱私數(shù)據(jù)；從邊緣設(shè)備的運(yùn)行環(huán)境來(lái)看，不同類型的計(jì)算任務(wù)通常依賴不同的運(yùn)行環(huán)境，為了確保所有邊緣服務(wù)正常運(yùn)作，各運(yùn)行環(huán)境需要彼此隔離，避免各種依賴之間發(fā)生沖突。另一方面，必須考慮對(duì)邊緣服務(wù)器計(jì)算資源的利用。由于邊緣服務(wù)器的資源相比云計(jì)算中心而言非常有限，因此需要更加合理地分配、調(diào)度和管理邊緣服務(wù)器上的有限資源，以更高效地完成計(jì)算任務(wù)。

虛擬化技術(shù)能夠較好地解決以上問(wèn)題，為卸載來(lái)自多個(gè)用戶的計(jì)算任務(wù)提供獨(dú)立且互相隔離的運(yùn)行環(huán)境，并在此基礎(chǔ)上有效地提高邊緣服務(wù)器上有限計(jì)算資源的利用率，對(duì)邊緣計(jì)算性能的整體提升起到了關(guān)鍵作用。

虛擬化技術(shù)是一種資源管理和分配技術(shù)，作為云計(jì)算中的核心技術(shù)之一，虛擬化技術(shù)為云計(jì)算提供了靈活的資源分配和調(diào)度的能力。利用虛擬化技術(shù)，云計(jì)算服務(wù)可以將各類計(jì)算資源抽象為資源池，將CPU、存儲(chǔ)器等計(jì)算資源抽象為另一種形式，實(shí)現(xiàn)離散化，確保資源和運(yùn)行環(huán)境的隔離性，并且能夠靈活地完成對(duì)資源的申請(qǐng)和釋放，因此極大提高了計(jì)算資源的利用率，為眾多用戶提供快捷的服務(wù)。與此同時(shí)，虛擬化技術(shù)為各計(jì)算任務(wù)提供了彼此隔離的運(yùn)行環(huán)境，使得各用戶的計(jì)算任務(wù)并行不悖，既保證了各環(huán)境中的依賴關(guān)系不會(huì)發(fā)生沖突，還能讓彼此不可見(jiàn)，保護(hù)了用戶數(shù)據(jù)隱私和程序代碼的安全性。如同云計(jì)算，邊緣計(jì)算服務(wù)也要利用有限的計(jì)算資源為眾多邊緣用戶提供服務(wù)，也需要對(duì)邊緣服務(wù)器的資源進(jìn)行管理。虛擬化技術(shù)作為云計(jì)算中的一種核心技術(shù)，在相似的需求下，也自然成為邊緣計(jì)算的核心技術(shù)之一。

虛擬化概念廣泛，對(duì)不同物理資源做虛擬化，可以實(shí)現(xiàn)諸如網(wǎng)絡(luò)虛擬化、內(nèi)存虛擬化、存儲(chǔ)虛擬化等不同層次的概念。而在邊緣計(jì)算及云計(jì)算模型下，服務(wù)器虛擬化是我們主要討論的內(nèi)容，即利用虛擬化技術(shù)提供完整的程序執(zhí)行環(huán)境或系統(tǒng)。

隔離技術(shù)也是支撐邊緣計(jì)算的一種核心技術(shù)。邊緣服務(wù)器利用有效的隔離技術(shù)實(shí)現(xiàn)服務(wù)的可靠性并提高服務(wù)質(zhì)量。隔離技術(shù)通常考慮兩方面的問(wèn)題，一方面是資源的隔離，應(yīng)用程序的運(yùn)行過(guò)程不會(huì)互相干擾；另一方面是數(shù)據(jù)的隔離，程序無(wú)法訪問(wèn)或篡改不屬于它的內(nèi)存或數(shù)據(jù)。在復(fù)雜的邊緣計(jì)算環(huán)境中，如果某一程序發(fā)生錯(cuò)誤導(dǎo)致系統(tǒng)受到影響，進(jìn)而干擾到其他程序的正常運(yùn)行，將產(chǎn)生嚴(yán)重后果；此外還需要第三方應(yīng)用程序?qū)τ脩綦[私數(shù)據(jù)的訪問(wèn)權(quán)限。目前云計(jì)算環(huán)境下主要用Docker容器化和虛擬機(jī)等方案來(lái)實(shí)現(xiàn)資源之間的隔離性，邊緣計(jì)算對(duì)隔離性的需求與此類似，因此可以借鑒云計(jì)算中運(yùn)用的技術(shù)，探究適用于邊緣計(jì)算場(chǎng)景的隔離技術(shù)。

在云計(jì)算平臺(tái)中，Docker采取具有容器分層鏡像結(jié)構(gòu)的存儲(chǔ)驅(qū)動(dòng)，允許開(kāi)發(fā)者將應(yīng)用程序及其依賴打包到一個(gè)輕量級(jí)、可移植的環(huán)境中，并將其發(fā)布在服務(wù)器上運(yùn)行，也能保證應(yīng)用程序和運(yùn)行環(huán)境之間的隔離，借此實(shí)現(xiàn)虛擬化。在邊緣計(jì)算環(huán)境中，Docker容器化技術(shù)可以提供更快的部署速度、更輕量的鏡像空間占用以及高性能和容錯(cuò)力[9]。除了使用容器的隔離技術(shù)外，也有一些其他的研究，例如Nam等人提出了一種輕量級(jí)的調(diào)度器EdgeIso[10]，通過(guò)周期性地監(jiān)控資源競(jìng)爭(zhēng)，增量地實(shí)施多種隔離技術(shù)來(lái)減緩這些競(jìng)爭(zhēng)，以此實(shí)現(xiàn)用戶任務(wù)之間的服務(wù)器級(jí)別約束，能夠動(dòng)態(tài)隔離運(yùn)行在邊緣設(shè)備上的各程序。

1.4.5 安全與隱私保護(hù)

安全與隱私是云計(jì)算和邊緣計(jì)算中的基本要求，需要采用端到端的保護(hù)。邊緣計(jì)算作為信息系統(tǒng)下的一種新型計(jì)算模式。信息系統(tǒng)中普遍存在的安全問(wèn)題在邊緣計(jì)算系統(tǒng)下也很普遍，常見(jiàn)的信息系統(tǒng)安全問(wèn)題有信息安全、網(wǎng)絡(luò)安全及系統(tǒng)安全等。除了共性的安全問(wèn)題，邊緣服務(wù)器的自身安全問(wèn)題不容忽視。雖然邊緣計(jì)算避免了將用戶數(shù)據(jù)上傳到云端，降低了泄露隱私數(shù)據(jù)的可能[11]，但由于邊緣設(shè)備與用戶側(cè)更近，也存在被攻擊者入侵的潛在可能。異構(gòu)和分布式的邊緣節(jié)點(diǎn)也導(dǎo)致統(tǒng)一管理十分困難，也就造成了一系列新的安全和隱私泄露問(wèn)題。

在邊緣計(jì)算下，仍可采用傳統(tǒng)的安全與隱私保護(hù)方案，例如利用密碼學(xué)中的加密算法對(duì)信息安全進(jìn)行保護(hù)、通過(guò)訪問(wèn)控制策略保證網(wǎng)絡(luò)資源不被非法訪問(wèn)或非法使用。不過(guò)，通常要對(duì)傳統(tǒng)策略做一定的調(diào)整，以適應(yīng)邊緣計(jì)算的工作環(huán)境。

此外，新興的安全與隱私保護(hù)技術(shù)不斷被開(kāi)發(fā)，這些技術(shù)也能經(jīng)過(guò)適當(dāng)調(diào)整應(yīng)用到邊緣計(jì)算中，增強(qiáng)系統(tǒng)的安全性，硬件協(xié)助下的可信執(zhí)行環(huán)境（Trusted Execution Environment, TEE）[12]就是一個(gè)很好的例子。TEE是內(nèi)存中CPU加密的獨(dú)立私有區(qū)，用來(lái)在硬件級(jí)別上保護(hù)數(shù)據(jù)安全。當(dāng)敏感數(shù)據(jù)位于安全區(qū)內(nèi)時(shí)，未授權(quán)的實(shí)體無(wú)法修改、刪除它們或增加其他數(shù)據(jù)，安全區(qū)域的內(nèi)容對(duì)外部不可見(jiàn)且無(wú)法訪問(wèn)，以此來(lái)對(duì)抗內(nèi)部和外部的威脅，因此TEE保證了數(shù)據(jù)完整性、代碼完整性以及數(shù)據(jù)保密性。TEE給予了開(kāi)發(fā)者對(duì)應(yīng)用安全的完全控制權(quán)，即使在操作系統(tǒng)或應(yīng)用本身受到威脅時(shí)仍能保護(hù)敏感數(shù)據(jù)和代碼的安全。因此，將應(yīng)用運(yùn)行于TEE中，并對(duì)外部存儲(chǔ)做加解密操作[13]，可在邊緣節(jié)點(diǎn)受到攻擊時(shí)，依舊保證數(shù)據(jù)的安全性。