1.4.2　軟件產(chǎn)品

為了快速高效地開發(fā)AR/VR應(yīng)用服務(wù)，0glass基于自己的工業(yè)級(jí)AR智能眼鏡開發(fā)了完整的AR應(yīng)用服務(wù)開發(fā)棧：NginABC（AR應(yīng)用服務(wù)開發(fā)引擎）、0glass-DLP（0glass深度學(xué)習(xí)平臺(tái)）、AR-PSS（全終端增強(qiáng)現(xiàn)實(shí)工作輔助系統(tǒng)）、Hubble（增強(qiáng)現(xiàn)實(shí)遠(yuǎn)程工作指導(dǎo)系統(tǒng)）。

其中，AR-PSS是0glass AR應(yīng)用服務(wù)開發(fā)棧的核心。AR-PSS內(nèi)嵌NginABC和0glass-DLP。Hubble可以作為AR-PSS的外掛模塊。

0glass AR應(yīng)用服務(wù)開發(fā)棧的架構(gòu)示意圖如圖1.14所示。

1.NginABC

目前，NginABC是國內(nèi)唯一的工業(yè)AR服務(wù)引擎。NginABC以設(shè)備狀態(tài)、機(jī)器操作為重點(diǎn)內(nèi)容進(jìn)行圖像和視覺處理，從原生的工業(yè)邏輯出發(fā)，構(gòu)建精準(zhǔn)的領(lǐng)域應(yīng)用。

NginABC包括AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）、BD（Big Data，大數(shù)據(jù)）、CV（Computer Vision，計(jì)算機(jī)視覺）三方面的SDK，即NginAR、NginBD、NginCV，如圖1.15所示。

NginAR包括單目視覺慣性6DoF狀態(tài)估計(jì)、SLAM空間定位、（多）目標(biāo)識(shí)別與跟蹤、目標(biāo)位置增強(qiáng)內(nèi)容表現(xiàn)、多操作系統(tǒng)支持、Unity 3D支持、多圖像引擎支持（OpenGL、Direct3D等）、多建模文件導(dǎo)入（ProE、Maya、3D Max等）、應(yīng)用程序全平臺(tái)導(dǎo)出等內(nèi)容。

NginBD包括工業(yè)場(chǎng)景數(shù)據(jù)采集、儲(chǔ)存、處理。

NginCV包括工業(yè)場(chǎng)景基礎(chǔ)視覺算法庫和物理世界入口圖像識(shí)別算法庫，用于工業(yè)場(chǎng)景的目標(biāo)和狀態(tài)識(shí)別。

NginABC（AR應(yīng)用服務(wù)開發(fā)引擎）目前的版本為3.0。

2.0glass-DLP

0glass-DLP目前的版本為1.0。0glass深度學(xué)習(xí)平臺(tái)主要包含數(shù)據(jù)集管理、任務(wù)管理、云識(shí)別管理。

0glass-DLP目前支持TensorFlow、Keras、Torch、Caffe、Yolo等主流深度學(xué)習(xí)框架。

0glass-DLP與客戶業(yè)務(wù)深度結(jié)合，降低使用門檻，簡化訓(xùn)練流程，能夠讓客戶在自己的使用場(chǎng)景中迅速解決所遇到的計(jì)算機(jī)視覺問題。

NginCV算法庫中的部分算法可以由0glass-DLP快速生成。

0glass深度學(xué)習(xí)平臺(tái)可以選擇部署在私有云或公有云下。云識(shí)別服務(wù)器、Web服務(wù)器、深度學(xué)習(xí)訓(xùn)練服務(wù)器可以分開部署也可以集中部署，如圖1.16所示。

3.Hubble

增強(qiáng)現(xiàn)實(shí)遠(yuǎn)程工作指導(dǎo)系統(tǒng)（Hubble）是以視頻通信為基礎(chǔ)，以電子白板、錄音、錄像、拍照等功能為依托，以AR技術(shù)為核心，集數(shù)據(jù)加密傳輸、安全存儲(chǔ)、增強(qiáng)現(xiàn)實(shí)協(xié)助、業(yè)務(wù)場(chǎng)景適配為一體的智能通信平臺(tái)。

Hubble非常適用于遠(yuǎn)程協(xié)作、遠(yuǎn)程指揮、遠(yuǎn)程培訓(xùn)、遠(yuǎn)程審計(jì)等應(yīng)用場(chǎng)景，實(shí)現(xiàn)了第一視角的遠(yuǎn)程沉浸。公有云部署的Hubble可以保證企業(yè)對(duì)互聯(lián)網(wǎng)高質(zhì)量音頻通話、視頻通話和遠(yuǎn)程電子白板等需求。

Hubble目前的版本為1.0，同時(shí)發(fā)布了英文版本。

作為一個(gè)遠(yuǎn)程工作指導(dǎo)系統(tǒng)，Hubble的系統(tǒng)功能依據(jù)專家側(cè)和作業(yè)側(cè)進(jìn)行劃分。整個(gè)系統(tǒng)的功能架構(gòu)，如圖1.17所示。

4.AR-PSS

AR-PSS（全終端增強(qiáng)現(xiàn)實(shí)工作輔助系統(tǒng)）是一款工業(yè)軟件開發(fā)平臺(tái)。AR-PSS是以工業(yè)作業(yè)規(guī)范為前提，以工業(yè)任務(wù)為基礎(chǔ)，以工業(yè)設(shè)備為中心，集AR、工業(yè)大數(shù)據(jù)處理、智能算法為一體的開發(fā)平臺(tái)。AR-PSS目前發(fā)布的版本為2.0。系統(tǒng)主要特點(diǎn)如下。

1）安全的多租戶管理：AR-PSS支持集成多租戶管理功能，不同公司或分公司數(shù)據(jù)分離，保證數(shù)據(jù)安全性。

2）零基礎(chǔ)AI算法快速生成：AR-PSS內(nèi)嵌深度學(xué)習(xí)平臺(tái)0glass-DLP，支持用戶自定義的深度學(xué)習(xí)算法，實(shí)現(xiàn)了深度學(xué)習(xí)零門檻入門和應(yīng)用，讓深度學(xué)習(xí)的應(yīng)用延伸到工業(yè)場(chǎng)景一線人員。

3）高效的AR輔助指導(dǎo)和監(jiān)督：以AR技術(shù)為核心，以設(shè)備識(shí)別為基礎(chǔ)，以AR眼鏡為載體，實(shí)現(xiàn)實(shí)際作業(yè)場(chǎng)景中的AR輔助，幫助作業(yè)人員快速定位設(shè)備問題、識(shí)別設(shè)備狀態(tài)。同時(shí)融入遠(yuǎn)程協(xié)助工具，加強(qiáng)遠(yuǎn)程實(shí)時(shí)指導(dǎo)，確保問題解決。

4）規(guī)范的工業(yè)作業(yè)流程管理：實(shí)現(xiàn)工業(yè)作業(yè)流程的數(shù)字化、可視化，讓工作人員嚴(yán)格按照標(biāo)準(zhǔn)流程作業(yè)，實(shí)現(xiàn)規(guī)范化作業(yè)、規(guī)范化管理。

5）全終端應(yīng)用：AR應(yīng)用部署支持平板電腦、智能手機(jī)、智能眼鏡等終端，移動(dòng)終端集定位、實(shí)物標(biāo)識(shí)讀取、拍照、錄音、視頻、遠(yuǎn)程協(xié)助為一體，提升數(shù)據(jù)采集和工作的效率。

6）方便的業(yè)務(wù)流程自定義：以設(shè)備為中心，通過模塊化和參數(shù)化設(shè)計(jì)實(shí)現(xiàn)了業(yè)務(wù)流程的自定義，客戶可以方便地自定義工作內(nèi)容、路線、操作、工具等業(yè)務(wù)流程細(xì)節(jié)，大大提高了工業(yè)軟件的開發(fā)效率。

7）開放的API：提供開放的API，便于與ERP、MES等工業(yè)信息系統(tǒng)集成，實(shí)現(xiàn)了與設(shè)備臺(tái)賬、工單、任務(wù)票、工作票、生產(chǎn)計(jì)劃等數(shù)據(jù)和信息系統(tǒng)的無縫對(duì)接和及時(shí)聯(lián)動(dòng)。

AR-PSS開發(fā)平臺(tái)采取B/S架構(gòu)，通過瀏覽器即可訪問。平臺(tái)的登錄界面，如圖1.18所示。

登錄成功后即可進(jìn)入開發(fā)平臺(tái)。第9章將簡要介紹基于AR-PSS的AR應(yīng)用開發(fā)。