盡管早期的消費(fèi)型智能眼鏡也嘗試過使用觸控板和手持或可穿戴控制器用于信息輸入，但實(shí)際上HoloLens 2的手勢(shì)控制界面和Magic Leap One代表著智能眼鏡輸入的未來。

谷歌的研究部門開發(fā)了一種新的機(jī)器學(xué)習(xí)模型，可以在輕量智能眼鏡中實(shí)現(xiàn)高端AR系統(tǒng)中的復(fù)雜手勢(shì)控制，無需額外的體積或者深度感測(cè)和運(yùn)動(dòng)傳感器的成本。

本周，谷歌人工智能團(tuán)隊(duì)公布了手掌/手指追蹤的最新方法。新方法使用了開源、跨平臺(tái)的MediaPipe框架，在移動(dòng)設(shè)備上（而不是在云端）即時(shí)處理視頻，通過機(jī)器學(xué)習(xí)模型映射多達(dá)21個(gè)手部和手指點(diǎn)。

“我們希望向更廣泛的研究和開發(fā)團(tuán)隊(duì)提供這種手感功能，帶來更多創(chuàng)造性案例，刺激新的應(yīng)用程序和研究途徑的產(chǎn)生，”谷歌團(tuán)隊(duì)在一篇詳博客文章中寫道。

手掌/手指追蹤方法實(shí)際上把任務(wù)劃分成為三個(gè)機(jī)器學(xué)習(xí)模型。谷歌的研究人員沒有使用機(jī)器學(xué)習(xí)模型來識(shí)別手掌本身，而是用的手掌檢測(cè)算法，平均準(zhǔn)確率接近96%。

檢測(cè)到手掌后，另一個(gè)機(jī)器學(xué)習(xí)模型識(shí)別出了相機(jī)視圖中手掌的21個(gè)關(guān)節(jié)坐標(biāo)點(diǎn)。第三種算法通過記錄每個(gè)手指的手勢(shì)，與預(yù)定義的手勢(shì)進(jìn)行匹配，學(xué)習(xí)模型支持分辨計(jì)數(shù)和其他各種手勢(shì)。

換句話說，這種機(jī)器學(xué)習(xí)方法可以直接應(yīng)用在Android或iOS設(shè)備上，無需專門的運(yùn)動(dòng)或深度傳感器。谷歌團(tuán)隊(duì)還在研發(fā)開放源代碼方式的模型，以便其他開發(fā)人員和研究人員使用。團(tuán)隊(duì)的計(jì)劃也會(huì)不斷提高機(jī)器學(xué)習(xí)模型的準(zhǔn)確性和性能。

在不久的將來，這款手控跟蹤系統(tǒng)將幫助開發(fā)者打造類似于Snapchat和Facebook的AR體驗(yàn)，將手控識(shí)別和跟蹤技術(shù)融入自拍中。

谷歌還可以利用這項(xiàng)技術(shù)與Pixel 4上的Soli雷達(dá)傳感器合作，打造一些獨(dú)特的AR體驗(yàn)，類似于iPhone X系列上的Animojis，后者把蘋果的ARKit和TrueDepth相機(jī)組合使用。

然而，通過這一進(jìn)步，我們更要思考機(jī)器學(xué)習(xí)方法可以給智能眼鏡帶來什么。硬件制造商不再使用運(yùn)動(dòng)深度傳感器，更接近HoloLens 2和Magic Leap One上的用戶輸入方法。

越來越多的科技公司需要人工智能來解決AR可穿戴設(shè)備在外形和功能方面的問題。甚至微軟也在混合使用ARKit和ARcore的人工智能方法來檢測(cè)界面瑕疵，以更好地實(shí)現(xiàn)HoloLens 2的新場(chǎng)景理解能力。軟件應(yīng)該是研發(fā)智能眼鏡的關(guān)鍵。只能眼鏡足夠輕薄，可以每天佩戴，而不僅限于家里或辦公室區(qū)域。