人-信息-物理系統(tǒng)(HCPS)的智能制造理論體系明確了人在智能制造系統(tǒng)的中心地位。從智能制造人機協(xié)同的需求出發(fā),基于人機交互鴻溝理論,在行為、意圖、認知三個層面討論了人因工程在“人本智造”中的研究重點。圍繞虛實融合場景、多模態(tài)人機交互及認知量化等方法,闡述了人因工程在促進HCPS智能融合的重要作用。最后,從實現HCPS集成的智能制造系統(tǒng)出發(fā),提出了“人本智造”的研究方向和學科發(fā)展建議。

本文作者：楊曉楠、房浩楠、李建國、薛 慶。? ? ? ??

引言 ? ? ? ?

“十四五”規(guī)劃綱要提出深入實施制造強國戰(zhàn)略,推動智能制造發(fā)展,促進制造業(yè)智能化升級,實現向“中國智造”的轉變。目前,我國制造業(yè)持續(xù)快速發(fā)展,形成了門類齊全、獨立完整的產業(yè)體系,有力推動了我國的工業(yè)化和現代化進程。同世界先進水平相比,我國制造業(yè)存在大而不強等問題,自主創(chuàng)新能力、資源利用效率、產業(yè)結構水平、信息化程度、質量效益等方面的差距尤其明顯,工業(yè)智能化轉型升級和跨越發(fā)展的任務緊迫而艱巨。

新一代互聯(lián)網、人工智能、數字孿生等技術的不斷發(fā)展為我國智能制造的發(fā)展持續(xù)注入了強勁的動力。過分追求信息化、數字化的生產模式已不能滿足生產車間柔性化、用戶個性定制化等復雜作業(yè)的需求,智能制造中的難點開始凸顯,因此生產趨勢急需改變,人作為關鍵因素不能再被忽視。工業(yè)5.0 的概念逐漸引起人們的重視,作為工業(yè)4.0的延續(xù)和補充,工業(yè)5.0除了注重產業(yè)結構優(yōu)化和自動化水平提升,又將人置于制造業(yè)中心,讓技術主動服務和適應人,并更注重人的價值和感受。以人為中心的智能制造要考慮工人的安全感和幸福感,打消工人對工業(yè)革命浪潮帶來的“機器換人”的擔憂和顧慮,讓勞動力重回工廠。

在汽車行業(yè),由于頻繁變更的車型,企業(yè)需要制造系統(tǒng)具備更加柔性化的部署[1],以滿足智能制造面臨的小批量、多品種的生產需求。在3C行業(yè),電子產品的更新?lián)Q代周期通常在1到2年,這導致生產線經常需要改造,部署調整成本高[2]。因此無論是考慮生產周期還是實施成本,僅依靠工業(yè)機器人很難滿足這些行業(yè)的生產需求。作為一種模塊化的小型智能化工廠實踐,整個智能生產單元由自動化模塊、信息化模塊和智能化模塊組成,包含設備、機器人、AGV、網絡、信息數據等。智能生產單元將人作為關鍵因素,由人負責對柔性、觸覺、靈活性要求比較高的工序,機器人則利用其快速、準確的特點來負責重復性的工作,以“最小的智能化工廠”實現多品種、小批量的生產智能化。如何落實人機交互生產模式,將操作人員、機器人和輔助設備等進行模塊化、集成化、一體化的聚合,通過人與機器人的協(xié)調合作,充分發(fā)揮機器人的效率及人類的智能,使制造系統(tǒng)具備多品種、小批量產品的柔性生產輸出能力,已成為解決當前智能制造發(fā)展瓶頸的關鍵[3]。因此,開展人機交互的生產模式,使人和機器和諧共處,滿足消費者對產品個性定制化的需求,打消工人對失業(yè)的擔憂,使人回歸制造業(yè)。

本文著重分析智能制造系統(tǒng)中的人機協(xié)同需求與人機交互鴻溝，從行為、意圖、認知三個層次闡述人因工程在縮小人機交互鴻溝、實現人機協(xié)作中的重要性，并在此基礎上結合數字孿生、混合現實等先進技術的發(fā)展與應用,提出面向智能制造的人機交互的人因工程發(fā)展建議。

1

智能制造中的人機協(xié)同

智能制造的藍圖中,人機協(xié)同成為主流的生產和服務方式。由于人與“機”的深度協(xié)作,人在智能制造系統(tǒng)中的作業(yè)任務和要求都發(fā)生了巨大的變化。盡管人不再承擔重復性的工作,但仍是決策回路系統(tǒng)的中心環(huán)節(jié),始終處于主導地位[4-5]。人機協(xié)同的深層內涵是“人機智能融合”,它代表人與“機”需要共同完成指定任務。在完成動態(tài)作業(yè)任務的過程中,制造系統(tǒng)需要與工作人員保持步調一致,面對動態(tài)作業(yè)需求,進行資源適配與自主協(xié)同,實現協(xié)調生產。ZHOU等[6]提出的人-信息-物理系統(tǒng)(human-cyber-physical system,HCPS)的智能制造發(fā)展理論,明確了以物理系統(tǒng)(機器、機器人、加工過程)為主體、以信息系統(tǒng)為主導、以人為決策主宰的技術體系(圖1)。通過信息系統(tǒng)遷移人的部分感知、分析和控制功能,替代人的大部分體力勞動和部分腦力勞動。人與物理系統(tǒng)的結合使整個制造系統(tǒng)具備較高的生產效率、生產能力和生產質量[7]。根據智能制造的人-信息-物理系統(tǒng)發(fā)展理論,智能制造人機協(xié)同中的“機”具有兩層含義:一是信息系統(tǒng),即人與計算機等智能體、智能系統(tǒng)的交互(human-computer interaction);二是物理系統(tǒng),即人與機器人、設備等物理實體的交互(human-robot interaction)。本章從智能制造人機協(xié)同的需求出發(fā),對人與信息系統(tǒng)、物理系統(tǒng)交互的研究重點進行闡述,并梳理上述過程中存在的人機交互鴻溝。

圖1 新一代人-信息-物理系統(tǒng)的原理簡圖[6] Fig.1 Schematic diagram of the new HCPS

1.1?/ 人與信息系統(tǒng)的交互

智能制造系統(tǒng)[8]是建立在新一代信息技術之上、面向人機協(xié)同與生產過程自治的新一代HCPS。HCPS中的關鍵問題在于如何實現人與“機”的智能融合。在復雜且動態(tài)變化的生產任務下,信息系統(tǒng)如何通過數據與模型對物理系統(tǒng)進行實時的感知、認知、分析、決策與控制,并與人一起不斷優(yōu)化分配資源,進行合理的任務決策與調度,實現資源的在線適配,從而實現對作業(yè)需求的快速響應與協(xié)同生產。數字孿生作為信息-物理空間交互融合的有效手段,能更好地反映實際生產狀態(tài),使操作人員更好地了解系統(tǒng)的整體運行情況。數字孿生技術通過物理模型、傳感器更新、運行歷史等數據,建立物理世界與虛擬世界的雙向動態(tài)連接,為解決信息和物理系統(tǒng)的融合提供了有效途徑[9-10]。

柔性生產趨勢下,實現人機協(xié)作的核心問題是如何實現人與制造系統(tǒng)的有效協(xié)同,尤其是針對信息系統(tǒng)的狀態(tài)感知。智能化的生產系統(tǒng)必然產生復雜的信息系統(tǒng),隨著數字孿生、深度學習、知識工程等在不同領域的發(fā)展與應用,如何實現人與制造系統(tǒng)數字孿生體的無縫銜接[11-13],使人通過信息系統(tǒng)快速準確地掌握整個系統(tǒng)的運行狀態(tài),已成為實現人與“機”智能融合的又一關鍵問題。

1.2?/ 人與物理系統(tǒng)的交互

物理系統(tǒng)主要指智能制造系統(tǒng)中的智能設備及機器人。隨著機器人與自動化控制技術的發(fā)展,工業(yè)機器人憑借控制精度高、反應速度快、工作能力強等優(yōu)勢,已成為發(fā)展智能制造不可忽視的重要組成部分?，F在,絕大部分的產業(yè)化工業(yè)機器人一直未能脫離預編程/遙操作的控制方式,很多工廠雖通過部署機器人實現了自動化,但智能化程度不高[14]。為保證人機交互的安全,需將人與工業(yè)機器人的工作區(qū)域隔離開,無法實現真正意義上的人機協(xié)作。人與靈活、安全的物理系統(tǒng)共同協(xié)作已成為發(fā)展以人為中心的智能制造系統(tǒng)的關鍵[15-16]。人與機器人共同完成動態(tài)作業(yè)任務,充分發(fā)揮人與機器的長處是未來智能制造的重要研發(fā)方向。

與汽車行業(yè)相比,航空航天、造船和建筑等領域的制造任務和過程過于復雜,裝配精度要求高,目前仍依賴手工操作[17],因此有必要開展人機協(xié)作的研究。由協(xié)作機器人輔助人來完成復雜作業(yè),使人的腦力、體力維持在最佳水平,并使大腦認知資源的需求與大腦認知資源對任務的供給處于平衡[18],避免負荷過載和欠載對操作人員的負面影響[19-20],減輕人的負擔,提高任務執(zhí)行效率和生產安全性。LIU等[21]研究了肌電信號控制協(xié)作機器人的相關算法,SARA等[22]探索了指導性手勢在工業(yè)領域人機協(xié)作場景下的有效性。歐姆龍于2020年推出的“人機協(xié)作的智能化單元生產線”融合了人工智能、物聯(lián)網、大數據分析等先進技術,針對多品種、小批量生產模式,實現了生產效率、柔性、品質的提升,通過人與機器的互相感知,可在同一現場通過互補、協(xié)助實現超柔性生產。國內協(xié)作機器人行業(yè)的領軍者——遨博于2021年推出的“利用機器人生產機器人的智能化柔性生產線”,通過模塊化設計及協(xié)作生產等方式,為協(xié)作機器人在工業(yè)生產領域中的人機協(xié)作應用提供了穩(wěn)定高效的參考樣本。

上述研究均表明,自動化和智能化的發(fā)展并不會完全替代人,如何保障人與物理系統(tǒng)的交互順暢,使機器快速準確地捕獲操作人員的作業(yè)意圖是實現人機協(xié)同作業(yè)的關鍵。

1.3?/ 人機交互鴻溝

智能工廠是實現智能制造的重要載體,智能工廠環(huán)境下,人與信息物理系統(tǒng)的關系從傳統(tǒng)的操作控制模式逐步向人機協(xié)作的方式轉變。實現人機交互的首要任務是建立一個能實現人與機信息傳輸的渠道,這主要包括3個階段:①操作人員感知信息物理系統(tǒng),并用自然便捷的行為方式表達作業(yè)意圖;②信息物理系統(tǒng)準確理解操作人員的作業(yè)意圖,完成智能分析、決策與控制,對不同任務做出反應;③對上述人機信息傳輸過程進行認知能力評估,調節(jié)優(yōu)化雙方的作業(yè)方式,從而最大程度降低認知負荷和疲勞度。因此,要想準確有效構建人與信息及物理系統(tǒng)的友好協(xié)作關系,還需解決現存的人機交互鴻溝問題。

人機交互鴻溝包括評估鴻溝(gulf of evaluation)和執(zhí)行鴻溝(gulf of execution)[23],即人與“機”每次交互時都會面臨認知系統(tǒng)狀態(tài)、對系統(tǒng)做出反應并執(zhí)行操作的兩大挑戰(zhàn),這貫穿于人“機”信息傳輸的3個階段。評估鴻溝指的是人在與系統(tǒng)交互的過程中,對系統(tǒng)狀態(tài)的理解與系統(tǒng)實際運行情況的差異。執(zhí)行鴻溝指的是在交互過程中,人需要采取行動實現特定目標時,操作者的心理認知與系統(tǒng)的實際運行方式之間的差距。人機交互中,評估和執(zhí)行階段相互依存,描述了操作人員成功與任何系統(tǒng)完成交互所必須經歷的循環(huán),如圖2所示,成功的評估需要感知系統(tǒng)呈現信息的狀態(tài)指標并理解其含義,成功的執(zhí)行需要弄清楚要做什么來完成目標。

圖2 人機交互中的評估與執(zhí)行鴻溝 Fig.2 Gulf of evaluation and execution in human-computer interaction

智能制造的信息物理系統(tǒng)與操作人員之間必然存在評估鴻溝與執(zhí)行鴻溝。如果系統(tǒng)不能清楚表示當前狀態(tài),操作人員就必須付出大量的認知資源來了解系統(tǒng)的當前狀況、下一步操作后會發(fā)生什么,并且不斷推測、判斷之前的操作有沒有更接近目標。隨著系統(tǒng)復雜性的提高,人需要克服的交互鴻溝也越來越大。系統(tǒng)是由設計人員(專家)創(chuàng)造的,因此鴻溝主要出現在操作人員與專家之間,設計者需要了解人使用系統(tǒng)的操作習慣與認知能力,研究人的潛在學習理論與心智模型是幫助減小交互鴻溝的有效途徑。

2

“以人為本”的智能制造

2.1?/ 智能制造中人的因素

新一代智能制造更加強調人的中心地位[24],智能制造發(fā)展的目的是更好地為人服務。基于 HCPS 理論,王柏村等[25]提出了包含單元級智能制造、系統(tǒng)級智能制造、系統(tǒng)之系統(tǒng)級智能制造的人本智造架構,并從產品、生產、模式、基礎建設4個維度對“人本智造”進行了闡述(圖3)。其中,以人為本的智能產品是主體,以人為本的智能生產是主線,以人為本的產業(yè)模式變革是主題,以人為本的智能制造基礎建設是研究的理論與方法基石。

圖3 “人本智造”四個維度中的人因工程[25] Fig.3 Human factors in four-dimension of human-centered intelligent manufacturing[25]

從智能制造全生命周期的角度出發(fā)[26],結合人所擔任的角色,可以看出智能制造的不同環(huán)節(jié)均需考慮人的因素,這包括人的作用、人體工效學、認知工效學、組織工效學、人機關系等(圖4)。國內外學者對人在制造系統(tǒng)中的關鍵地位、決定性作用進行了分析,梳理了制造系統(tǒng)中的人的因素及相關研究,認為先進技術只有真正和人協(xié)同起來才能充分發(fā)揮作用,進而真正帶來智能化生產的效益[27-29]。

圖4 智能制造系統(tǒng)中人的因素[25] Fig.4 Human factors in intelligent manufacturing systems

隨著新一代智能制造相關研究的發(fā)展,大數據智能、群體智能、跨媒體智能、混合增強智能及自主無人系統(tǒng)極大改變了人在系統(tǒng)中的作用[30-31]。由于信息系統(tǒng)開始具備深度學習和自主認知及決策的相關基本能力,人可以將更多的重復性工作或簡單腦力勞動,甚至知識型工作交給信息系統(tǒng)完成。這使得人可以將更多的精力放在思考和需要更多想象力與創(chuàng)造力的工作上,這一變化將貫穿整個智能制造系統(tǒng)的設計、生產、物流、銷售、服務等環(huán)節(jié)。此類系統(tǒng)中,人主要作為系統(tǒng)的設計者存在,雖然直接參與系統(tǒng)的實時運行與控制性工作減少,但仍然需要參與系統(tǒng)的運維、創(chuàng)新和優(yōu)化等環(huán)節(jié)[32]。

人在系統(tǒng)中的角色和作用發(fā)生改變直接導致人機關系的變化。智能工廠環(huán)境下,人與信息物理系統(tǒng)的關系從傳統(tǒng)的操作控制模式逐步向人機交互的方式轉變。與此同時,工業(yè)5.0的發(fā)展也將人機交互的模式從“人適應機器”轉變?yōu)椤皺C器服務于人”。LI等[33]指出人機協(xié)作的主要目標在于機器協(xié)助人而不是取代人,減少人在生產線上的重復工作,降低人體的工程學壓力和工作負荷,提高生產質量和效率,實現人機優(yōu)勢互補。NAHAVANDI[34]強調工業(yè)5.0將會提高人機之間的主動性,以及互學習、互理解、互輔助融合能力,機器認知能力的增強使機器適應不斷變化的環(huán)境及任務,與人可以進行自然的深度交流、互學習、互推理,更好地協(xié)助于人、服務于人。

從行為、意圖、認知三個層次分析智能制造中人的中心地位已成為當前的研究重點,相關研究成果如表1所示[35-44]。利用動作捕捉等技術,采用生物力學、人機工程學,從行為層面對工人作業(yè)姿勢進行疲勞度分析;引入機器學習、計算機視覺、動態(tài)決策、神經網絡算法等先進技術,分析人的行為表征,推測、預判人的作業(yè)意圖;為人機交互過程構建人體認知負荷評估模型,形成有效的認知負荷均衡機制和優(yōu)化方法,從認知層面形成自適應調節(jié)。這些都從不同領域闡述了智能制造中研究人的因素的重要性。

↓ 表1 智能制造中人的因素相關研究成果 Tab.1 Research achievements related to human factors in intelligent manufacturing

與此同時,更多學者將人因工程的研究引入智能制造系統(tǒng),YANG等[45]針對智能制造監(jiān)控系統(tǒng)開展了“人在回路”的相關人因研究,探索通過瞳孔變化預測腦力負荷,以提高監(jiān)控系統(tǒng)的宜人性設計。王柏村等[46]將“面向智能制造的人因工程”定義為:基于對人、機器、技術和環(huán)境的深入研究,發(fā)現并利用人的自然行為方式、工作能力、作業(yè)限制等特點,通過對智能制造系統(tǒng)中相關信息與工具、任務和環(huán)境、人員安排等進行合理設計,以提高智能制造系統(tǒng)的效率、安全性、舒適性和有效性的工程技術。由此看來,在“以人為本”的模式下,智能制造系統(tǒng)中的人因研究尤為重要,但針對該領域的研究相對匱乏,因此如何讓智能系統(tǒng)的設計更符合人的使用習慣,有效縮小人機交互鴻溝,使人能及時掌握復雜系統(tǒng)的運行態(tài)勢并做出正確反應,已成為人與智能系統(tǒng)融合的重要研究領域。

2.2?/ 人因工程助力“人本智造”

人因工程(human factor engineering,HFE)是近年來隨著科技全面進步與工業(yè)化水平大幅度的提升而迅猛發(fā)展的一門綜合性交叉學科,它綜合運用生理學、心理學、人體測量學、生物力學、計算機科學、系統(tǒng)科學等多學科的研究方法和手段,致力于研究人、機器及所處工作環(huán)境之間的相互關系和影響,以提高系統(tǒng)性能并確保人的安全、健康和舒適[47-48]。

面對工業(yè)4.0的迅猛發(fā)展和工業(yè)5.0的到來,人因工程始終以提高生產效率為目標,深入解決復雜的人與自動化、智能化的安全高效交互的問題[49]。隨著制造業(yè)的進步與發(fā)展,人因工程的關注焦點也從傳統(tǒng)的降低疲勞、體力解放、效率提升,轉變到人的智能增強,同時也推動了制造業(yè)的進步,特別是提升了工業(yè)、計算機等領域的信息交互系統(tǒng)的適人性水平[50-51]。同樣,本文將人因工程研究及發(fā)展方向從行為、意圖、認知三個層面進行聚焦(圖5)。

圖5 人本智造中人因工程的研究聚焦層次 Fig.5 Human factor engineering research focus level

(1)行為層面。行為層面的研究通常對人根據系統(tǒng)狀態(tài)表達出的顯性行為進行分析,獲取人的作業(yè)姿勢、物理行為、習慣特征等數據,并借助人機工效分析方法分析人體的可視性與可達性,判斷人的生理極限和作業(yè)能力,優(yōu)化作業(yè)流程與作業(yè)空間設計。

(2)意圖層面。意圖的研究聚焦為自然意圖的表達方式,基于人的眼動、手部動作、肢體運動等物理行為的特征屬性,通過多模態(tài)特征融合方法,明確操作人員的作業(yè)意圖、目的和期望,并根據具體作業(yè)意圖的多模態(tài)表達對系統(tǒng)做出優(yōu)化和調整。

(3)認知層面。認知層面的研究主要集中在人隱性狀態(tài)的表征,例如通過采集操作人員的心電、腦電、皮膚電等多源生理數據,構建人的認知狀態(tài)模型和認知負荷量化指標等方法,開展對人的認知負荷、疲勞程度等的量化與評估。在操作人員都沒有意識到疲勞或異常狀態(tài)時,實現系統(tǒng)的主動感知與協(xié)調。

堅持以人為中心的理念、遵循系統(tǒng)工程思想和方法、直接面向設計和具體應用場景是人因工程的另一典型特征。當前,以人工智能、混合現實、云計算、大數據、物聯(lián)網等為代表的新技術與制造業(yè)加速融合,推動智能系統(tǒng)向更貼近人的智慧系統(tǒng)改變。影響深遠的科技革命和產業(yè)變革正在逐步興起,智能制造、智能生產單元、人機協(xié)同制造等新型生產方式不斷涌現,給人因工程的研究環(huán)境帶來了巨大的改變。人因工程的科學思想、理論方法、設計理念和技術應用將推進信息化與工業(yè)化的深度融合,推動智能裝備、可穿戴智能產品、虛擬信息顯示、增強現實、人機交互等技術快速發(fā)展,實現人與信息物理系統(tǒng)的有機結合,在不斷提升產品品質和制造業(yè)核心競爭力等方面發(fā)揮重要作用。

除此之外,中國工程院智能制造課題組的研究報告[52]指出:“智能制造系統(tǒng)是一個大概念,一個不斷演進的大系統(tǒng),是新一代信息技術與先進制造技術的深度融合,貫穿于產品、制造、服務全生命周期的各個環(huán)節(jié)及相應系統(tǒng)的優(yōu)化集成,不斷提升企業(yè)的產品質量、效益、服務水平,減少資源消耗,推動制造業(yè)創(chuàng)新、綠色、協(xié)調、開放、共享發(fā)展”,是我國制造業(yè)升級的發(fā)展方向[53],也與智能制造中的人的因素形成呼應?？紤]“以人為本”的智能制造,即從“人本智造”的四個維度出發(fā),在設計之初就充分考慮用戶需求和人的因素,根據消費者或目標用戶群的定位,利用互聯(lián)網、虛擬現實、多視角共享等智能技術,使用戶直接參與設計、研發(fā)、測評等環(huán)節(jié)。針對生產環(huán)節(jié)的設計或工作人員,利用知識工程、機器學習、自然行為交互等研究成果,開展人機協(xié)同設計、人機協(xié)作裝配、以人為本的生產管理等研究,全面提升產品設計、制造和管理的水平。

因此,如何完成先進技術與人因工程在智能制造系統(tǒng)中的整合是下一步需要解決的問題,形成一套前后端貫通的完整解決方案,從分析人的作業(yè)姿勢到識別人的行為意圖、均衡人的認知負荷的一體化智能制造系統(tǒng),充分考慮系統(tǒng)中人的因素,注重人的思維、情感和行為,關注不同操作人員的需求和意圖,融入人的多樣性和差異性,實現技術增強人而非取代人,縮小人機交互的執(zhí)行鴻溝和評估鴻溝,真正推動“人本智造”理念的實施與落地。

3

人本智造的發(fā)展趨勢與研究重點

以人為本的智能制造從人的行為、意圖和認知三個層次,將人因工程整合到虛實融合、多模態(tài)人機交互等先進技術中,在原有的智能制造系統(tǒng)基礎上擴大人因工程特征,通過人的生物智能與機器智能、人類用戶認知體與機器認知體之間的協(xié)同合作,形成可持續(xù)發(fā)展的人機智能互補式交互,最大限度地發(fā)揮人機協(xié)同合作優(yōu)勢和整體系統(tǒng)績效。

3.1?/ 虛實融合環(huán)境下的交互

當前,越來越多的虛擬現實技術在公共安全、工業(yè)互聯(lián)網、智慧城市、文化旅游等產業(yè)相關場景落地。國內外工業(yè)領域也在大幅開展虛實融合技術研究,通過虛實數據的融合實現虛實雙向動態(tài)連接,促進了信息系統(tǒng)與物理系統(tǒng)的融合發(fā)展,降低人在生產過程中的工作負荷。

增強現實技術(augmented reality, AR)作為將虛擬信息和真實世界融合的先進技術,在跟蹤注冊、可視化、多模態(tài)交互等技術領域都有大量研究,將計算機生成的虛擬信息添加到真實世界,實現兩者的互補和對真實世界的“增強”[54]。數字孿生模型作為典型的虛擬數字信息,將其疊加至制造業(yè)的真實物理環(huán)境是目前制造業(yè)實現虛實融合的一大研究重點。作為一個技術核心,跟蹤注冊的精度和準確度與虛實融合系統(tǒng)的最終效果密不可分。從當前真實空間場景中獲得實時數據,并根據觀察者的位置、角度、方向、視場等因素構建虛擬空間坐標系和真實空間坐標系的轉換關系,結合標記物、自然特征信息等,最終將三維模型、動畫、文本注釋等虛擬信息完美疊加至真實環(huán)境,從而提高裝配、運維等過程的操作效率。WANG等[55]基于AR協(xié)同環(huán)境、碰撞檢測、輔助評估工具等建立了AR裝配工藝方案的評估系統(tǒng),輔助工人從多個視角有效評估和改進裝配過程(圖6)。面向某汽車制造企業(yè)線束卡接等手工裝配作業(yè),WANG等[56]設計了基于AR的手部作業(yè)檢驗軟件,該軟件包括AR測試場景構建、手勢追蹤與驗證、虛擬模型操縱、碰撞檢測等4個模塊,可驗證操作人員手部的通過性和可達性,解決了當前基于CATIA的人機仿真模塊驗證方法存在的人手定義復雜度高、真實性差等問題。

圖6 增強現實裝配工藝方案評估系統(tǒng)[55] Fig.6 Augmented reality assembly process evaluation system[55]

面向“人本智造”理念,如何增強人與信息物理的交互,建立人的數字孿生體來反映人的真實狀態(tài),從而實現虛擬信息、真實環(huán)境與數字人的智能融合顯得尤為重要。驗證人與信息物理系統(tǒng)在協(xié)作生產過程中的安全性也是亟待解決的問題之一[15,17]。

數字人建模仿真技術是驗證操作人員可達性,保障人機協(xié)作過程中的工人安全,建立虛實融合環(huán)境下智能制造系統(tǒng)可靠安全機制的主要手段之一[57]。目前的仿真軟件建模方法存在仿真工作量大、操作繁瑣、動作連貫性差、對人體行為建模精確度低等問題,無法對實際復雜產品的操作人因風險進行全面驗證,專家只能在仿真任務完成后再對整個操作過程進行分析,工作周期長、生產成本高。通過動作捕捉設備、眼動儀等設備和人因分析方法,實時采集人的行為、生理、心理等相關數據,建立人的數字孿生體,實時生成高保真數字人模型,反映人在虛實融合環(huán)境下的狀態(tài),保證對作業(yè)人員行為的高精度建模,提高人因分析準確度,專家可以在人體數據輸出的同時進行動態(tài)分析作業(yè),實時更改產品設計,不需要在產品生產后再次試驗調整設計,從而起到縮短產品生產周期的作用。研究人-信息-物理系統(tǒng)的感知機制是實現以人為本的智能制造的關鍵點。文獻[58-59]針對某人因分析方法存在的分析周期長、仿真建模工作量大、虛擬人動作精度低等問題,開展了面向工業(yè)車間座椅裝配、手工涂膠作業(yè)任務的人機功效分析,驗證并評估手工裝配過程的工人操作可達性及安全風險性,提出一種基于AR的汽車總裝體力疲勞綜合評估方法(圖7),借助AR技術搭建汽車總裝典型場景,實現虛實融合場景的可視化、產品分析師和設計師多人視角共享及協(xié)同在線操作;利用動作捕捉系統(tǒng)真實準確地反映人體運動姿態(tài),實時捕捉人體運動學數據,完成體力疲勞度評估與分析。

圖7 基于增強現實和動作捕捉設備的人因分析系統(tǒng)[58-59] Fig.7 Human factor analysis system based on augmented reality and motion capture equipment[58-59]

人機結合、虛實融合是新一代智能制造系統(tǒng)的顯著特征,通過增強現實、虛擬現實的頭戴式設備幫助工作人員接入制造系統(tǒng)的數字孿生系統(tǒng),從而“身臨其境”地全方位感知系統(tǒng)狀態(tài);在裝配、運維過程中增強信息的智能呈現,以便于操作人員理解,降低操作負荷,減小人機交互執(zhí)行鴻溝[60]。利用動作捕捉設備采集人體行為數據,實現動態(tài)人機工程的仿真驗證與分析,為實時感知系統(tǒng)狀態(tài)、完成動態(tài)調整提供了便捷,同時也滿足了智能制造柔性可變、快速響應的需求。隨著數字化信息技術與增強現實輔助技術的廣泛應用,研究虛擬數字信息與真實物理場景融合環(huán)境下的人與數字化信息交互的工業(yè)現場(圖8)已成為未來工業(yè)發(fā)展的新趨勢。

圖8 HCPS中的虛實融合技術 Fig.8 Virtual-reality fusion technology in HCPS

3.2?/ 多模態(tài)意圖識別

智能制造系統(tǒng)中,人機角色發(fā)生轉變,工作人員的活動范圍更加靈活多變,對系統(tǒng)的控制及作業(yè)意圖的表達方式也不再局限于命令行、圖形界面、鼠標和鍵盤等利用輔助設備進行的人機交互。自然用戶界面(natural user interface,NUI)[61]提倡用戶不需要學習,憑借感知器官與經驗來接收信息,利用自然行為表達作業(yè)意圖,降低了用戶的操作和學習成本,從而縮小人機交互的執(zhí)行鴻溝。交互發(fā)生在三維的物理空間中時,智能制造系統(tǒng)現場任務及環(huán)境的動態(tài)變化會導致同樣的輸入代表不同的語義,因此需要考慮作業(yè)任務與環(huán)境的實時動態(tài)變化來準確識別操作人員的作業(yè)意圖。隨著增強現實、人工智能、機器視覺等新型技術的迅猛發(fā)展,以及交互環(huán)境的變化,傳統(tǒng)的交互方式不再滿足智能制造的發(fā)展需求,這使得新型人機交互模式逐漸涌現,依托以眼動、手勢、語音等多模態(tài)生理信號為核心的自然交互模式成為未來助力智能工廠人機協(xié)作能力提升的新方向。

現有較為成熟的交互方式有語音交互、手勢控制、觸覺交互、眨眼檢測及眼跟蹤技術等。在人類感知信息途徑中,通過視覺獲取對外信息的比例高達83%,大大超過其他感知覺。相對于手控、語音等方式,視覺交互縮短了中央加工與動作執(zhí)行的反應時間,可實現多任務同步處理,且受環(huán)境影響較小。但眼動信號中的認知成分較少,無法判斷注視行為屬于無意識還是有意識即發(fā)生“米達斯接觸”問題,因此通常采用增加視覺反饋體系、反復定位確認與交互,以及外界信號觸發(fā)輔助等解決方法[62-63],但這都給眼部帶來了額外的負擔與勞累,加劇視疲勞的產生,造成用戶體驗下降。如何在有效解決“米達斯接觸”問題的同時避免疲勞是目前視覺交互技術研究的重點。多模態(tài)交互方式充分利用各模態(tài)間的優(yōu)勢互補,融合多種模式的綜合語義輔助視覺通道,精準定位目標、準確識別意圖,對縮短定位時間、減緩視覺疲勞有著重要作用。相比于基于單一模態(tài)數據的交互方式,基于多模態(tài)融合交互方式的空間覆蓋率、時間覆蓋率和決策準確度更高,可以有效進行信息互補,多方面描述數據對象特性,成為復雜作業(yè)環(huán)境下實現人機交互意圖感知的有效途徑[64-65]。

虛實環(huán)境與多模態(tài)人機交互技術的結合為實現智能化生產車間的智能人機融合提供了技術路徑。微軟發(fā)布的HoloLen2增強現實頭戴式設備支持手勢、語音、眼動等交互方式,通過示教系統(tǒng)可用于復雜產品生產車間,輔助員工完成裝配培訓,并看使用Dynamic 365 Layout驗證生產布局[66]。目前,針對人與虛擬信息的自然交互方式的研究還不成熟,在利用增強現實設備完成操作的過程中,出現了許多人因問題。由于用戶體驗的差異性和多樣性,以及用戶認知能力的不同,當前的技術及相關產品無法以人們所習慣的方式與人們進行信息交流、提供主動服務,不能滿足人機交互系統(tǒng)個性化、柔性化的要求。為提升用戶體驗,將多模態(tài)自然交互與用戶畫像相結合,深度挖掘用戶的需求和意圖,真正實現用戶行為的個性化識別和理解,縮小人機交互的評估鴻溝,促進“以人為本”的智能制造發(fā)展。FANG等[67]面向制造業(yè)裝配場景,將增強現實作為媒介連接人和機器人,實現人機的多模態(tài)交互,并基于該系統(tǒng),提出一種增強現實環(huán)境下的個性化人機協(xié)作裝配意圖識別方法(圖9),針對用戶在典型人機協(xié)作裝配過程的物理行為習慣及特征,以單個用戶為中心采集多維度、強相關的數據,構建用戶畫像模型,構建基于用戶行為習慣的多模態(tài)特征融合方法模型,并對增強現實環(huán)境下的習慣手勢、語音和視覺等物理行為進行識別,利用基于改進HMM和貝葉斯融合的決策層融合方法,實現面向不同用戶的個性化意圖識別,為用戶提供更精準的個性化服務,有效改善人機協(xié)作過程中的用戶體驗。

3.3?/ 科學的認知量化方法

面對以智能制造為核心的產業(yè)和科技變革,制造企業(yè)應積極采取行動,推動轉型升級,提高自動化、數字化水平。現階段,我國制造業(yè)仍存在自動化水平不高、手工依賴程度高的問題,工人面臨的操作任務愈發(fā)繁重。復雜的機電系統(tǒng)和長時間的人機協(xié)同作業(yè)容易對操作人員產生巨大的認知負荷。因此,形成對認知負荷的準確量化和有效均衡是保障人機協(xié)同安全穩(wěn)定的關鍵。

操作人員面對復雜系統(tǒng)時的主要任務是“信息獲取-判斷-決策-響應”過程,屬于掌控系統(tǒng)運行狀態(tài)的腦力活動,因此人機協(xié)同作業(yè)時的工作負荷主要表現為認知負荷。徐小萍等[68]提出了基于認知的虛擬現實人機交互系統(tǒng)框架,并開展了交互通道與認知負荷的影響機制研究。認知負荷反映同時施加在工作記憶中所有智力活動的數量,任何認知加工活動均需消耗認知資源。不同交互通道帶來的認知負荷不同,如果在同一時間多任務并行處理產生的認知負荷超過個體所擁有的認知資源總量,將導致認知負荷超載,直接影響操作者的任務績效;另一方面,過低的任務需求通常會造成操作者參與不足,即認知負荷欠載,容易出現疲勞與自滿情緒,此時任務需求的突然增加、突發(fā)意外等情況會使操作者迅速進入高度緊張狀態(tài),影響操作者做出正確決策[69],即操作者表現與腦力負荷及大腦認知資源供需的倒U型關系模型[18]。因此,控制認知負荷的均衡可以有效提高人機協(xié)作效率。劉文等[70]分析了指揮控制系統(tǒng)界面認知負荷的來源及類型特點,形成了面向指揮控制系統(tǒng)界面認知負荷的均衡策略,主要包括圖像復雜度控制、用戶需求信息合理呈現、信息編碼與視覺搜尋匹配等?？娤嗔值萚71]提出一種動態(tài)調整用戶認知負荷水平的智能空間增強現實系統(tǒng),根據用戶認知狀態(tài)動態(tài)調整空間增強現實系統(tǒng)的增強信息,使用戶處于最佳工作狀態(tài),提高工作效率,保證工作質量。因此,從面向用戶認知的生理信息融合角度出發(fā),構建認知負荷定量表達模型是完善人機協(xié)同系統(tǒng)、提高態(tài)勢感知、實現正確決策的重點。

人機協(xié)同認知負荷評估與均衡問題可從“科學評價、準確量化、有效均衡”三方面開展研究。通過生理參數的動態(tài)表征揭示操作人員認知負荷的演變機理,是神經生理學和認知心理學領域具有挑戰(zhàn)性的科學難題。在多通道交互的情況下,生理指標的變化易受交互通道的選擇影響。同時,認知負荷水平的不確定性、抽象性、經驗依賴性、個體差異性、學習遷移效應等特征導致以生理參數量化描述認知負荷水平的變化存在技術難度。腦電、心電、肌肉電等多源生理信號的有效融合極大依賴操作任務與認知數據,復雜作業(yè)任務產生大量認知活動及決策行為數據,同時伴隨認知行為時序關聯(lián)、認知負荷的隱式干擾、認知狀態(tài)和變化順序等多層級耦合關系。由于生理參數敏感度不同、難以同步、存在競爭與互補效應等問題,要從中提取不同生理信號與認知行為相對關系,結構化學習信號特征,融合不同維度信號來反映增強現實環(huán)境下多通道交互過程中的認知負荷動態(tài)變化面臨較大難度。人機協(xié)同運維過程中,“人在回路”的行為決策是在人內部認知空間與外部環(huán)境元素的共同作用下產生的,是環(huán)境信息要素與認知負荷的樞紐。揭示人機協(xié)同過程中的態(tài)勢元素、個體認知負荷、行為決策的關聯(lián)關系,是對認知負荷有效均衡的關鍵,對降低認知任務的復雜性及難度、提高人機協(xié)同的作業(yè)績效至關重要。

因此,明確主體多生理指標的認知負荷誘發(fā)策略與演變機理并對其進行科學量化表達,是揭示認知負荷水平變化的關鍵;建立相應的人機協(xié)同認知負荷均衡機制,從而降低認知任務的復雜性,提高人機系統(tǒng)的作業(yè)績效。這對在新環(huán)境、新技術、新模式下開展人因工程相關研究,縮小人機交互鴻溝,推動人本智造的發(fā)展有著實際性的作用。

4

發(fā)展與建議

4.1?/ 學科發(fā)展

智能制造作為典型的系統(tǒng)工程,強調數字化智能設備、機器人、物聯(lián)網、人工智能等關鍵技術在制造系統(tǒng)中的集成,涉及機械工程、控制科學與工程、計算機科學與技術等多個學科。面向世界范圍的科技革命和產業(yè)變革,針對中國制造的發(fā)展需求,順應“兩化融合”國家戰(zhàn)略,國內多所高校相繼設立了智能制造工程等“新工科”專業(yè)。與此同時,國家自然科學基金委在2020年成立了交叉科學部,明確了強化學科交叉和尋求新的科研范式是未來科技快速發(fā)展的必由之路。人因工程作為典型的交叉學科,被列為交叉學部的重點研究方向之一。

在“新工科”專業(yè)與交叉學部的建設支持下,加強人才儲備和梯隊建設,注重對智能制造專業(yè)人才進行人因工程等相關知識的教育。以人因工程的基礎理論與研究方法充分武裝掌握現代化機械、電子、智能生產與管理的專業(yè)知識和技能的智能制造專業(yè)人才,把人因融入系統(tǒng)設計、研制與運維等不同周期,解決智能制造發(fā)展過程中各個相關領域出現的典型人因問題。積極開展跨學科探索性研究,推動機械工程與認知科學、信息科學、心理學等相關學科的交叉融合,促進傳統(tǒng)學科與新型學科的交叉融合,為面向智能制造的人機交互與人因工程持續(xù)發(fā)展與深度應用提供強大的科學儲備。

4.2?/ 研究方向

面對智能制造人機交互與人因工程的發(fā)展需求,從研究現狀看,在行為、意圖、認知三個層面解決HCPS的人與信息系統(tǒng)、物理系統(tǒng)之間的鴻溝問題,是未來智能制造中的人因工程需要著重探索的研究方向,這包括人與智能設備的交互、人-信息-物理三元虛實融合感知、量化的科學標準等方面。

(1)開展人與智能設備的交互友好性研究,重視智能設備在設計及信息呈現、行為反饋上的宜人性表達,實現智能設備與人的良性互動,解決智能制造系統(tǒng)中大量的智能設備給人的操作和認知帶來的不可避免的壓力問題,保障人對系統(tǒng)的準確態(tài)勢感知。

(2)實際生產場景、操作人員行為及產品虛擬模型之間的虛實融合感知機制是未來需要解決的關鍵科學問題。由于虛擬產品模型、實際生產現場與真實操作人員的物理屬性不同,導致虛擬世界與真實世界融合困難。此外,目前的增強現實技術僅支持虛擬信息的顯示與疊加,缺少實際的交互感知。因此,對虛擬世界與真實世界的智能標定與個性化交互方法展開研究:①研究產品的智能推送,建立輔助維修資源庫,實現從IETM的交互式維修手冊到AR手冊的智能化生成;②融合用戶畫像,通過意圖識別,構建符合操作人員個性化特征的智能推送方法,將人的需求作為信息推送的驅動力,滿足操作人員的屬性多樣性及個性化需求;③分析人在使用AR系統(tǒng)時的認知負荷產生原因,結合腦電、眼動、手勢等多模態(tài)交互方式,提取人的潛意識形態(tài),智能化為用戶提供最舒適便捷的操作環(huán)境及方式,有效降低疲勞度和操作負荷,研究虛實信息的柔性化融合機理,從而實現人-信息-物理三元虛實融合。

(3)建立完善的人因工程研究規(guī)范與測評技術,形成量化的科學標準,將定性問題轉化為可參考的定量指標,形成主客觀結合、定性定量綜合集成的人因評價標準,以解決人作為人因工程的主要研究對象,在面對不同作業(yè)需求、新型系統(tǒng)和復雜問題時產生的心理變化、認知思考和決策執(zhí)行能力存在多樣性及差異性的問題。

表2列舉的國際期刊中,多數已發(fā)布面向智能制造或工業(yè)4.0的人因工程特刊,以鼓勵相關研究。

↓ 表2 國際關注智能制造及人因工程領域期刊 Tab.2 The list of journals in related domains

5

結論

本文立足于智能制造發(fā)展過程中存在的實際問題，基于人-信息-物理系統(tǒng)理論與技術體系，討論了人機協(xié)同的必要性，以及人在智能制造系統(tǒng)中發(fā)揮的重要作用,梳理了人因工程在促進人本智造中的相關研究重點，針對學科發(fā)展與主要研究方向,提出了智能制造系統(tǒng)中人因工程的發(fā)展與建議，以期為我國新一代智能制造系統(tǒng)的發(fā)展提供建議與參考。

編輯：黃飛