摘 要

破壞性的自然災害如地震、火災事故時有發生，已經成為我國乃至全世界對人類生命和財產安全的重要威脅之一。特別是在城市中，自然災害導致的危樓中存在大量被困幸存者。應用機器人技術對受傷幸存者開展快速且有效地救治、搬移、轉運具有重要意義。然而已有的面向骨傷傷員搬移任務的機器人，更多關注的是搬移、轉運的效率，并未著重考慮骨傷幸存者易受到搬移過程二次傷害的問題，無法滿足實際救援中對骨傷幸存者安全高效救援的需求。本文受骨傷幸存者人工搬移操作方法的啟發，提出了仿生輔助搬移機器人設計方法，用于高效再現人工搬運對脊柱的保護機制?；诎嵋七^程中人體支撐機理分析進行仿生研究，以滿足骨傷傷員搬移的任務作業能力，提升機器人感知決策能力，保證操作過程安全性為研究目標，開展仿生輔助搬移機器人系統研究。主要研究工作和相關結論如下：1）仿生輔助搬移機器人設計與單元系統測試。開展基于人工搬運原理的仿生輔助搬移機器人設計，基于工作空間分析和結構輕量化設計實現負載 120kg 的大負載自重比機械臂設計。基于對人工搬運中脊柱保護機制的解析，開發基于多段式固定的仿人搬移工具。研究不同接觸部位的差異化設計，柔性接觸結構、地面自適應機構及拓撲優化設計等關鍵技術。針對仿人搬移工具的工作空間及夾持力開展性能試驗研究，驗證了仿人搬移工具對不同傷員尺寸和姿態的適應性和實用性。2）仿生輔助搬移機器人運動學及關鍵參數標定?；诜律o助搬移機器人結構特點的分析，構建了機械臂和移動平臺聯合的運動學模型，提出了逆運動學解析解求解方法，并通過仿真分析驗證了正、逆運動學模型的準確性。研究基于不同相機設置的關鍵參數標定方法，獲取了機器人自動引導控制中全局視角和局部視角的關鍵相機參數。針對肢體精準定位的難題，建立了基于合作目標的人體肢體定位成功率的評價方法。3）面向搬移操作的傷員體重估計及尺寸測量。為提升機器人進行搬移操作的安全性，提出了一種基于單張圖像的人體體重估計方法。通過研究人體模型重建、人臉模型重建、圖像深度特征提取關鍵技術，提出了包括上軀干高度與腹部面積比、臉頰面積占比等的多種虛擬測量參數，并驗證了測量參數的相關性。提出基于人臉測量特征、人體測量特征、深度特征融合回歸的三分支體重估計網絡框架，通過在不同數據集上進行的算法對比性能試驗，實現了最優的預測效果。通過大量消融試驗，驗證算法各個模塊的有效性，通過數據集及實際試驗證明，該算法有效降低了二維圖像到三維空間的模糊性。4）基于深度強化學習的機器人自動引導控制研究。為提升傷員救援機器人操作效率，提出一種基于深度強化學習的機器人自動引導控制方法?；陔p視角圖像及預訓練的人體語義特征提取器，建立了面向肢體定位的機械臂自動引導控制框架，通過交叉注意力機制實現了不同視角特征的相互推理。面向人體個性化姿態和穿著導致的虛實遷移難題，提出了基于人體模板固定語義的人體重建模型匹配全局圖像的方法，并在不同體重和姿態下進行性能測試。仿真和實際環境的大量試驗表明，所提出的方法在人體肢體自動引導任務的成功率顯著高于基于日常物品操作預訓練的現有方法，為提升機器人操作控制效率提供了新的參考。5）仿生輔助搬移機器人系統集成設計與性能試驗。在機器人結構優化、算法開發的基礎上，集成開發了仿生輔助搬移機器人樣機系統，研究面向實際救援場景的機器人硬件、軟件設計關鍵技術。在集成后的樣機系統上進行了最大負載能力、搬移過程人體安全性的試驗測試。試驗結果驗證了機器人的關鍵性能指標。通過搭建傷員救援任務模擬環境，驗證了機器人危樓特殊地形通過性及傷員搬移、傷員轉運作業的任務完成能力。

AbstractDestructive natural disasters such as earthquakes and fires occur frequently, posinga significant threat to human life and property safety in China and around the world.Particularly in urban areas, natural disasters can leave many survivors trapped indangerous buildings. The use of robotic technology for the rapid and effective rescue,transfer, and transportation of injured survivors is crucial. However, existing rescuerobots that focus on bone injury survivors mainly emphasize efficiency in transfer andtransportation without specifically addressing the risk of secondary injuries duringtransport; thus, these robots fail to meet real-world rescue needs for bone injurysurvivors.Inspired by manual handling methods used by rescue personnel for bone injurysurvivors, this paper proposes a bioinspired assistive transfer robot design method toefficiently replicate the spinal protection mechanism of human handling. This research,which is based on an analysis of human body support mechanisms during transfer, aimsto fulfill the operational capabilities for bone injury survivor transfer tasks, enhancerobot perception and decision-making abilities, and ensure safety during operation bydeveloping a bioinspired assistive transfer robot system. The main research work andrelated conclusions are as follows:1) Design and system testing of the bioinspired assistive transfer robot:Implementing a bioinspired assistive transfer robot design on the basis of manualhandling principles, with a focus on workspace analysis and structural lightweightdesign to achieve a high load?to?weight ratio arm capable of carrying up to 120 kg. Onthe basis of an analysis of the spinal protection mechanisms used in manual handling,a multi-segment fixed bioinspired transfer tool has been developed. Research includesdifferentiated designs for different contact parts, flexible contact structures, ground-adaptive mechanisms, and topology optimizations. Performance tests on the workspaceand clamping force of the bioinspired transfer tool have verified its adaptability andpracticality for different sizes and postures of casualties.

目錄

摘要

abstract

第1章 緒論

1.1 研究背景與意義

1.2 傷員救援機器人研究現狀

1.3 傷員身體三維模型重建的研究現狀

1.4 基于圖像的人體體重估計研究現狀

1.5 基于深度強化學習的機械臂引導控制研究現狀

1.6 本文研究內容和技術路線

第2章 仿生輔助搬移機器人設計與分析

第3章 仿生輔助搬移機器人運動學建模與參數標定

第4章 面向搬移操作的傷員體重指數估計

第5章 基于深度強化學習的機器人自動引導控制研究

第6章 仿生輔助搬移機器人性能試驗研究

第7章 總結與展望

參考文獻

第 1 章 緒論

1.1 研究背景與意義破壞性的自然災害如地震、火災事故時有發生，已經成為我國乃至全世界對人類生命和財產安全的重要威脅之一。近年來，我國發生了天津濱海新區危險化學品爆炸，汶川地震等一系列的國家重大公共安全事件。這對于應急救援中裝備布置的快速性以及處理的高效性提出了迫切要求。在發生重大災難時，消防和救援服務的首要任務是在事故現場尋找幸存者，并在黃金 48 小時之內救治傷員。隨著我國城鎮化水平的提升，發生重大災害（火災、地震等）后，城市內的災害現場大部分是危險建筑廢墟，狹窄樓內通道等惡劣室內環境。危樓廢墟環境中傷員的高效安全救援一直是救援難題。目前，危樓廢墟內的傷員救援相比其他場景存在三個挑戰：樓內空間小導致無法容納大量的救援隊員和設備；樓內隨時有坍塌風險，嚴重威脅救援隊員安全；樓內傷者人員密度大，無法在短時間內完成所有傷員的救援。

危樓救援場景

目前，危樓內部傷員救援的方式主要依賴人工和輔助裝備。為解決救援任務繁重和救援人員嚴重不足的矛盾問題，眾多研究機構紛紛開展救援機器人的研究工作。通過救援機器人來協助或代替傳統救援人員的工作，提升救援的效率和安全性。急救醫學研究證明，不同傷情的傷員必須采用不同的救援方式，來最大程度地避免人體受到二次傷害。在 2008 年我國汶川地震的傷員傷情分布情況研究中，Jin 等[1]通過統計學的方式研究了 1856 名傷員的受傷情況，其中四肢損傷和軀干損傷的傷員占比高達 85.5%，而軀干損傷中脊柱損傷的傷員占比達到了 41.2%。Ikuta, Eisuke 等[2]研究分析了 1995 年日本阪神地震震后的醫院外科救治記錄，結果顯示傷情中占比最高的前三位分別是創傷性窒息、脊髓損傷和復合擠壓傷。Min[3]統計了華西醫院在 2010 年我國玉樹地震后的接診傷員病例，其中脊柱損傷傷員數量僅次于上肢骨折和下肢骨折傷員數量，占比排在第三位。陳長坤等[4]統計了巴基斯坦、海地、尼泊爾等幾次重大地震后的致傷原因、受傷部位及受傷類型，統計結果顯示前三位的受傷類型為四肢骨折占比為 52.6%，全身軟組織損傷占比 21.5%，脊柱骨折占比 5.4%，可見上、下肢損傷和脊柱損傷是占比最高的三類傷情，對于無行動能力傷員，需要救援人員對受傷部位處理、固定后再進行搬移、轉運，其中救援難度最大是脊柱損傷傷員。有統計顯示，約 20%的脊柱損傷傷員在入院前死亡，高達 25%的脊柱損傷在搬移和運輸中由于操作不當受到了二次傷害導致病情加重，其中多數幸存傷員往往需要接受多次甚至終身治療，對傷員的后續生活和社會都造成了巨大的負擔。

1.2 傷員救援機器人研究現狀國外早在上世紀就提出了救援機器人的概念，通過部署不同類型的移動機器人可以幫助救援人員更快地定位傷員，已經有很多救援機器人研究成果應用到了真實救災場景中。2001 年世界貿易中心襲擊后，移動機器人 PackBot 參與了救援任務[5]。2004 年日本東京工業大學研制的 Souryu 機器人參與了日本新宿地震救援[6]。我國救援機器人研究起步較晚，中國科學院沈陽自動化研究所研制的機器人 AMOEBA[7]在四川蘆山地震災后救援中執行了生命探測和搜救任務。目前已經應用的機器人，功能上更側重于生命探測或信息采集，無法完成傷員搬移、轉運。從技術路線上劃分，已有研究中能夠完成傷員轉移和搬運的機器人可以分為雙臂型救援機器人和復合型救援機器人兩類。

生命探測和搜救機器人

1.2.1 雙臂型救援機器人研究現狀雙臂型機器人的研究最早可追溯到 1959 年，美國 Sandia 實驗室開發了雙臂型機器人用于操作深海中的放射性物質[8]。在此之后越來越多的研究機構和企業開始進行雙臂型機器人的研究。在工業領域中雙臂型機器人得到了很多應用，美國 Rethink Robotics 公司生產的 Baxter 機器人[9]可完成物品抓取、拆解包裝等操作。瑞士 ABB 公司研制的 Yumi 機器人能夠完成精密零件的裝配，并配有安全保護機制。德國航空航天中心（DLR）研制的 Rollin Justin 機器人[10]，可用于協助宇航員太空作業，能夠完成復雜的雙臂協作任務。我國新松公司研制的 Duco機器人，通過協作型雙臂能夠完成裝配和調酒等操作。工業領域應用的雙臂機器人雖然能夠實現高精度的雙臂操作，但因其負載能力和人機交互性的限制無法應用于醫療看護、戰場救治等場景中。面向人機安全操作的雙臂型機器人可追溯到 2006 年日本仿生研究中心發布的 RI-MAN 機器人[11]，應用了雙臂抱運人體的概念，能夠執行醫療護理工作，但其負載能力只有 18kg。日本早稻田大學在 2007 年研制的 TWENDY-ONE 機器人[12]可輔助人完成一些日常負重操作任務。美國軍方于 2008 年公布了一款 Bear（Battlefield Extraction-Assist Robot）戰場救援機器人[13]，該機器人采用仿人形上肢設計，雙臂為液壓伸縮驅動，雙臂最大負載可以達到 240kg，在行走機構上采用履-腿復合式設計，能夠適應不同路況環境。日本理化研究所于 2015 年開發了一款 RoNA 機器人及相同原理的 RIBA 機器人[14]，該機器人與 Bear 機器人結構形式類似，同樣采用仿人雙臂設計，能在醫院內輔助護士完成病人移送操作，在行走機構設計上采用麥克納姆輪的全向移動方式，更適應室內環境應用。相比 Bear 機器人，RoNA 機器人在與人接觸的部位增加了柔性材料，并通過增加力傳感器提升舒適性，負載能力為 63kg。韓國國立首爾大學于 2019 年開發了一款 HURCULES 機器人[15]，該機器人采用電機驅動的多關節機械雙臂實現人體的抱運操作，行走機構的設計采用和 Bear 機器人相似的履-腿復合結構。相比 RoNA 機器人和 Bear 機器人，該機器人設計了傷我國在仿人形雙臂機器人的研究多集中于精細操作型雙臂機器人，大負載的傷員搬移雙臂機器人研究較少，其中典型的研究包括香港中文大學 2017 年開發的 RescueRot 救援機器人[16]，雙臂各具備 4 個自由度，采用了最大負載 250kg 的履-腿復合式移動平臺，操作人員可以通過穿戴設備進行雙臂控制，最大負載設計為 85kg。中國科學院沈陽自動化研究所于 2019 年開發的雙臂型救援機器人[17]在形式上與 RescueRot 類似，同樣采用了履-腿復合式移動平臺設計，機器人雙臂各有 6 個自由度，在執行救援任務的操作上相比 RescueRot 更加靈活，雙臂都采用多關節電機驅動，雙臂最大負載可達 75kg，對于傷員搬移同樣采用了雙臂搬抱的方式，為了提升雙臂執行傷員搬運任務時傷員的舒適性和安全性，機械臂各個關節與人接觸的部分都采用了柔性材料。目前已有的仿人雙臂機器人已經能夠完成人體的抱起、轉移等操作，其工作過程都是通過模仿人工抱運的方式，首先將雙臂伸入傷員的背部和腿部下，之后通過調整機器人腰部關節的角度實現雙臂的同時抬起，最后調整雙臂關節位置完成傷員的抱起。對于有脊柱骨傷的傷員，雙臂型機器人從單側伸入人體下并抬起的搬移方式，勢必會導致搬移過程中人體脊柱角度的大幅度變化，同時缺乏對頸椎和肢體的固定，容易引發傷員的二次傷害，難以實際應用到骨傷傷員的救援中。

協作型雙臂機器人

1.2.2 復合型救援機器人研究現狀復合型救援機器人與雙臂型機器人在搬移人體的技術實現路線上有本質的不同，其主要區別在于復合型救援機器人通常不采用搬抱人體的方式，而是采用拖拽人體或整體夾持人體方式來實現人體位置的轉移。復合型救援機器人采用拖拽人體的方式可以降低機構的負載設計要求，2007年美國陸軍研制的 REV 傷員后送機器人[18]可以將傷員進行收納，快速轉移至安全區，但傷員從地面到升降擔架的搬移需人工或 REX 機器人拖拽完成。日本消防廳研制的 RoboCue 機器人[19]采用輸送帶和雙臂復合的方式來搬移人體，通過夾持傷員衣服將其平緩放置在自動輸送帶上，后通過輸送帶回收完成傷員搬移操作。2018 年美國專利也公布了相似原理的 SAVER 機器人[20]方案，雙臂調整傷員姿態后，通過肩部固定裝置進行傷員的拖拽。英國帝國理工大學 2021 年開始研發 ResQbot 系列機器人[21]，該機器人的傷員轉移機構設計在輪式移動平臺上，主要用于室內環境的救援任務，第二代新增設計了充氣型結構來固定傷員頭頸部和肩部，之后結合傳送帶傾斜的方式將傷員搬移到機器人上，與 RoboCue 機器人相比，該機器人雖然結構簡單，但對被操作傷員的初始姿勢有很嚴格的限制。具有類似原理的機器人還包括日本研制的 Stretcher 系統[22]，采用兩段傳送帶的方式將人體轉移到機器人上，操作過程需要人工輔助。2022 年奧地利研制的 RTE機器人[23]通過機械臂將繩索固定在人體上后，再通過拉動繩索將人體拖拽到機器人上。拖拽人體方式雖然降低了機器人驅動的復雜度，但拖拽過程無法保證人體脊柱保持中立位，并不適用于骨傷傷員的轉移。我國在復合型救援機器人的研究起步較晚，多是針對野外開闊場景的傷員救援，主要目標是解決非骨傷傷員的拾取和轉運問題。有代表性的研究成果有中國科學院沈陽自動化研究所 2021 年研制的傷員拾取機器人，通過機械臂夾持傷員衣服的方式將傷員抬至擔架上，之后將擔架抬起回收至機器人艙內，完成傷員的搬移和轉運。同年燕山大學研制了一種多臂協作式救援機器人[24]，通過多臂環抱的方式支撐傷員身體并將人體抬起，多臂同時支撐的方式分擔了人體整體重量，緩解了人體局部部位的應力集中，多臂系統采用了相同的模塊化設計，并沒有考慮人體各個部位尺寸的差別，無法進行人體頭頸和肢體的固定，同時多臂系統安裝在機器人內部，導致機器人的寬度很大，只能適用于野外開闊的場景中。綜上所述，已有機器人系統和結構形式雖然都無法適應危樓內部骨傷傷員的救援要求，但為后續骨傷傷員救援機器人設計提供了新的思路。

1.3 傷員身體三維模型重建的研究現狀傷員救援機器人在進行人體操作前需要以人體信息作為輸入條件，來保證傷員的安全，其中傷員身體的三維重建模型是最重要的數據之一。從視覺中重建人體模型一直是計算機視覺研究的熱點之一，在過去的二十年中，從 RGB 圖像中預測人體關鍵點、輪廓、語義分割信息已經取得了很多優秀的成果。但一方面現實環境中人體復雜的姿態很難用 2D 信息或稀疏 3D 關節表示清楚，需要更精細的描述；另一方面人體是通過皮膚而非關節與現實交互，因此對于人體肢體、姿勢的重建是非常重要的。

1.3.1 基于數據累計方法的研究現狀人體三維重建最直觀的方法是通過 3D 掃描設備對人體表面進行掃描，微軟和谷歌都曾采用多視角的深度相機和紅外相機進行高質量的人體深度信息預測，通過空間點云的拼接進行人體的幾何重建。雖然多視角相機重建方法得到了最高質量的模型，但搭建成本高、重建耗時長、流程復雜，限制了其應用的領域。隨著消費級深度傳感器如 Kinect、ZED 相機的研發，越來越多的研究開始專注于通過深度相機來重建場景的三維幾何。DynamicFusion[25]是具有代表性的算法之一，其借鑒了 KinectFusion[26]中多個深度圖融合的方法，通過輸入單個深度相機的深度信息，結合非剛性變形表示來處理動態物體重建的問題。為解決動態人體模型非剛性配準不確定性的問題，有研究開始在模型中增加人體先驗信息來應對復雜人體姿態，BodyFusion[27]算法使用了預先定義的人體模板作為初始模型，結合人體關節約束了網格非剛性變形。DoubleFusion[28]算法使用了雙層模型結構來處理人體形狀和局部細節，結合基于體素和表面模型的非剛性配準方法，提升了動態人體的重建精度。Fusion4D[29]、UnstructuredFusion[30]則是通過使用多個消費級深度相機掃描人體的方式來消除使用單臺設備時存在的盲區，并得到了高質量的人體重建模型。目前基于數據累計的方法已經能夠重建高質量的人體模型，但也導致其模型頂點數目非常多，實時性差。使用人體模板來約束網格變形可以顯著提升計算速度，但由于自掃描約束的限制，重建質量非常依賴一個準確的初始模型。在危樓內傷員救援場景中，機器人計算資源有限且無法提供傷員高質量的初始模型，導致基于數據累計的方法很難到達預期的重建效果。

1.3.2 基于人體模板方法的研究現狀早期的人體模板采用的是基于幾何圖元拼接的方法，Marr 等[31]采用圓柱體拼接表示人體，Pentland 等[32]建立了物理約束模型來跟蹤人體跳躍動作，此外還有采用橢球、變形球等方法來表示人體，但都不具備逼真的人體網格。隨著 3D掃描技術的發展，更多的研究開始關注人體統計模型的建立，將 3D 掃描得到的密集點云數據轉化為可動畫的 3D 人體網格，其中 SCAPE[33]和 SMPL(SkinnedMulti-Person Linear Model)[34]是兩個最具代表性的模型，SCAPE 和 SMPL 都是可變形的人體模型，都采用形狀參數和姿態參數，SCAPE 中的形狀參數表示了不同人體之間的身材差異，姿態參數表示同一個人體在不同姿態下的變化，通過稀疏控制點來表示人體的三維形狀。SMPL 是基于 SCAPE 的一種改進模型，通過基于頂點的線性模型描述人體，模型中將人體形狀表示為 10 維的參數向量，將人體姿態表示為 72 維的關節向量，相對 SCAPE 模型計算效率更高，更適合實時渲染和交互應用。隨著對于 SMPL 模型研究的深入，Romero 等[35]建立了包含雙手的 SMPL-H 模型，Pavlakos 等[36]建立了包含 FLAME 頭部模型[37]和 MANO 手部模型[35]的 SMPL-X 整體模型。得益于 SMPL 開源社區的不斷發展，越來越多基于預定義人體模板的算法被提出并取得了很好的效果。本節總結的方法都是針對衣服下人體的形狀和姿勢估計，并不考慮衣服和頭發的重建。從方法上可以將這些研究分為兩類：基于優化的方法和基于回歸的方法。基于優化的方法將參數化的人體模型擬合到 2D 圖像上，基于回歸的方法是利用深度神經網絡直接從 2D 圖像的像素中回歸得到模型參數?；趦灮姆椒ㄖ饕ㄟ^目標函數來估計得到與 2D 圖像一致的模型，目標函數通常包括數據項和正則化項，數據項用于約束 2D 圖像中人體與網格模型的重投影誤差，而引入正則化項是為了得到更合理化的人體關節角度。在早期的工作中，需要手動提供關鍵點用于得到初始的 3D 關節人體姿勢和形狀[38]。隨著OpenPose[39]等 2D 關鍵點檢測算法的進步，Bogo 等[40]提出了基于 SMPL 模板的SMPLify 方法，首次通過迭代將 SMPL 模型擬合到檢測到的 2D 關鍵點，應用最小化能量函數的方法進行優化，包括數據項中懲罰 2D 關節關鍵點和 SMPL 關節之間的距離，通過姿勢先驗來避免模型中不合理的關節角度，形狀先驗來避免生成極端的人體體型，碰撞懲罰避免模型中肢體的穿插。不同于 SMPLify 只采用了 2D 關鍵點，Lassner 等[41]提出的方法結合了人體語義分割、關鍵點、輪廓進行了多線索的分析，HoloPose[42]通過訓練包括 2D、3D 關鍵點和 DensePose[43]估計的多任務網絡來促進模型和圖像對齊。還有研究如 HybrIK[44]引入了人體關節運動的逆運動學，設計了自適應逆運動學算法來估計更合理的關節角度。Li 等[45]提出將正逆運動學過程結合，通過可逆神經網絡來顯式解耦有部分遮擋的人體姿態。基于回歸的方法使用深度學習來直接處理圖像像素，在網絡架構上都包含了編碼器和解碼器。編碼器用于提取輸入圖像的特征，解碼器將圖像特征作為輸入并輸出回歸的結果，目前的網絡結構設計上可分為三種框架，單一階段框架從RGB 圖像中直接預測人體姿態和形狀，不產生中間特征。多步階段框架將預測分為一系列子任務，通過中間特征來重建人體模型。多分支框架通常將人體的姿態和形狀放在不同的分支中進行解算。單一階段框架中編碼器通常會采用成熟的ResNet[46]、HRNet[47]等作為特征提取的主干網絡，解碼器方面，HMR(Human MeshRecovery)[48]采用了迭代誤差反饋的方法，但重復使用全局特征，會導致重建模型的錯位。PyMAF[49]在重建過程中通過將網格與空間特征對齊的方式來反饋調節每 個 循 環 中 的 模 型 參 數 。 HMR2.0[50] 使 用 了 ViT[51] 作 為 編 碼 器 和 標 準 的Transformer 解碼器，通過多頭注意力進行預測，取得很好的效果。多步階段框架在回歸過程中引入了中間特征來指導后續重建過程，如 Pose2Mesh[52]通過 2D 關節估計 3D 關節，之后通過中間 3D 網格來估計 3D 網格的頂點，其他方法還引入了輪廓、人體語義分割、光流等。多分支框架中有代表性的工作有 Pavlakos 等[53]設計了一個雙分支的網絡結構，一個分支以 2D 熱圖作為輸入得到姿態參數，一個分支以掩碼輪廓作為輸入得到形狀參數，并優化網格投影和 2D 注釋的一致性。PARE[54]同樣采用了雙分支的架構，其中 2D 部分分支用于估計注意力權重，3D 身體分支用于回歸模型參數，提升了有遮擋人體重建的魯棒性。目前基于回歸的方法更多地關注人體姿態的準確性，而忽略了人體形狀的準確性，重建的效果都接近平均尺寸模型。在傷員救援場景下的應用更需要關注人體形狀，為機器人的操作提供依據。為了預測更準確的人體體型，Sengupta 等[55]通過建立合成數據集，增加了很多運動員的極端體型。SHAPY[56]通過語言描述體型的特點和人體測量信息來改進人體的體型估計結果。Ma 等[57]模仿物理標記點的原理提出虛擬標記點作為中間表示的方法，在公共數據集上表現出了更好的形狀預測效果。

國外仿人形雙臂機器人

1.4 基于圖像的人體體重估計研究現狀

1.4.1 基于人臉數據的體重預測方法Coetzee 等[58]收集了 84 張男性，女性的臉部照片，通過對面部圖像評分的方式發現臉部的肥胖率和 BMI（Body Mass Index）有關，之后通過比較三種面部測量特征，證明了三種特征與 BMI 的顯著相關性。Tinlin[59]的研究表明年輕女性的臉部尺寸比身體尺寸對肥胖的影響更大。Stephen[60]將幾何測量方法用于面部形狀測量，提出了預測體重指數，體脂百分比的模型。為了確定面部尺寸和內臟肥胖之間的關系，Lee [61]通過對 15 個人臉特征的不同組合，評估了不同組合的預測能力。Wen 等[62]通過提取人臉中的關鍵點，提出了基于人臉七個特征值回歸預測的方法，在 Morph 2[63]數據集上利用支持向量回歸得到了優秀的 BMI 預測結果。Kocabey[64]提出了 VGG-Face 特征，并結合支持向量回歸[65]的方法進行了 BMI預測。Jiang 等[66]在 Morph 2 和 FIW-BMI 數據集上對比了人臉幾何特征和不同深度網絡對結果的影響，證實了深度學習模型對比幾何模型的優勢。Siddiqui 等[67]分析了面部 BMI 預測方法在四個種族、性別中的偏差及不同預測網絡之間的差異。Pascali[68]通過深度掃描來重建 3D 人臉，并提出通過重建模型幾何特征來預測體重的框架，然而以上研究都是基于正面拍攝的人臉圖像實現的，而較大的頭部姿勢變化會降低以上方法對 BMI 估計的性能。此外，面部特征只提供了臉部的信息，忽略了個性化的人體尺寸特征，這也導致了估計結果的不準確。

1.4.2 基于人體數據的體重預測方法Asgwell[69]通過 CT 圖像評估了腰圍和大腿圍對女性肥胖的影響，分析了人體測量信息和腹內脂肪的相關性。Muller[70]的研究發現 6 種人體測量特征與體重有關，特別是針對腹部肥胖的預測，但在研究中沒有考慮人群的差異性?？紤]到人群中的差異性，Molarius[71]列出了不同于 Muller 的一些測量指標包括腰腿比、腰臀比、腰身高比和腰圍等。進一步，Velardo 等[72]開始建立人體測量值與人體體重的關系，并通過回歸模型在大數據集 NHANES[73]上基于人體測量數據來預測體重值。Nguyen[74]通過單張 RGB-D 圖像進行了體重估計，并建立了 W8-400數據集。Nahavandi 等[75]提出一種基于 Kinnect 無骨骼模型的人體體重預測系統，利 用 體 表 的 面 積 來 進 行 體 重 的 估 計 。 Pfitzner[76] 基 于 ANN(Artificial NeuralNetwork)網絡提出的體重估算方法，可以用來預測平躺，站立，行走三種姿態下的體重。Nastaran[77]通過基于模板的方法，利用深度神經網絡模型提取局部特征，基于三維人體掃描結果自動提取人體測量值。類似的，Liu 等[78]通過變化視角的點云數據融合，估計并重建了人體的三維模型。然而，深度圖像的方式受限于傳感器性能，在室外環境應用效果不佳。相比于基于深度信息的方法，只基于 2D 圖像的方法缺乏尺度信息，但提供了更豐富的應用場景。通過 2D 圖像來實現體重測量是更通用的方法，Jiang 等[79]首次提出了將圖像中人體輪廓的像素信息和關鍵點轉化為人體測量特征的方法，從而通過人體測量特征來估計人體體重的變化，并建立了數據集。受以往工作的啟發，Jin 等[80]優化了 Jiang 的方法，通過在輪廓中去除人體手臂的方法來增強人體測量信息的準確性，同時提出了兩個額外的人體測量特征。

1.5 基于深度強化學習的機械臂引導控制研究現狀傳統工業機器人的引導控制都是通過示教預先定義路徑點和運動指令來實現的，但在復雜的救援場景中引導機械臂定位人體肢體面臨著姿態、體型不確定等問題，很難通過任務的提前部署來定位。在這種非結構化的場景中通過視覺引導機械臂作業是可行方法，機械臂的視覺引導從相機的安裝位置上可分為全局相機和手眼相機，全局相機安裝在工作臺上方，可以得到俯視整個工作臺的全局視角，通過相機的預先標定來獲取目標物的位置，但在操作過程中目標物的位置可能被機械臂遮擋導致失敗，手眼相機安裝在機械臂末端，可得到目標物的局部視角，但視角范圍受限于目標物的尺寸。

第 7 章 總結與展望

7.1 主要工作與結論

本文針對骨傷傷員救援任務，開展傷員救援機器人關鍵技術研究，以人工救援中多人對傷員的安全搬移操作為仿生藍本，設計了一種仿生輔助搬移機器人系統，任務執行能力方面，能夠實現大負載傷員搬移并確保人體交互的安全性。為進一步提升機器人的視覺感知與控制能力，在人體體重估計、尺寸測量、肢體自動引導控制方面進行重難點攻關。本文開展的研究工作總結如下：1）仿生輔助搬移機器人輕量化設計與單元系統測試研究本文針對骨傷傷員救援機器人安全搬運傷員的需求，提出了模仿人工搬運原理的仿生輔助搬移機器人設計方法，基于工作空間分析和結構輕量化設計實現了負載 120kg 的大負載自重比機械臂設計，提升了機械臂的控制穩定性。初步解析了人工搬運中人體各個部位的受力機理，提出了基于多段式固定的仿人搬移工具設計方法，采用不同接觸部位的差異化設計和柔性人機接觸材料設計實現了搬移過程中的人機安全交互，仿人搬移工具的工作空間及夾持力的試驗結果表明，所研制的仿人搬移工具不僅可以適應不同人體尺寸，還能滿足普通傷員和攜帶半擔架傷員的夾持力需求。2）仿生輔助搬移機器人運動學及關鍵參數標定方法研究本文分析了仿生輔助搬移機器人的結構特點，建立機械臂和移動平臺的聯合運動學模型，提出了逆運動學解析解求解方法，并通過仿真驗證了正、逆運動學模型的準確性。基于不同相機設置的關鍵參數標定研究，建立了基于合作目標的人體肢體定位成功率評價方法，為后續章節中肢體自動引導控制性能評價提供了有效支撐。3）面向搬移操作的傷員體重估計及尺寸測量方法研究為提升機器人進行人體操作時的安全性，預先輸入人體信息如體重、尺寸等個性化信息至關重要。為了快速得到相關信息，本文提出了一種基于單張圖像的人體體重估計方法，結合人體模型重建、人臉模型重建、圖像深度特征提取方法，提出了包括上軀干高度與腹部面積比、臉頰面積占比等虛擬測量參數，并驗證了測量參數的相關性。建立了基于人臉測量特征、人體測量特征、深度特征融合并回歸的三分支體重估計網絡框架，并在新建立的包含圖像、三維重建模型的大規模數據集和公開數據集進行了算法對比試驗，驗證了算法的優越性。通過大量消融試驗，分析并驗證了算法各個模塊的有效性，試驗結果表明，算法有效降低了二維圖像到三維空間的模糊性。4）基于深度強化學習的機器人自動引導控制研究為提升傷員救援機器人感知決策能力和操作效率，本文提出了一種基于深度強化學習的機器人自動引導控制方法，基于雙視角圖像及預訓練的人體語義特征提取器，構建了面向肢體定位的機械臂自動引導控制框架，并引入交叉注意力機制實現了不同視角特征的相互推理。針對人體個性化姿態和穿著導致的仿真到實際遷移難題，提出了基于人體模板固定語義的人體重建模型匹配全局圖像的方法，結合消融試驗，測試了方法在個性化體重和姿態的性能。仿真和實際環境驗證試驗表明，所提出的方法在人體肢體自動引導任務中的成功率顯著高于基于日常物品操作預訓練的方法，為進一步提升機器人操作的智能控制能力提供了新的參考。5）仿生輔助搬移機器人系統集成設計與性能試驗研究在前四章工作的基礎上開發了仿生輔助搬移機器人樣機系統，從硬件、軟件等方面詳細介紹了仿生輔助搬移機器人的設計方法和系統組成。在集成后的樣機系統上進行了最大負載能力、搬移過程人體安全性的試驗驗證，試驗結果驗證了機器人的關鍵性能指標。本文通過搭建傷員救援任務模擬環境，驗證了機器人危樓狹窄空間通過性，以及完成傷員搬移和傷員轉運作業任務的能力。

7.2 創新點

1）受針對骨傷傷員的人工搬運方法啟發，提出了基于人體多段式安全固定的仿生輔助搬移機器人設計方法，突破了仿生輔助搬移機器人的集成制造及多維度評測技術，顯著提升了機器人化搬移傷員的安全性和可靠性。2）提出了基于單張二維圖像的人體體重估計方法，結合人體三維模型重建技術提出了多項人體虛擬測量參數，降低了二維圖像到三維空間出現的模糊性，開發了基于多維特征融合、回歸的體重估計網絡框架，顯著提升了通過圖像估計人體體重指數的精度。3）提出了基于深度強化學習的機器人自動引導控制方法，構建了基于人體語義特征提取及雙視角特征融合的網絡框架，實現了面向人體肢體定位的機器人自動引導控制，結合人體模板的固定語義解析，克服了從仿真向實際遷移的局限性，為機器人對肢體的精細化操作提供了新的參考。

7.3 研究展望本研究

在骨傷傷員的機器人化自動搬運中的任務執行能力和視覺感知控制關鍵技術上取得了一定進展，但仍存在不足之處，未來工作可以在以下方面進行更深入的研究和探索。1）本研究設計的仿生輔助搬運機器人在和人體接觸的部分尚未集成力傳感器，缺少真實災害救援任務的系統測試機會，無法完全保障機器人進行人體搬運過程中人機交互的舒適性。未來需進一步開展人機接觸機構的仿生設計研究，增加接觸力控制算法，提升人機接觸的舒適性，并在實際救援作業中收集更多數據，用于機器人系統方案的改進優化。2）本研究提出的基于單張圖像的人體體重估計方法，目前仍受限于數據集樣本的多樣性，易對極端體重的估計產生較大誤差，未來可以針對傷員救援場景，通過招募志愿者的方式拓展數據集樣本量，提升體重估計方法的適用范圍。3）本研究提出的基于深度強化學習的機器人自動引導控制方法，目前還僅依靠圖像特征進行機器人導航，尚無法完全應對肢體遮擋、殘缺的極端情況。未來可增加如紅外相機、激光雷達等傳感器，利用多源傳感信息融合的自動引導方法，增強算法在復雜傷員救援場景環境的魯棒性。

參考文獻
[1] Wen J, Yang C L, Shi Y K, et al. A retrospective study of geriatric trauma at alarge teaching hospital after the 2008 Wenchuan earthquake [J]. InternationalJournal of Gerontology, 2010, 4(3): 115-119.[2] Ikuta E, Miyano M, Nagashima F, et al. Measurement of the human body damagecaused by collapsed building[C]//Proceedings of the 13th World Conference onEarthquake Engineering. Vancouver, Canada: 13WCEE, 2004: Paper No.628.[3] Min L, Tu C Q, Liu L, et al. Management of limb fractures in a teaching hospital:comparison between Wenchuan and Yushu earthquakes [J]. Chinese Journal ofTraumatology, 2013, 16(01): 16-21.[4] 陳長坤, 王小勇, 雷鵬,等. 重大地震震后傷員傷情特點綜合分析 [J]. 華北地震科學, 2019, 37(04): 18-22.[5] Blackburn M R, Everett H, Laird R T. After action report to the joint programoffice: Center for the robotic assisted search and rescue (crasar) related efforts atthe world trade center [J]. Technical document, 2002, 3141-3148.[6] Masayuki A, Takayama T, Hirose S. Development of" Souryu-III": connectedcrawler vehicle for inspection inside narrow and winding spaces[C]//2004IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)(IEEE Cat. No. 04CH37566). IEEE, 2004, 1: 52-57.[7] Li B, Ma S, Liu J, et al. AMOEBA-I: a shape-shifting modular robot for urbansearch and rescue [J]. Advanced Robotics, 2009, 23(9): 1057-1083.[8] Beno J H. Mobot the Robot[R]. SAE Technical Paper, 1962.[9] Fitzgerald C. Developing baxter[C]//2013 IEEE conference on technologies forpractical robot applications (TePRA). IEEE, 2013: 1-6.[10] Ott C, Eiberger O, Friedl W, et al. A humanoid two-arm system for dexterousmanipulation[C]//Proceedings of the 6th IEEE-RAS International Conference onHumanoid Robots. Genoa, Italy: IEEE, 2006: 276-283.[11] Odashima T, Onishi M, Tahara K, et al. Development and evaluation of a human-interactive robot platform “RI-MAN” [J]. Journal of the Robotics Society ofJapan, 2007, 25(4): 554-565.[12] Iwata H, Sugano S. Design of human symbiotic robot TWENDY-ONE[C]//Proceedings of the 2009 IEEE International Conference on Roboticsand Automation. Kobe, Japan: IEEE, 2009: 580-586.[13] Levinger J, Hofmann A, Theobald D. Semiautonomous control of an emergencyresponse robot[C]//AUVSI Unmanned Systems North America Conference, SanDiego, CA. 2008: 914-927.[14] Ding J, Lim Y J, Solano M, et al. Giving patients a lift—the robotic nursingassistant (RoNA)[C]//Proceedings of the 2014 IEEE International Conference onTechnologies for Practical Robot Applications (TePRA). Woburn, MA, USA:IEEE, 2014: 1-6.[15] Choi B, Lee W, Park G, et al. Development and control of a military rescue robotfor casualty extraction task [J]. Journal of Field Robotics, 2019, 36(4): 656-676.[16] Chung W K, Yang Y, Cui N, et al. Design of a rescue robot with a wearable suitaugmenting high payloads rescue missions[C]//Proceedings of the 2017 2ndInternational Conference on Advanced Robotics and Mechatronics (ICARM).Hefei, China: IEEE, 2017: 182-187.[17] 郭繼錄. 雙臂救援機器人結構設計與分析 [D].沈陽理工大學,2021.[18] Beebe M M K, Ret C D R U. United States Department of Defense Research inRobotic Unmanned Systems for Combat Casualty Care[J]. 2010.[19] Ohno K, Morimura S, Tadokoro S, et al. Semi-autonomous control system ofrescue crawler robot having flippers for getting over unknown-steps[C]//Proceedings of the 2007 IEEE/RSJ International Conference onIntelligent Robots and Systems. San Diego, CA, USA: IEEE, 2007: 3012-3018.[20] Ben-Tzvi P, Williams A, Sebastian B, et al. Semi-autonomous victim extractionrobot (SAVER)[P]. US Provisional Patent Application 62/660,869, 2018[21] Saputra R P, Rakicevic N, Kuder I, et al. Resqbot 2.0: An improved design of amobile rescue robot with an inflatable neck securing device for safe casualtyextraction [J]. Applied Sciences, 2021, 11(12): 5414.[22] Iwano Y, Osuka K, Amano H. Development of stretcher component robots forrescue activity[C]//Proceedings of the 2004 IEEE Conference on Robotics,Automation and Mechatronics. Bangkok, Thailand: IEEE, 2004: 365-370.[23] Edlinger R, F?ls C, Nüchter A. An innovative pick-up and transport robot systemfor casualty evacuation[C]//2022 IEEE International Symposium on Safety,Security, and Rescue Robotics (SSRR). IEEE, 2022: 67-73.[24] 肖子軒. 剛柔耦合多臂協作全地形行走救援機器人設計分析與實驗 [D],燕山大學, 2021.[25] Newcombe R A, Fox D, Seitz S M. Dynamicfusion: Reconstruction and trackingof non-rigid scenes in real-time[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2015: 343-352.[26] Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Real-time dense surfacemapping and tracking[C]//Proceedings of the 2011 10th IEEE InternationalSymposium on Mixed and Augmented Reality. Basel, Switzerland: IEEE, 2011:127-136.[27] Yu T, Guo K, Xu F, et al. BodyFusion: Real-time capture of human motion andsurface geometry using a single depth camera[C]//Proceedings of the IEEEInternational Conference on Computer Vision. Venice, Italy: IEEE, 2017: 910-919.[28] Yu T, Zheng Z, Guo K, et al. DoubleFusion: Real-time capture of humanperformances with inner body shapes from a single depth sensor[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. Salt LakeCity, UT, USA: IEEE, 2018: 7287-7296.[29] Dou M, Khamis S, Degtyarev Y, et al. Fusion4d: Real-time performance captureof challenging scenes [J]. ACM Transactions on Graphics (ToG), 2016, 35(4): 1-13.[30] Xu L, Su Z, Han L, et al. Unstructuredfusion: realtime 4d geometry and texturereconstruction using commercial rgbd cameras [J]. IEEE transactions on patternanalysis and machine intelligence, 2019, 42(10): 2508-2522.[31] Marr D, Nishihara H K. Representation and recognition of the spatialorganization of three-dimensional shapes [J]. Proceedings of the Royal Societyof London Series B Biological Sciences, 1978, 200(1140): 269-294.[32] Pentland A, Horowitz B. Recovery of nonrigid motion and structure [J]. IEEETransactions on Pattern Analysis & Machine Intelligence, 1991, 13(07): 730-742.[33] Anguelov D, Srinivasan P, Koller D, et al. Scape: shape completion andanimation of people[M]//ACM SIGGRAPH 2005 Papers. 2005: 408-416.[34] Loper M, Mahmood N, Romero J, et al. SMPL: A Skinned Multi-Person LinearModel[J]. ACM Transactions on Graphics, 2015, 34(6).[35] Romero J, Tzionas D, Black M J. Embodied hands: Modeling and capturin