《智能機器人創(chuàng)新設(shè)計》 課件 第7章 人機交互接口

第7章人機交互接口智慧物流系統(tǒng)：從設(shè)計到實現(xiàn)教學內(nèi)容CONTENTS1電子人機交互方式2應用軟件控制與編程3

章節(jié)目標熟悉并理解人機交互的定義與方式；理解并掌握物流機器人與應用軟件的通信流程；了解并學習數(shù)據(jù)傳輸與內(nèi)存管理的方式策略。4人機交互：人機交互（Human-ComputerInteraction，縮寫HCI），是一門研究系統(tǒng)與用戶之間交互關(guān)系的學問。系統(tǒng)可以是各種各樣的機器，也可以是計算機化的系統(tǒng)和軟件。HCI領(lǐng)域的研究人員觀察了人類與計算機交互的方式，設(shè)計了能使人類以更新穎的方式與計算機交互的技術(shù)。人機交互界面通常是指用戶可見的部分，用戶通過人機交互界面與系統(tǒng)交流，并進行操作。1電子人機交互方式5一、LEDLED為LightEmittingDiode的簡稱，即發(fā)光二極管，由含鎵（Ga）、砷（As）、磷（P）、氮（N）等的化合物制成。這種電子元件早期只能發(fā)出低光度的紅光，之后發(fā)展出其他單色光，時至今日能發(fā)出的光已遍及可見光、紅外線及紫外線，光度也有了很大的提高。隨著技術(shù)的不斷進步，用途也由初時作為指示燈、顯示板等，到目前廣泛地應用于顯示器和照明。1電子人機交互方式發(fā)光二極管6發(fā)光二極管的基本構(gòu)造與PN結(jié)功能：發(fā)光二極管的核心構(gòu)造為P型半導體與N型半導體組成的晶片，其間存在過渡層即PN結(jié)。在半導體內(nèi)部，空穴與電子的擴散在PN結(jié)處形成勢壘，有效抑制其進一步擴散。正向電壓施加于PN結(jié)時，勢壘降低，促使電子從N區(qū)注入P區(qū)，空穴則從P區(qū)注入N區(qū)，這一過程稱為少數(shù)載流子注入。1電子人機交互方式一、LED二極管PN結(jié)7發(fā)光原理與單向?qū)щ娦裕鹤⑷隤區(qū)的電子與P區(qū)空穴、注入N區(qū)的空穴與N區(qū)電子分別復合，此復合過程伴隨光子能量的釋放，從而產(chǎn)生發(fā)光現(xiàn)象。當PN結(jié)承受反向電壓時，勢壘增強，少數(shù)載流子注入受阻，導致二極管不發(fā)光。因此，發(fā)光二極管具有單向?qū)щ娦?，僅在正向電壓作用下（即正向工作狀態(tài)）才會發(fā)光。1電子人機交互方式一、LEDPN結(jié)內(nèi)部工作原理與結(jié)構(gòu)8LED發(fā)光特性與工作限制：不同半導體材料中，電子與空穴的能量狀態(tài)各異，復合時釋放的能量越多，所發(fā)光波長越短。實際應用中，常選用發(fā)紅光、綠光或黃光的二極管。發(fā)光二極管的反向擊穿電壓通常超過5伏，其正向伏安特性曲線陡峭，故使用時需串聯(lián)限流電阻以調(diào)控電流，確保二極管正常工作。1電子人機交互方式一、LED二極管串聯(lián)限流電阻91電子人機交互方式

LED材料、化學表達式與顏色之間的關(guān)系10物流機器人使用的發(fā)光二極管LED可以發(fā)出三種顏色：1電子人機交互方式一、LEDLED綠色光LED藍色光LED紅色光11二、蜂鳴器蜂鳴器是一種一體化結(jié)構(gòu)的電子訊響器，采用直流電壓供電，廣泛應用于計算機、打印機、復印機、報警器、電子玩具、汽車電子設(shè)備、電話機、定時器等電子產(chǎn)品中作發(fā)聲器件。按照構(gòu)造方式的不同將蜂鳴器分為壓電式蜂鳴器和電磁式蜂鳴器兩種。1電子人機交互方式蜂鳴器外觀121.壓電式蜂鳴器壓電式蜂鳴器主要由多諧振蕩器、壓電蜂鳴片、阻抗匹配器及共鳴箱、外殼等組成。有的壓電式蜂鳴器外殼上還裝有發(fā)光二極管。多諧振蕩器由晶體管或集成電路構(gòu)成。當接通電源后（1.5~15V直流工作電壓），多諧振蕩器起振，輸出100~500HZ的音頻信號，阻抗匹配器推動壓電蜂鳴片發(fā)聲。1電子人機交互方式2.電磁式蜂鳴器電磁式蜂鳴器由振蕩器、電磁線圈、磁鐵、振動膜片及外殼等組成。接通電源后，振蕩器產(chǎn)生的音頻信號電流通過電磁線圈，使電磁線圈產(chǎn)生磁場。振動膜片在電磁線圈和磁鐵的相互作用下，周期性地振動發(fā)聲。13二、蜂鳴器按照驅(qū)動方式的不同又將蜂鳴器分為無源他激型與有源自激型蜂鳴器兩種。1電子人機交互方式1.無源他激型其工作發(fā)聲原理是：方波信號輸入諧振裝置轉(zhuǎn)換為聲音信號輸出。無源他激型蜂鳴器內(nèi)部不帶振蕩源，所以直接用直流信號無法令其鳴叫，需要方波信號驅(qū)動。無源他激型蜂鳴器工作原理14二、蜂鳴器按照驅(qū)動方式的不同又將蜂鳴器分為無源他激型與有源自激型蜂鳴器兩種。1電子人機交互方式2.有源自激型其工作發(fā)聲原理是：直流電源輸入經(jīng)過振蕩系統(tǒng)的放大取樣電路在諧振裝置作用下產(chǎn)生聲音信號。有源自激型蜂鳴器內(nèi)部自帶振蕩源，所以接上額定電源便可持續(xù)發(fā)聲。有源自激型蜂鳴器工作原理15三、顯示屏顯示屏是實現(xiàn)人機對話的主要工具，既可以顯示鍵盤輸入的命令或數(shù)據(jù)，也能顯示計算機數(shù)據(jù)處理的結(jié)果。顯示屏根據(jù)發(fā)光的原理不同，分為多個不同的種類，目前最常用的是液晶（LiquidCrystalDisplay，LCD）顯示屏。物流機器人中所集成的顯示屏如右圖所示。1電子人機交互方式LCD顯示屏16從結(jié)構(gòu)來看，LCD液晶面板由兩塊平行玻璃板構(gòu)成，厚約1mm，其間由包含有液晶材料的5μm均勻間隔隔開。因為液晶材料本身并不發(fā)光，所以在顯示屏兩邊都設(shè)有作為光源的燈管，而在液晶顯示屏背面有一塊背光板(或稱勻光板)和反光膜。背光板由熒光物質(zhì)組成，可以發(fā)射光線，其主要作用是提供均勻的背景光源。1電子人機交互方式液晶顯示屏原理17背光板發(fā)出光線，穿過第一層偏振過濾層后進入包含成千上萬液晶液滴的液晶層。液晶層中的液滴都被包含在細小的單元格結(jié)構(gòu)中，一個或多個單元格構(gòu)成屏幕上的一個像素。1電子人機交互方式液晶顯示屏原理18玻璃板與液晶材料之間是透明的電極，電極分為行和列。在行與列的交叉點上，通過改變電壓而改變液晶的旋光狀態(tài)，液晶材料的作用類似于一個個小的光閥。液晶材料周邊是控制電路部分和驅(qū)動電路部分。當LCD中的電極產(chǎn)生電場時，液晶分子產(chǎn)生扭曲，將穿越其中的光線進行有規(guī)則的折射，再經(jīng)過第二層過濾層后在屏幕上顯示出來。1電子人機交互方式液晶顯示屏原理19應用軟件Flex-PF與物流機器人通信過程：在智慧物流場景中，物流機器人的工作流程為，從等待區(qū)去貨架區(qū)搬運貨架以及貨物，再搬運貨架及貨物去取貨區(qū)，最后從取貨區(qū)返回貨架區(qū)。期間的通信過程包含：①物流機器人與應用軟件Flex-PF進行連接，物流機器人的編號出現(xiàn)在應用軟件Flex-PF中，表示連接成功。連接成功后，應用軟件Flex-PF就可以實時獲取物流機器人的數(shù)據(jù)信息。②應用軟件Flex-PF會將機器人的數(shù)據(jù)暫時存儲到“任務分配內(nèi)存”中，用于后續(xù)調(diào)用“任務規(guī)劃算法”時的數(shù)據(jù)支持，數(shù)據(jù)信息包括坐標、階段等，如表所示數(shù)據(jù)信息內(nèi)容。2應用軟件控制與編程202應用軟件控制與編程robotNodeList機器人坐標列表[[0,0],[0,1],[0,2]]robotToward機器人初始朝向[1,1,1]（0、1、2、3代表著四個方向）robotPhase機器人任務階段[1,1,1]shelveNodeList貨架坐標列表[[0,6],[1,6],[2,6],[3,6]]endNodeList取貨點坐標列表[[2,0]]obstacleNodeList障礙坐標列表[[0,6],[1,6],[2,6],[3,6][0,0],[0,1],[0,2],[2,0]]otherRobotPaths其他機器人路徑[[[0,6],[1,6],[2,6],[3,6]],[[0,6],[1,6],[2,6],[3,6]]]mapSize地圖尺寸[4,7]數(shù)據(jù)信息表21應用軟件Flex-PF與物流機器人通信過程：③“任務分配算法”讀取應用軟件Flex-PF存儲到內(nèi)存中的數(shù)據(jù)，進行算法計算，并且返回計算后的數(shù)據(jù)結(jié)果。④“任務分配算法”得到的數(shù)據(jù)結(jié)果，暫時存儲在“路徑規(guī)劃算法”的內(nèi)存當中，用于后續(xù)調(diào)用“路徑規(guī)劃算法”時的數(shù)據(jù)支持。⑤“路徑規(guī)劃算法”從內(nèi)存中獲取到“任務分配算法”計算后得到的數(shù)據(jù)結(jié)果，繼續(xù)進行處理與計算，并且返回新的運算結(jié)果。⑥“路徑規(guī)劃算法”計算后的數(shù)據(jù)結(jié)果，存儲到“任務分配算法”的內(nèi)存中，用于后續(xù)“任務分配算法”處理數(shù)據(jù)格式時使用。2應用軟件控制與編程22應用軟件Flex-PF與物流機器人通信過程：⑦“任務分配算法”從內(nèi)存中獲取到“路徑規(guī)劃算法”傳遞過來的數(shù)據(jù)結(jié)果，進行最終的數(shù)據(jù)格式處理，將數(shù)據(jù)處理為物流機器人可識別和操作的數(shù)據(jù)格式。⑧“任務分配算法”把處理后的數(shù)據(jù)存儲到“應用軟件內(nèi)存”中。⑨應用軟件Flex-PF把內(nèi)存中經(jīng)過“任務分配算法”、“路徑規(guī)劃算法”的計算和處理后的數(shù)據(jù)結(jié)果，同步到物流機器人，指導物流機器人的行進方向。同步到機器人的數(shù)據(jù)結(jié)果如下表所示。2應用軟件控制與編程232應用軟件控制與編程adaptation最優(yōu)組合適應度45combinationList最優(yōu)組合[[[0,0],[1,6],[2,0]],[[0,1],[3,6],[2,0]],[[0,2],[0,6],[2,0]]paths最優(yōu)路徑[[[0,0],[1,6],[2,0]],[[0,1],[3,6],[2,0]],[[0,2],[0,6],[2,0]]]機器人中的數(shù)據(jù)結(jié)果表示24物流機器人內(nèi)部數(shù)據(jù)傳輸?shù)牧鞒虉D如下所示。2應用軟件控制與編程算法執(zhí)行流程圖251.讀取內(nèi)存和寫入內(nèi)存在計算機中開辟出四塊內(nèi)存，分別是應用軟件Flex-PF向任務分配算法傳輸數(shù)據(jù)的內(nèi)存，任務分配算法向路徑規(guī)劃算法傳輸數(shù)據(jù)的內(nèi)存，路徑規(guī)劃算法向任務分配算法回傳數(shù)據(jù)的內(nèi)存，任務分配算法向應用軟件Flex-PF回傳數(shù)據(jù)的內(nèi)存，并定義每塊內(nèi)存的大小。利用內(nèi)存來傳輸數(shù)據(jù)的方式有兩種，一種是在內(nèi)存中寫入數(shù)據(jù)，另一種是讀取內(nèi)存中的數(shù)據(jù)。2應用軟件控制與編程26讀取內(nèi)存和寫入內(nèi)存的位置如圖所示。2應用軟件控制與編程讀取和寫入內(nèi)存流程圖27利用內(nèi)存映射模塊mmap和管理上下文的模塊contextlib等相關(guān)的模塊，在計算機中開辟內(nèi)存，定義內(nèi)存大小，并利用上下文管理器模塊對內(nèi)存寫入和讀取。編程代碼：2應用軟件控制與編程282.應用軟件Flex-PF向“任務分配算法”的內(nèi)存中傳輸數(shù)據(jù)應用軟件Flex-PF在內(nèi)存中寫入數(shù)據(jù)，任務分配算法讀取內(nèi)存中的數(shù)據(jù)。任務分配算法需要監(jiān)測內(nèi)存，不斷地讀取內(nèi)存中的數(shù)據(jù)，當應用軟件Flex-PF在內(nèi)存中寫入數(shù)據(jù)時，任務分配算法可以及時地發(fā)現(xiàn)。當內(nèi)存中有數(shù)據(jù)時，任務分配算法會將數(shù)據(jù)讀取出來然后進行處理，并將處理的結(jié)果返回，進行任務分配。2應用軟件控制與編程29讀取數(shù)據(jù)流程所在位置所示。2應用軟件控制與編程30應用軟件Flex-PF在內(nèi)存中寫入的數(shù)據(jù)格式為：[數(shù)據(jù)總長度，3*n個機器人的數(shù)據(jù)長度，[機器人x坐標]，[機器人y坐標]，[機器人當前朝向]，…，2*n個貨架的數(shù)據(jù)長度，[貨架x坐標]，[貨架y坐標]，…，2*n個障礙的數(shù)據(jù)長度，[障礙x坐標]，[障礙y坐標]，…，2*n個地圖的數(shù)據(jù)長度，[地圖的長度]，[地圖的寬度]]由任務分配算法向“任務分配內(nèi)存”中讀取數(shù)據(jù)。詳細代碼可見教材P72。2應用軟件控制與編程313.任務分配算法向“路徑規(guī)劃算法”的內(nèi)存中傳輸數(shù)據(jù)任務分配算法在內(nèi)存中寫入數(shù)據(jù)，路徑規(guī)劃算法讀取內(nèi)存中的數(shù)據(jù)。任務分配算法把執(zhí)行結(jié)果進行處理——改變數(shù)據(jù)格式，任務分配算法通過監(jiān)測內(nèi)存中是否有數(shù)據(jù)。在內(nèi)存中沒有數(shù)據(jù)的情況下，將數(shù)據(jù)寫入到“路徑規(guī)劃算法”的內(nèi)存中。對應位置的算法執(zhí)行流程如圖所示。2應用軟件控制與編程32任務分配算法向“路徑規(guī)劃算法”的內(nèi)存中傳輸數(shù)據(jù)。2應用軟件控制與編程333.任務分配算法向“路徑規(guī)劃算法”的內(nèi)存中傳輸數(shù)據(jù)任務分配算法在內(nèi)存中寫入的數(shù)據(jù)格式和應用軟件Flex-PF在內(nèi)存中寫入的數(shù)據(jù)格式是一致的：[數(shù)據(jù)總長度，3*n個機器人的數(shù)據(jù)長度，[機器人x坐標]，[機器人y坐標]，[機器人當前朝向]，…，2*n個貨架的數(shù)據(jù)長度，[貨架x坐標]，[貨架y坐標]，…，2*n個障礙的數(shù)據(jù)長度，[障礙x坐標]，[障礙y坐標]，…，2*n個地圖的數(shù)據(jù)長度，[地圖的長度]，[地圖的寬度]]由任務分配算法向“任務分配內(nèi)存”中讀取數(shù)據(jù)。詳細代碼可見教材P74。2應用軟件控制與編程344.路徑規(guī)劃算法向“路徑規(guī)劃算法”的內(nèi)存中傳輸數(shù)據(jù)任務分配算法在內(nèi)存中寫入數(shù)據(jù)之后，路徑規(guī)劃算法需要去讀取內(nèi)存中的數(shù)據(jù)。路徑規(guī)劃算法需要監(jiān)測內(nèi)存中是否有數(shù)據(jù)，在有數(shù)據(jù)的情況下讀取數(shù)據(jù)，之后將讀取到的數(shù)據(jù)進行處理，并將結(jié)果返回，進行路徑規(guī)劃。編程代碼詳見教材P75。對應位置的算法執(zhí)行流程如圖下所示。2應用軟件控制與編程35路徑規(guī)劃算法向“路徑規(guī)劃算法”的內(nèi)存中讀取數(shù)據(jù)：2應用軟件控制與編程365.路徑規(guī)劃算法向“任務分配算法”的內(nèi)存中傳輸數(shù)據(jù)路徑規(guī)劃算法在內(nèi)存中寫入數(shù)據(jù)，任務分配算法讀取內(nèi)存中寫入的數(shù)據(jù)。路徑規(guī)劃算法把計算出的結(jié)果進行整理，將結(jié)果數(shù)據(jù)寫入路徑規(guī)劃算法向任務分配傳輸數(shù)據(jù)的內(nèi)存中，并且監(jiān)測路徑規(guī)劃算法向任務分配算法傳輸數(shù)據(jù)的內(nèi)存。當該內(nèi)存為空的時候，將任務分配算法向路徑規(guī)劃算法傳輸數(shù)據(jù)的內(nèi)存值置為空。對應位置的算法執(zhí)行流程如下圖所示。2應用軟件控制與編程37路徑規(guī)劃算法向“任務分配算法”的內(nèi)存中傳輸數(shù)據(jù)：2應用軟件控制與編程38路徑規(guī)劃算法在內(nèi)存中寫入的數(shù)據(jù)格式為：[數(shù)據(jù)總長度，適應度和結(jié)束朝向的長度，適應度，結(jié)束朝向，機器人執(zhí)行坐標x坐標點長度，[x1]，…..，[xn],機器人執(zhí)行坐標y坐標點長度，[x1]，…..，[xn]]詳細代碼可見教材P76。2應用軟件控制與編程