開發(fā)者創(chuàng)新中心建設(shè)項目需求

開發(fā)者創(chuàng)新中心建設(shè)項目需求序號名稱技術(shù)參數(shù)單位數(shù)量1工業(yè)數(shù)據(jù)采集實訓平臺工業(yè)數(shù)據(jù)采集實驗平臺工業(yè)數(shù)據(jù)采集實驗平臺適用于工業(yè)傳感數(shù)據(jù)采集和傳輸項目學習和開發(fā)。其主要功能包括且不限于：設(shè)備管理功能：在手機APP中可以對數(shù)據(jù)采集終端通過填寫節(jié)點信息，在系統(tǒng)中添加數(shù)據(jù)采集終端。可以在手機端查看到已添加的數(shù)據(jù)采集終端，并通過刪除按鈕刪除數(shù)據(jù)采集終端。數(shù)據(jù)采集功能：通過溫濕度光照傳感器、速度傳感器、位移傳感器、角度傳感器、氣壓傳感器對工業(yè)常見數(shù)據(jù)進行采集。數(shù)據(jù)終端通過RS485接口、TTL電平接口與傳感器連接，對數(shù)據(jù)終端配置，實現(xiàn)各項數(shù)據(jù)的采集。在手機上可以查看各傳感器采集的數(shù)據(jù)。告警功能：在手機APP中可以對各項數(shù)據(jù)進行閥值的設(shè)置，當傳感器采集的值小于最小值或大于最大值，在手機APP中將現(xiàn)實告警圖標。數(shù)據(jù)采集頻率設(shè)置功能：通過手機APP可以對數(shù)據(jù)采集終端的數(shù)據(jù)上傳頻率進行設(shè)置。實驗過程中主要使用的軟件包括但不限于：應(yīng)用開發(fā)環(huán)境：應(yīng)用開發(fā)環(huán)境是為運行在國產(chǎn)操作系統(tǒng)上的應(yīng)用和服務(wù)（以下簡稱應(yīng)用/服務(wù)）提供一站式的開發(fā)平臺。作為一款開發(fā)工具，除了具有基本的代碼開發(fā)、編譯構(gòu)建及調(diào)測等功能外，還具有如下特點：（2）高效智能代碼編輯：支持ArkTS、JS、C/C++等語言的代碼高亮、代碼智能補齊、代碼錯誤檢查、代碼自動跳轉(zhuǎn)、代碼格式化、代碼查找等功能，提升代碼編寫效率。更多詳細信息，請參考編輯器使用技巧。（3）低代碼可視化開發(fā)：豐富的UI界面編輯能力，支持自由拖拽組件和可視化數(shù)據(jù)綁定，可快速預(yù)覽效果，所見即所得；同時支持卡片的零代碼開發(fā)，降低開發(fā)門檻和提升界面開發(fā)效率。更多詳細信息，請參考使用低代碼開發(fā)應(yīng)用/服務(wù)。（4）多端雙向?qū)崟r預(yù)覽：支持UI界面代碼的雙向預(yù)覽、實時預(yù)覽、動態(tài)預(yù)覽、組件預(yù)覽以及多端設(shè)備預(yù)覽，便于快速查看代碼運行效果。更多詳細信息，請參考使用預(yù)覽器預(yù)覽應(yīng)用/服務(wù)界面效果。（5）多端設(shè)備模擬仿真：提供國產(chǎn)操作系統(tǒng)移動應(yīng)用終端本地模擬器，支持手機等設(shè)備的模擬仿真，便捷獲取調(diào)試環(huán)境。更多詳細信息，請參考使用模擬器運行應(yīng)用/服務(wù)。二、含理論+實踐課程（含Word、PPT、視頻等）1套：包括≥9個PPT、≥1個實驗手冊、≥50道練習題，視頻總時長≥360分鐘。課時數(shù)≥48課時，具體課程內(nèi)容包括但不限于：《工業(yè)數(shù)字化介紹》《工業(yè)數(shù)據(jù)采集系統(tǒng)介紹》《工業(yè)數(shù)據(jù)采集系統(tǒng)設(shè)計》《工業(yè)數(shù)據(jù)采集系統(tǒng)開發(fā)環(huán)境搭建》《數(shù)據(jù)采集終端系統(tǒng)移植》《數(shù)據(jù)采集終端傳感器數(shù)據(jù)采集功能開發(fā)》《數(shù)據(jù)采集終端配置命令行功能開發(fā)》《數(shù)據(jù)采集終端數(shù)據(jù)采集功能開發(fā)》《工業(yè)數(shù)據(jù)采集APP頁面布局開發(fā)》《工業(yè)數(shù)據(jù)采集APP數(shù)據(jù)通信功能開發(fā)》三、含Demo源碼1套：工業(yè)數(shù)據(jù)采集demo源碼≥1個四、含學習管理平臺1套：一、教學管理系統(tǒng)：1、參與的角色包括：超級管理員、普通管理員、學生；2、支持班級及學生管理：支持查看班級信息，編輯班級信息；支持查看學生列表，編輯學生信息；支持學生可存在多個班級，并可視學生上課情況調(diào)整學生所在班級，以便適應(yīng)各類課程形式及教學形式需求；支持在班級里添加或移除學生；二、教學課程系統(tǒng):1.提供課程配套的公有云課程資源，課程資源應(yīng)包括課程視頻、課件、教案、課程練習、附件、素材等形式；2、開設(shè)課程賬號數(shù)量不少于200個3、支持教材管理功能。支持在線播放課件；支持教材內(nèi)容搜索功能，快速查詢內(nèi)容；平臺支持打開本地教材文件，支持將教材PPT、Word下載到本地。4、支持視頻播放功能。視頻至少包含理論教學視頻和實驗教學視頻；5、系統(tǒng)需預(yù)置課程實驗手冊，以文字和配圖的形式詳細說明實驗步驟。實驗手冊需包括但不限于任務(wù)需求、任務(wù)步驟、任務(wù)結(jié)果、總結(jié)和分析等；6、實驗手冊需完整詳實，步驟清晰，確保學生能夠根據(jù)手冊完整實現(xiàn)實驗過程。實驗手冊支持下載到本地；7、支持在線練習功能，練習題型包括但不限于客觀題、實操題、模擬考試等。三、教學資源:1、教學資源包括課程大綱、授課PPT、練習題及答案、課程配套實驗（實驗環(huán)境、實驗手冊）等內(nèi)容。2、包含1+X移動應(yīng)用開發(fā)初中高級證書所需的對應(yīng)課程資源。套82基于人工智能的機器視覺綜合實訓平臺機械臂開發(fā)平臺：1、機械臂開發(fā)軟件機器人控制軟件，包含機械臂驅(qū)動文件。支持Magician設(shè)備，包含示教再現(xiàn)、寫字畫畫、Blockly、腳本模塊等功能。通用：設(shè)置向?qū)А⒖刂婆_、設(shè)備名、勾選滑軌功等功能調(diào)平：對大小臂角度傳感器進行手動校準、自動校準初始化姿態(tài)：設(shè)置初始化姿態(tài)點動：設(shè)置關(guān)節(jié)、滑軌和笛卡爾坐標系的速度和加速度再現(xiàn)：設(shè)置關(guān)節(jié)參數(shù)、坐標系參數(shù)、Jump參數(shù)、手持示教寫字畫畫：設(shè)置寫字畫畫的參數(shù)。比如速度、拐角速度、線性加速度、加速度、抬筆高度和下降位置手勢控制：設(shè)置手勢控制的參數(shù)。比如速度、縮放和性能模式鼠標控制：設(shè)置鼠標控制的參數(shù)。比如速度、縮放和性能模式2、機器人指令接口控制器支持兩種類型的指令：立即指令與隊列指令。接口大類包括且不限于：連接/斷開指令隊列控制設(shè)備信息實時位姿告警功能回零功能HHT功能末端執(zhí)行器JOG功能PTP功能CP功能ARC功能丟步檢測功能WAIT功能執(zhí)行觸發(fā)指令EIO功能3、AI開發(fā)平臺支持包含以下且不限于：Caffe/TensorFlow/Pytorch/MxNet/ONNX/Darknet/TENGINE等訓練框架模型直接部署，支持層融合、量化等網(wǎng)絡(luò)性能優(yōu)化策略，提供統(tǒng)一API（C/Python/JNI）接口，提供擴展接口自定義算子；至少包含高性能計算庫：加速嵌入式平臺神經(jīng)網(wǎng)絡(luò)推理運算，具備常用的圖像處理、計算機視覺、模式識別的算子與算法，提供異構(gòu)調(diào)度硬件加速芯片圖像處理，具備常用的音頻信號前后處理算子，支持FFT/IFFT、MFCC等信號處理方式；含理論+實踐課程（含Word、PPT、視頻等）1套：課程需要包括PPT，Word、視頻、練習題包括≥5個實驗手冊、≥5個PPT、≥20道練習題、≥20個視頻。課時數(shù)≥64課時，課程內(nèi)容包括且不限于：《機械臂基礎(chǔ)指令訓練》使用示教再現(xiàn)和腳本控制實現(xiàn)機械臂操作，然后在系統(tǒng)中使用Python控制機械臂?！锻ㄟ^語音操作機械臂》利用用戶發(fā)出語音指令，通過語音處理平臺識別轉(zhuǎn)化為機械手臂可以識別的指令，然后讓機械手臂執(zhí)行操作?！痘趥鞲衅鞯陌徇\分揀》傳感器檢測一定距離是否有物體，使用手臂抓取物體放入傳送帶，有則驅(qū)動傳送帶傳輸，之后停下，然后進行抓取，然后根據(jù)顏色放入不同位置?！痘趫D像識別的物品抓取》攝像頭拍下各種顏色、形狀、位置物品圖片，訓練識別模型，調(diào)用圖像處理模型識別出新的擺放中要抓取的物品，轉(zhuǎn)換為機械臂的坐標，然后控制機械臂到指定位置抓取物品?！豆I(yè)質(zhì)檢》（GPU）本實驗主要實現(xiàn)一個工業(yè)質(zhì)檢案例，是人工智能應(yīng)用與機械臂應(yīng)用的整合，檢測對象為旅行裝面霜盒。主要流程為：從基本的視覺設(shè)備調(diào)試，到程序控制攝像頭提取圖片，再到視覺標定使程序能夠準確將圖片中坐標轉(zhuǎn)化為機械臂坐標，再使用深度學習技術(shù)構(gòu)建模型識別瑕疵產(chǎn)品，最后控制機械抓取產(chǎn)品分類放置。含配套項目實操實驗1套：1、機械臂基礎(chǔ)指令訓練實驗1認識機械臂：介紹機械臂及吸盤套件安裝，包括安裝機械臂的底座、大臂、小臂、末端工具等，機械臂活動范圍，接口板各個接口的功能，指示燈的狀態(tài)及吸盤套件的安裝方法；實驗2開發(fā)工具安裝并使用：進行開發(fā)工具的下載、安裝，使用連接機械臂的方法，并了解機械臂的功能模塊，如具有示教再現(xiàn)、寫字畫畫、腳本控制等功能；實驗3使用可視化方式控制機械臂：掌握機械臂關(guān)節(jié)坐標系和笛卡爾坐標系的使用，使用了解機械臂幾種運動模式之間的差別，并掌握手持示教及吸盤手持示教控制機械臂的步驟；實驗4使用Python腳本控制機械臂：使用各種功能函數(shù)，包括腳本和指令，常用的隊列控制指令，設(shè)備信息，實時位姿，告警，回零功能，末端執(zhí)行器，點位模式（PTP）控制，從而利用python腳本控制機械臂；實驗5使用智能終端設(shè)備控制機械臂：基于開發(fā)板驅(qū)動機械臂，編寫記錄位置程序、記錄木塊位置、編寫機械臂抓取程序并執(zhí)行，最后完成使用Python操作機械臂從指定位置抓取一個木塊并放置到指定位置的操作；2、通過語音操作機械臂實驗1語音采集：在開發(fā)板上配置麥克風，語音采集與播放測試，最后使用Python在開發(fā)板上進行語音采集與播放；實驗2語音識別：使用公有云語音識別服務(wù)，包括服務(wù)的開通、token的獲取、接口的調(diào)用，將基于本地采集的語音轉(zhuǎn)換為文本信息；實驗3語音操作機械臂：編寫位置記錄程序、編寫告警處理程序、編寫記錄位置程序、實現(xiàn)語音驅(qū)動機械臂整合，實現(xiàn)兩個整合功能，一為通過聲音控制抓去不同顏色的木塊，二為通過語音控制機械運動到指定坐標。3、基于傳送帶的搬運分揀實驗1安裝傳送帶：了解傳送帶模塊的基本構(gòu)成，以及安裝與接線方式，主要包括電機、光電傳感器、顏色傳感器；實驗2使用Blockly編程：使用Blockly方式編程，包括Blockly各類模塊的用法，最終利用機械臂、傳送帶、光電傳感器和顏色傳感器配合執(zhí)行，實現(xiàn)木塊分揀的功能；實驗3使用Python編程：使用Python基于機械臂，傳送帶，以及光電傳感器和顏色傳感器配合執(zhí)行，實現(xiàn)木塊分揀的功能；4、基于圖像識別的物品抓取實驗1視覺處理準備：指導用戶了解攝像頭、支架、光源套件、標定板幾個部分，并掌握組裝過程，并編寫Python調(diào)用攝像頭程序，用于配合調(diào)節(jié)光源、對焦和光圈等；實驗2視覺標定：指導用戶了解視覺標定的基本原理，并編寫視覺標定程序，執(zhí)行標定程序，輸出標定的轉(zhuǎn)換矩陣，并測試標定效果；實驗3圖像處理識別（OpenCV）：指導用戶編寫Python程序利用OpenCV識別圖像中的純色物體，包括：定義顏色的范圍、去掉范圍外的其他顏色、獲取留下的坐標，并標注；實驗4基于圖像識別的機械臂抓取：基于上面已經(jīng)實現(xiàn)的功能進行整合，實現(xiàn)一個簡單的木塊分揀功能，即識別木塊的顏色，將不同的顏色的木塊放置到不同位置；5、工業(yè)質(zhì)檢實驗實驗1試驗臺視覺處理前準備：指導用戶了解攝像頭、支架、光源套件、標定板幾個部分，并掌握組裝過程，并編寫Python調(diào)用攝像頭程序，用于配合調(diào)節(jié)光源、對焦和光圈等；實驗2視覺標定：指導用戶了解視覺標定的基本原理，并編寫視覺標定程序，執(zhí)行標定程序，輸出標定的轉(zhuǎn)換矩陣，并測試標定效果；實驗3構(gòu)建圖像識別模型：基于Pytorch框架構(gòu)建YOLOV4TINY模型，獲得針對正常品與瑕疵品圖片的目標檢測。過程包括圖像的采集、圖像的標注、模型的構(gòu)建與訓練、模型的轉(zhuǎn)換與部署。最終完成工業(yè)質(zhì)檢案例中視覺處理部分，包括模型訓練，端側(cè)部署應(yīng)用的全流程實踐；實驗4基于圖像識別的機械臂抓?。褐笇в脩艋谏厦嬉呀?jīng)實現(xiàn)的功能進行整合，實現(xiàn)一個簡單的工業(yè)質(zhì)檢功能，即識別產(chǎn)品屬于良品還是瑕疵品，然后將良品、瑕疵品通過機械臂抓取放置到不同位置；實驗5整合傳送帶：首先開始傳送帶，將待質(zhì)檢的產(chǎn)品上料傳送帶（這里只有有一臺機械臂，考慮人手上料），開啟光電傳感器，檢測到物體停止傳送帶，然后機械臂抓取產(chǎn)品到質(zhì)檢位置，通過視覺識別瑕疵品和良品，然后分別抓取到不同位置。套83全場景開發(fā)實訓平臺一、全場景開發(fā)實訓平臺：全場景開發(fā)實訓平臺適用于國產(chǎn)化操作系統(tǒng)應(yīng)用及設(shè)備的學習和開發(fā)。其主要功能包括且不限于：平臺支持在兼容國產(chǎn)操作系統(tǒng)的設(shè)備上運行。數(shù)據(jù)采集：平臺可外接以下且不限于可燃氣體擴展板、溫濕度傳感器、

溫濕度傳感器、光照傳感器、人體紅外傳感器、

限位器傳感器、

PM2.5傳感器、PH值傳感器、紅外測溫傳感器、稱重傳感器、距離感應(yīng)傳感器等進行數(shù)據(jù)采集。執(zhí)行器控制：通過平臺的操作指令，可以控制以下且不限于紅綠燈、炫彩燈、智能語音播報節(jié)點、雙路繼電器、風扇節(jié)點、窗簾執(zhí)行器、水泵節(jié)點、步進點擊、舵機等執(zhí)行器、OLED顯示板等工作。通過外設(shè)，可通過ZigBee進行通信。通過外設(shè)，可通過LORA進行通信。通過外設(shè)，可實現(xiàn)與更多傳感器、執(zhí)行器進行通信，包括但不限于：循跡傳感器、超聲波傳感器、電機、舵機、串口設(shè)備、I2C接口設(shè)備。通過外設(shè)，可實現(xiàn)NFC功能。二、含理論+實踐課程（含Word、PPT、視頻等）1套課程需要包括PPT，Word、視頻、練習題資源數(shù)量：PPT≥100份，實驗指導手冊≥60份，課程視頻≥100份，示例代碼≥50份。課時數(shù)≥109課時，課程內(nèi)容包括但不限于：《單項實驗》《智慧農(nóng)業(yè)》《醫(yī)療健康》《智能家居》三、教學及編程軟件1套編程IDE環(huán)境1、面向開發(fā)者提供的一站式集成開發(fā)環(huán)境，支持國產(chǎn)化操作系統(tǒng)的的組件按需定制，支持代碼編輯、編譯、燒錄和調(diào)試等功能，支持C/C++語言，以插件的形式部署在VisualStudioCode上。2、采用Windows+Ubuntu混合開發(fā)環(huán)境，在Windows上主要進行代碼開發(fā)、代碼調(diào)試、鏡像燒錄等操作，在Ubuntu環(huán)境實現(xiàn)源碼編譯。其具有以下特點：支持代碼查找、代碼高亮、代碼自動補齊、代碼輸入提示、代碼檢查等，開發(fā)者可以輕松、高效編碼。支持豐富的芯片和開發(fā)板，包括但不限于Hi3516DV300/Hi3861V100/Hi3751V350/BearPi-HMNano開發(fā)板，以及Neptune/RK3568/Bearpi-HMMicro等開發(fā)板。（3）支持自動檢測各芯片/開發(fā)板依賴的工具鏈是否完備，并提供一鍵下載和安裝缺失工具鏈。（4）支持多人共享開發(fā)模式，采用基于Remote-SSH模式實現(xiàn)多人共享遠程開發(fā)，實現(xiàn)一個團隊公用一臺服務(wù)器進行編譯、燒錄。（5）支持源碼級調(diào)試能力，提供查看內(nèi)存、變量、調(diào)用棧、寄存器、反匯編等調(diào)試信息。四、Demo源碼資源包1套智慧農(nóng)業(yè)Demo≥1個智慧醫(yī)療Demo≥1個智慧家居Demo≥1個五、含配套項目實操實驗1套：全場景分布式國產(chǎn)操作系統(tǒng)系列實驗≥10個，包含：全場景分布式國產(chǎn)輕量系統(tǒng)介紹、開發(fā)環(huán)境搭建、代碼編譯、HelloWord、串口升級、WiFiAP實驗、WiFiSTA實驗、MQTT實驗、ADC按鍵實驗、OneNET云實驗；AIOT傳感器系列實驗≥4個，包含：環(huán)境檢測實驗、可燃氣體檢測實驗、人體檢測、智能燈控實驗、光控燈光實驗、智能風扇實驗；國產(chǎn)操作系統(tǒng)應(yīng)用開發(fā)系列實驗≥15個，包含：應(yīng)用開發(fā)環(huán)境搭建、國產(chǎn)操作系統(tǒng)Ability開發(fā)實驗、國產(chǎn)操作系統(tǒng)Stage模型應(yīng)用、ArkTS基礎(chǔ)語法實驗、ArkTS頁面布局實驗、ArkUI常見組件實驗、ArkTS頁面路由實驗、、HTTP請求實驗、Socket通訊實驗、ArkTS動畫實驗、ArkTS自定義組件實驗、ArkTS自定義彈窗實驗、原子化卡片開發(fā)實驗、文件管理實驗，分布式計算器應(yīng)用開發(fā)實戰(zhàn)；智慧農(nóng)業(yè)實訓項目案例，包含：01智慧農(nóng)業(yè)系統(tǒng)框架設(shè)計；02傳感器層設(shè)計，包括土壤溫濕度傳感器、光照傳感器數(shù)據(jù)采集分析，數(shù)據(jù)上傳等；03邊緣計算，包括智慧農(nóng)業(yè)環(huán)境監(jiān)測、設(shè)備控制、設(shè)備測數(shù)據(jù)計算等；04云平臺開發(fā)，包括云平臺接入，云平臺web頁面設(shè)計、數(shù)據(jù)通信、云端數(shù)據(jù)計算、數(shù)據(jù)監(jiān)測，云端控制等；05智慧農(nóng)業(yè)整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；醫(yī)療健康實訓項目案例，包含：01醫(yī)療健康項目系統(tǒng)框架設(shè)計；02可穿戴設(shè)備開發(fā)，包括心率傳感器、溫度傳感器等數(shù)據(jù)采集，數(shù)據(jù)分析，數(shù)據(jù)上傳等；03家居設(shè)備開發(fā)，包括風扇、空調(diào)開關(guān)控制、蜂鳴器告警等，實現(xiàn)可穿戴設(shè)備與家居設(shè)備聯(lián)動；04醫(yī)療中控面板開發(fā)，人機交互、健康數(shù)據(jù)顯示、醫(yī)療呼叫終端；05云平臺開發(fā)，包括醫(yī)療健康數(shù)據(jù)采集，數(shù)據(jù)顯示、云端數(shù)據(jù)監(jiān)測、數(shù)據(jù)通信等；06醫(yī)療健康整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；智能家居實訓項目案例，包含：01智能家居系統(tǒng)框架設(shè)計、02智能家居設(shè)備開發(fā)，包括有風扇、人體紅外傳感器、溫濕度傳感器、智能開關(guān)等；03家居中控面板開發(fā)，人機交互、家庭環(huán)境數(shù)據(jù)顯示；04云平臺開發(fā)，包括家居環(huán)境數(shù)據(jù)，云端數(shù)據(jù)監(jiān)測、數(shù)據(jù)通信等；05醫(yī)療健康整體項目集成，對整個項目所有模塊代碼進行集成、系統(tǒng)模塊功能對接，最終完成整個項目；套24端云協(xié)同AI開發(fā)實訓平臺一、端云協(xié)同AI開發(fā)實訓平臺：端云協(xié)同AI開發(fā)實訓平臺是專門為AI開發(fā)者提供的易于使用，高效，高擴展的AI推理開發(fā)框架，它可以幫助AI開發(fā)者快速完成從模型文件到AI推理應(yīng)用的開發(fā)和上線工作，降低AI算法落地門檻，同時帶來AI應(yīng)用的高穩(wěn)定性和極致性能。提供相關(guān)開發(fā)SDK，SDK支持連接