嵌入式系統(tǒng)原理及應(yīng)用課件：嵌入式項(xiàng)目實(shí)踐

嵌入式系統(tǒng)原理與應(yīng)用嵌入式項(xiàng)目實(shí)踐---語(yǔ)音識(shí)別多媒體系統(tǒng)設(shè)計(jì)嵌入式項(xiàng)目實(shí)踐CONTENTS01.系統(tǒng)功能要求02.部分硬件設(shè)計(jì)電路03.系統(tǒng)程序設(shè)計(jì)04.結(jié)果顯示01PARTONE系統(tǒng)功能要求近年來(lái)，人工智能領(lǐng)域迎來(lái)顯著突破，尤其是生成式人工智能（GenAI）的迅速崛起，廣泛應(yīng)用于業(yè)務(wù)職能中，并受到企業(yè)高管的高度關(guān)注。同時(shí)，OpenAI開發(fā)的ChatGPT成為全球焦點(diǎn)，其能力的大幅提升標(biāo)志著AI技術(shù)的重要飛躍。此外，AI在醫(yī)療、教育、交通等多個(gè)領(lǐng)域產(chǎn)生深遠(yuǎn)影響，開源AI的發(fā)展和許可辯論也成為熱議話題，特別是近年來(lái)人工智能產(chǎn)業(yè)蓬勃發(fā)展，正在成為新一輪技術(shù)產(chǎn)業(yè)變革的重要力量。大到智能機(jī)器人，小到掌上設(shè)備，各式各樣的人工智能產(chǎn)品不斷亮相，與人的互動(dòng)方式也在不斷創(chuàng)新。項(xiàng)目前景該項(xiàng)目需要使用到的技術(shù)主要包括Linux操作系統(tǒng)相關(guān)知識(shí)，人工智能相關(guān)知識(shí)，網(wǎng)絡(luò)通信相關(guān)知識(shí)，文件IO相關(guān)知識(shí)，語(yǔ)音識(shí)別API的使用。通過(guò)該項(xiàng)目，學(xué)生將會(huì)對(duì)人工智能、語(yǔ)音識(shí)別的原理有較為基礎(chǔ)的了解。需要完成的具體功能包含以下四個(gè)方面，電子相冊(cè)、音樂(lè)播放器、視頻播放器、語(yǔ)音識(shí)別控制。項(xiàng)目介紹采用GEC6818物聯(lián)網(wǎng)綜合實(shí)驗(yàn)箱，實(shí)現(xiàn)語(yǔ)音識(shí)別的多媒體系統(tǒng)設(shè)計(jì)，以s5p6818為核心，通過(guò)觸摸實(shí)現(xiàn)圖片的切換、音樂(lè)播放、視頻播放機(jī)語(yǔ)音識(shí)別控制以及結(jié)合物聯(lián)網(wǎng)云。本課題設(shè)計(jì)需要完成的基礎(chǔ)功能包含以下幾個(gè)方面。1、電子相冊(cè)，采用觸摸方式實(shí)現(xiàn)圖片的切換；2、音樂(lè)播放器，采用觸摸方式實(shí)現(xiàn)音樂(lè)的切換；3、視頻播放器，采用觸摸方式實(shí)現(xiàn)視頻的切換；4、語(yǔ)音識(shí)別控制，能夠?qū)崿F(xiàn)錄音、識(shí)別。5、實(shí)現(xiàn)客戶端與服務(wù)器功能，將語(yǔ)音識(shí)別功能放在服務(wù)端，根據(jù)識(shí)別結(jié)果控制開發(fā)板。系統(tǒng)功能需求擴(kuò)展功能：1、上傳語(yǔ)音識(shí)別服務(wù)端到阿里云服務(wù)器，實(shí)現(xiàn)外網(wǎng)訪問(wèn)服務(wù)器解析語(yǔ)音信號(hào)并控制開發(fā)板。2、驅(qū)動(dòng)應(yīng)用，實(shí)現(xiàn)上位機(jī)監(jiān)測(cè)與控制AMR端設(shè)備。系統(tǒng)功能需求02PARTTWO部分硬件設(shè)計(jì)電路顯示模塊使用液晶顯示器（LCD）是以液晶為基本材料的顯示組件。其通過(guò)控制液晶分子兩端的電壓來(lái)控制液晶分子的轉(zhuǎn)動(dòng)方向，繼而控制每個(gè)像索點(diǎn)偏振光投射度而達(dá)到顯示的目的。目前常稱的LCM(LCDModule)即為L(zhǎng)CD模組，其包含了LCD、控制驅(qū)動(dòng)芯片、PCB板、背光源、結(jié)構(gòu)件以及連接器等諸多部件裝配在一起的組件。

顯示模塊電路如圖9.2所示。1.顯示模塊錄音模塊使用板載麥克風(fēng)，同時(shí)支持3.5mm耳機(jī)接人，其電路如圖9.3所示。該音模塊通過(guò)引腳和1GEC6818進(jìn)行連接。在檢測(cè)到屏幕被點(diǎn)擊之后進(jìn)行錄音。2.錄音模塊音頻播放需要使用外接耳機(jī)，接人核心板上的3.5mm輸出接口(綠色)，其電路如圖9.4所示。當(dāng)系統(tǒng)接收到aplay命令后，則播放選擇的音頻。3.播放模塊03PARTTHREE系統(tǒng)程序設(shè)計(jì)首先從服務(wù)器端開始，進(jìn)行離線語(yǔ)音識(shí)別初始化和socket初始化。然后判斷是否連接成功，如果是的話，則接收文件并進(jìn)行語(yǔ)音識(shí)別，最后發(fā)送結(jié)果。如果不是，則需要重新嘗試連接或處理其他錯(cuò)誤情況?？蛻舳艘策M(jìn)行了類似的操作，包括觸摸屏初始化、socket初始化以及接收觸屏指令等步驟。整個(gè)系統(tǒng)通過(guò)這種方式實(shí)現(xiàn)了語(yǔ)音命令到設(shè)備動(dòng)作的轉(zhuǎn)換。1.主程序設(shè)計(jì)1）、BMP圖片介紹2.圖片顯示BMP：它采用位映射存儲(chǔ)格式，除了圖像深度可選以外，不采用其他任何壓縮，因此，BMP文件所占用的空間很大。BMP文件的圖像深度可選lbit、4bit、8bit及24bit。BMP文件存儲(chǔ)數(shù)據(jù)時(shí)，圖像的掃描方式是按從左到右、從下到上的順序。BMP文件組成：BMP文件由文件頭、位圖信息頭、顏色信息和圖形數(shù)據(jù)四部分組成。BMP文件頭（14字節(jié)）：BMP文件頭數(shù)據(jù)結(jié)構(gòu)含有BMP文件的類型、文件大小和位圖起始位置等信息。位圖信息頭（40字節(jié)）：BMP位圖信息頭數(shù)據(jù)用于說(shuō)明位圖的尺寸等信息。2）、BMP圖片在Linux中，-切皆文件，LCD顯示屏對(duì)應(yīng)的設(shè)備文件為/dev/fb0。如果想讓LCD顯示屏顯示顏色，就是把顏色寫人到LCD顯示屏對(duì)應(yīng)的設(shè)備文件中，查看LCD設(shè)備文件相關(guān)信息。3）、代碼示例2.圖片顯示1）、觸摸屏應(yīng)用接口3.觸摸屏使用連接操作系統(tǒng)的輸入設(shè)備，可不止一種，也許是一個(gè)標(biāo)準(zhǔn)PS/2鍵盤，也許是一個(gè)USB鼠標(biāo)，或者是一塊觸摸屏，甚至是一個(gè)游戲機(jī)搖桿，Linux在處理這些紛繁各異的輸入設(shè)備的時(shí)候，采用的辦法還是找中間層來(lái)屏蔽各種細(xì)節(jié)，請(qǐng)看下圖：2）、觸摸屏原理分析3.觸摸屏使用1，輸入設(shè)備驅(qū)動(dòng)層每一種設(shè)備都有其特定的驅(qū)動(dòng)程序，他們被妥當(dāng)?shù)匮b載到操作系統(tǒng)的設(shè)備模型框架內(nèi)，封裝硬件所提供的功能，向上提供規(guī)定的接口。2，核心層此處將收集由設(shè)備驅(qū)動(dòng)層發(fā)來(lái)的數(shù)據(jù)，整合之后觸發(fā)某一事件。3，事件觸發(fā)層這一層是我們需要關(guān)注的，我們可以通過(guò)在用戶空間讀取相應(yīng)設(shè)備的節(jié)點(diǎn)文件來(lái)獲知某設(shè)備的某一個(gè)動(dòng)作。在最靠近應(yīng)用程序的事件觸發(fā)層上，內(nèi)核所獲知的各類輸入事件，比如鍵盤被按了一下，觸摸屏被滑了一下等，都將被統(tǒng)一封裝在一個(gè)叫做input_event的結(jié)構(gòu)體當(dāng)中3）、示例代碼3.觸摸屏使用4.音樂(lè)播放

在開發(fā)板中播放音樂(lè)，可直接使用開發(fā)板中的madplay進(jìn)行播放

1、播放

madplay1.mp3//播放歌曲1.mp3

2、暫停 killall-SIGSTOPmadplay

3、繼續(xù) killall-SIGCONTmadplay

4、退出 killall-SIGKILLmadplay

在代碼中實(shí)現(xiàn)以上命令時(shí)，可調(diào)用system()函數(shù)完成，如： 播放：system("madplay1.mp3&"); 暫停：system("killall-SIGSTOPmadplay") 繼續(xù)：system("killall-SIGCONTmadplay")5.語(yǔ)音識(shí)別

官網(wǎng)：（訊飛開發(fā)平臺(tái)）

一、下載離線SDK1、先進(jìn)行注冊(cè)或者登陸2、登錄科大訊飛官方網(wǎng)站注冊(cè)賬號(hào)，轉(zhuǎn)到語(yǔ)音識(shí)別---下載sdk文件如下（有效期1個(gè)月）。5.語(yǔ)音識(shí)別3、創(chuàng)建應(yīng)用。5.語(yǔ)音識(shí)別4、下載SDK5.語(yǔ)音識(shí)別5、分析源碼1）、將下載到的源碼壓縮包Linux_aitalk_exp1227_3f928ba4.zip進(jìn)行解壓，解壓到Linux_aitalk_exp1227_3f928ba4文件夾。進(jìn)入此文件夾。找到README.txt文件，嘗試看看工程文件的作用。5.語(yǔ)音識(shí)別5、分析源碼2）、進(jìn)入sample/asr_offline_sampleasr_soffline_ample是離線識(shí)別的示例代碼，相關(guān)文件如下：5.語(yǔ)音識(shí)別5、分析源碼（1）64bit_make.sh64bit_make.sh是64位的執(zhí)行文件shell文件，功能是編譯asr_offline_sample.c文件，輸入命令（./64bit_make.sh）可以得到asr_offline_sample.c的可執(zhí)行文件，可執(zhí)行文件在bin目錄中，名為asr_offline_sample。5.語(yǔ)音識(shí)別5、分析源碼（1）64bit_make.sh直接運(yùn)行./asr_offline_sample，會(huì)出現(xiàn)缺少動(dòng)態(tài)庫(kù)。動(dòng)態(tài)庫(kù)在x64中，將libs/x64/libmsc.so復(fù)制到/lib中（加上sudo）。5.語(yǔ)音識(shí)別5、分析源碼（2）call.bnfbin中call.bnf是識(shí)別的語(yǔ)法文件，能識(shí)別打開！，id=1；播放，id=2，

。#BNF+IAT1.0UTF-8;!grammarcall;!slot<want>;!slot<dialpre>;!slot<dialsuf>;!slot<contact>;!start<callstart>;<callstart>:<dial>;<dial>:<dialpre><contact>;<dialpre>:打開!id(10001)|播放!id(10001);<contact>:相冊(cè)|音樂(lè)|視頻;5.語(yǔ)音識(shí)別5、分析源碼（3）分析asr_offline_sample.c①獲取需要識(shí)別的語(yǔ)音文件get_audio_file()constchar*get_audio_file(void){ recv_file(); return"abc.wav";//識(shí)別的文件}②進(jìn)行離線語(yǔ)法識(shí)別run_asr(UserData*udata);識(shí)別結(jié)果在rec_rslt中，對(duì)rec_rslt內(nèi)容進(jìn)行提取即可得到識(shí)別結(jié)果。5.語(yǔ)音識(shí)別5、分析源碼（4）網(wǎng)絡(luò)通信6.調(diào)試步驟編譯運(yùn)行①、編譯在….../Linux_aitalk_exp/samples/asr_offline_sample目錄中執(zhí)行./64bit_make.sh，生成可執(zhí)行文件asr_offline_sample，操作如下：②、運(yùn)行可執(zhí)行文件asr_offline_sample

在……/Linux_aitalk_exp/bin目錄中運(yùn)行可執(zhí)行文件，命令為“./asr_offline_sample”。操作如下：等待客服端發(fā)送過(guò)來(lái)文件。（6）整合客戶端程序，可以發(fā)送。04PARTFOURE結(jié)果顯示結(jié)果顯示完成語(yǔ)音識(shí)別項(xiàng)目編程，實(shí)現(xiàn)語(yǔ)音控制相冊(cè)、音樂(lè)播放、視頻播放功能。作業(yè)1、系統(tǒng)功能需求2、硬件電路3、軟件設(shè)計(jì)3、思政：在進(jìn)行語(yǔ)音識(shí)別項(xiàng)目編程，實(shí)現(xiàn)語(yǔ)音控制相冊(cè)、音樂(lè)播放、視頻播放功能的過(guò)程中，我們不僅能夠?qū)W習(xí)到先進(jìn)的技術(shù)知識(shí)，如自然語(yǔ)言處理和機(jī)器學(xué)習(xí)算法，還能深刻體會(huì)到科技創(chuàng)新如何改善人們的生活質(zhì)量。通過(guò)這樣的實(shí)踐課程，我們可以培養(yǎng)學(xué)生的創(chuàng)新