英語聽力口語考試自動化系統(tǒng)

1、江蘇省江蘇省英語聽力口語英語聽力口語自動化考試介紹自動化考試介紹牛津大學(xué)出版社(中國)有限公司中國科學(xué)院自動化研究所 2008年8月2目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機(jī)自動閱卷原理計算機(jī)自動閱卷原理4. 評估報告及教學(xué)反饋評估報告及教學(xué)反饋31.1 主要內(nèi)容主要內(nèi)容自動閱卷平臺人機(jī)對話聽力口語考務(wù)平臺考生語音數(shù)據(jù)考務(wù)和考場編排系統(tǒng)題庫管理系統(tǒng)考生成績及個性化診斷報告這是一場英語聽力口語合并的全自動化考試這是一場英語聽力口語合并的全自動化考試出題自動化出題自動化，以海量題庫為基礎(chǔ)；考試自動化考試自動化，采取人機(jī)對話方式；判卷自動化判卷自動化，

2、全部閱卷由計算機(jī)完成；結(jié)果反饋結(jié)果反饋，自動化生成評估報告。41.2 本項目四大特點本項目四大特點1.1. 人機(jī)對話的測試系統(tǒng)，將聽力和口語合二為一，省時省人機(jī)對話的測試系統(tǒng)，將聽力和口語合二為一，省時省力、減少事故；力、減少事故； 現(xiàn)狀：現(xiàn)狀：100100萬考生口語考試，萬考生口語考試，3 3天組織，工作量很大；天組織，工作量很大； 人工：人工：1 1老師老師/ /天天/100/100份卷，總量份卷，總量100100萬考生；萬考生； 機(jī)器：機(jī)器：1 1個市，個市，2 2臺服務(wù)器臺服務(wù)器/3/3天判卷；天判卷； 大幅度減少考試可能出現(xiàn)的差錯和事故率。大幅度減少考試可能出現(xiàn)的差錯和事故率。2.2

3、. 海量題庫、人機(jī)對話，同一考場不同考卷；海量題庫、人機(jī)對話，同一考場不同考卷； 題庫的海量性從考試機(jī)制的角度題庫的海量性從考試機(jī)制的角度有效阻止了考試作弊現(xiàn)象有效阻止了考試作弊現(xiàn)象； 通過技術(shù)手段有效通過技術(shù)手段有效抑制猜題、押題抑制猜題、押題等等弊端弊端； 從長遠(yuǎn)建設(shè)角度，經(jīng)過從長遠(yuǎn)建設(shè)角度，經(jīng)過3 3到到5 5年努力建立起百萬級題庫，并且年更年努力建立起百萬級題庫，并且年更新新10%10%。51.2 本項目四大特點本項目四大特點3.3. 計算機(jī)完成全部英語聽力和口語考試及評卷計算機(jī)完成全部英語聽力和口語考試及評卷公正性：人工閱卷方式受制于教師體力和精力狀況，很難保證成公正性：人工閱卷方式

4、受制于教師體力和精力狀況，很難保證成績的客觀性、準(zhǔn)確性和公平性，不同老師之間可能出現(xiàn)較大差異；績的客觀性、準(zhǔn)確性和公平性，不同老師之間可能出現(xiàn)較大差異； 計算機(jī)判卷不僅克服了人工判卷中這些很難避免的不利因素，計算機(jī)判卷不僅克服了人工判卷中這些很難避免的不利因素，極極大提高閱卷和評估的客觀性和公正性，而且為大提高閱卷和評估的客觀性和公正性，而且為個性化評估和個性化評估和提供提供改進(jìn)建議改進(jìn)建議奠定了奠定了堅實堅實的的基礎(chǔ)基礎(chǔ)。4.4. 有效評估，反饋教學(xué)有效評估，反饋教學(xué) 六級評估報告，從省、市、區(qū)縣，到學(xué)校、班級和個人；六級評估報告，從省、市、區(qū)縣，到學(xué)校、班級和個人； 中國第一次以量化方式提

5、供考試評估反饋中國第一次以量化方式提供考試評估反饋； 這樣的評估報告對英語的教與學(xué)提供了真正的可信、可視這樣的評估報告對英語的教與學(xué)提供了真正的可信、可視化化和可和可操作化的幫助操作化的幫助。6目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機(jī)自動閱卷原理計算機(jī)自動閱卷原理4. 評估報告及教學(xué)反饋評估報告及教學(xué)反饋72.1 考試自動化系統(tǒng)架構(gòu)考試自動化系統(tǒng)架構(gòu) 面向考試全程，全面、靈活、可定制的方案面向考試全程，全面、靈活、可定制的方案 考前：分級考務(wù)管理考前：分級考務(wù)管理/考場編排系統(tǒng)、考試服務(wù)網(wǎng)站考場編排系統(tǒng)、考試服務(wù)網(wǎng)站 考中：測試系統(tǒng)考中：測試系統(tǒng)

6、 考后：自動閱卷系統(tǒng)、報告生成系統(tǒng)考后：自動閱卷系統(tǒng)、報告生成系統(tǒng)82.2 考務(wù)管理考務(wù)管理/考場編排系統(tǒng)考場編排系統(tǒng)具有省、市、區(qū)縣三級管理模式；可對考生考籍進(jìn)行管理；提供多種具有省、市、區(qū)縣三級管理模式；可對考生考籍進(jìn)行管理；提供多種考場編排方式，生成與考試相關(guān)的各種表格與文件，并能靈活打印考場編排方式，生成與考試相關(guān)的各種表格與文件，并能靈活打印92.3 考試的組織與管理考試的組織與管理候考室考場1考生提前進(jìn)入候考室考場2每考場監(jiān)考員1名每考場系統(tǒng)操作員1名每考場帶隊教師1名每考點考生培訓(xùn)員1名每考點主考1名注：一個考點可包括一個或多個考場(計算機(jī)教室)102.4 考試系統(tǒng)考試系統(tǒng)監(jiān)考機(jī)

7、局域網(wǎng)考試機(jī)聽音、錄音聽音、錄音聽音、錄音考生在監(jiān)考機(jī)的控制下，通過考試機(jī)實現(xiàn)聽題目、錄回答的過程。注：以現(xiàn)有計算機(jī)教室為考場，每考場設(shè)有30-40臺考試機(jī)112.4 考試系統(tǒng)考試系統(tǒng)-學(xué)生人機(jī)交互學(xué)生人機(jī)交互學(xué)生端軟件操作簡單易用，包括考號輸入、設(shè)備測試、答題學(xué)生端軟件操作簡單易用，包括考號輸入、設(shè)備測試、答題等，在語音提示下完成考試過程，出現(xiàn)誤操作的幾率很小等，在語音提示下完成考試過程，出現(xiàn)誤操作的幾率很小122.4 考試系統(tǒng)考試系統(tǒng)-考號輸入考號輸入132.4 考試系統(tǒng)考試系統(tǒng)-設(shè)備測試設(shè)備測試耳麥設(shè)備耳麥設(shè)備由省政府由省政府統(tǒng)一采購統(tǒng)一采購142.4 考試系統(tǒng)考試系統(tǒng)-設(shè)備測試設(shè)備測試

8、-錄音樣例錄音樣例 聲音太小聲音太小 聲音太大（飽和）聲音太大（飽和） 設(shè)備測試時檢查錄音設(shè)備，確保錄音正常，是自動閱卷的設(shè)備測試時檢查錄音設(shè)備，確保錄音正常，是自動閱卷的基礎(chǔ)?；A(chǔ)。 聲音合適聲音合適152.4 考試系統(tǒng)考試系統(tǒng)-考試過程考試過程考生面對考生面對計算機(jī)，計算機(jī)，人機(jī)對話人機(jī)對話162.4 考試系統(tǒng)考試系統(tǒng)-教師人機(jī)交互教師人機(jī)交互 教師端軟件全程監(jiān)控，學(xué)生端如有任何異常情況教師端軟件全程監(jiān)控，學(xué)生端如有任何異常情況(設(shè)備測設(shè)備測試、進(jìn)度、錄音異常等試、進(jìn)度、錄音異常等)，及時提示監(jiān)考老師幫助學(xué)生解，及時提示監(jiān)考老師幫助學(xué)生解決問題決問題172.4 考試系統(tǒng)考試系統(tǒng) - 測試現(xiàn)

9、場測試現(xiàn)場182.4 考試系統(tǒng)考試系統(tǒng) -其它保障措施其它保障措施 每個考場預(yù)設(shè)每個考場預(yù)設(shè)10%的備用考試設(shè)備，以備設(shè)備故障的考生的備用考試設(shè)備，以備設(shè)備故障的考生當(dāng)場或下場重考；當(dāng)場或下場重考； 考前制定應(yīng)急處理方案和故障解決手冊，做好對考生設(shè)備考前制定應(yīng)急處理方案和故障解決手冊，做好對考生設(shè)備異常、遲到缺考、網(wǎng)絡(luò)故障、數(shù)據(jù)傳輸?shù)葌€別情況的處理異常、遲到缺考、網(wǎng)絡(luò)故障、數(shù)據(jù)傳輸?shù)葌€別情況的處理準(zhǔn)備。準(zhǔn)備。 考試機(jī)故障解決手冊考試機(jī)故障解決手冊 監(jiān)考機(jī)故障解決手冊監(jiān)考機(jī)故障解決手冊192.5 自動閱卷系統(tǒng)自動閱卷系統(tǒng)評分標(biāo)準(zhǔn)人機(jī)對話考試系統(tǒng)考生答案自動閱卷服務(wù)器(省政府統(tǒng)一采購)局域網(wǎng)閱卷進(jìn)

10、度監(jiān)控系統(tǒng)管理注：以一市10萬考生計算，閱卷中心由兩臺閱卷服務(wù)器構(gòu)成，3天可完成閱卷。202.5 自動閱卷系統(tǒng)自動閱卷系統(tǒng) 導(dǎo)入考生的答卷文件；準(zhǔn)確完成自動閱卷和評分；導(dǎo)入考生的答卷文件；準(zhǔn)確完成自動閱卷和評分；21目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機(jī)自動閱卷原理計算機(jī)自動閱卷原理4. 評估報告及教學(xué)反饋評估報告及教學(xué)反饋223.1 自動閱卷系統(tǒng)技術(shù)結(jié)構(gòu)自動閱卷系統(tǒng)技術(shù)結(jié)構(gòu)233.2 語音識別用于口語評估的特殊性語音識別用于口語評估的特殊性 限定條件下的語音識別限定條件下的語音識別 專門麥克風(fēng)，一定題型；專門麥克風(fēng)，一定題型； 有別于不受任何

11、限制的自然口語識別；有別于不受任何限制的自然口語識別； 口語評估基于標(biāo)準(zhǔn)語音庫，而語音識別基于大量非標(biāo)準(zhǔn)庫口語評估基于標(biāo)準(zhǔn)語音庫，而語音識別基于大量非標(biāo)準(zhǔn)庫 中科院自動化所領(lǐng)先的語音識別技術(shù)中科院自動化所領(lǐng)先的語音識別技術(shù) 美國雖然還沒有把語音技術(shù)應(yīng)用于他們本國的學(xué)生評估，美國雖然還沒有把語音技術(shù)應(yīng)用于他們本國的學(xué)生評估，但是把這種技術(shù)應(yīng)用到美國以外學(xué)生的英語考試已經(jīng)很多但是把這種技術(shù)應(yīng)用到美國以外學(xué)生的英語考試已經(jīng)很多年了。年了。243.3 閱卷特征提取閱卷特征提取 完整性完整性 朗讀型題目，能否順利讀完全文，以及順利讀完的比例；朗讀型題目，能否順利讀完全文，以及順利讀完的比例； 話題簡述型

12、題目，能否完整表達(dá)題目的語意，清楚表達(dá)的語意比話題簡述型題目，能否完整表達(dá)題目的語意，清楚表達(dá)的語意比例；例； 完整性特征是評分的起評基本特征；完整性特征是評分的起評基本特征； 準(zhǔn)確性準(zhǔn)確性 單詞級評估，主要包括單詞發(fā)音的元音、輔音、重音準(zhǔn)確性單詞級評估，主要包括單詞發(fā)音的元音、輔音、重音準(zhǔn)確性 流利性流利性 句子級評估，主要包括語速、插入（重復(fù)、修正）、連貫（連讀、句子級評估，主要包括語速、插入（重復(fù)、修正）、連貫（連讀、失去爆破、同化）等失去爆破、同化）等 韻律性韻律性 句子級評估，主要包括意群停頓（節(jié)奏）、重讀弱讀、語氣語調(diào)句子級評估，主要包括意群停頓（節(jié)奏）、重讀弱讀、語氣語調(diào)253.

13、4 自動閱卷過程說明自動閱卷過程說明 Making tea with tea bags is faster and easier than making it with leaves in teapots閱卷系統(tǒng)及其輸入：閱卷系統(tǒng)及其輸入：系統(tǒng)輸入：考生朗讀文本及語音系統(tǒng)輸入：考生朗讀文本及語音263.4 自動閱卷過程說明自動閱卷過程說明 綜合各種特征給出評分綜合各種特征給出評分 完整性特征：根據(jù)漏讀情況計算完整性完整性特征：根據(jù)漏讀情況計算完整性 準(zhǔn)確性特征：單詞發(fā)音、重音準(zhǔn)確性準(zhǔn)確性特征：單詞發(fā)音、重音準(zhǔn)確性 流利性特征：語速、插入、連讀、失去爆破、同化流利性特征：語速、插入、連讀、失去爆

14、破、同化 韻律性特征：意群停頓、重讀弱讀、語氣語調(diào)韻律性特征：意群停頓、重讀弱讀、語氣語調(diào) 綜合決策模塊：綜合上述特征給出最后評分綜合決策模塊：綜合上述特征給出最后評分綜合決策完整性特征準(zhǔn)確性特征流利性特征韻律性特征評分結(jié)果門限設(shè)置門限設(shè)置27目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機(jī)自動閱卷原理計算機(jī)自動閱卷原理4. 評估報告及教學(xué)反饋評估報告及教學(xué)反饋284.1 省、市、區(qū)省、市、區(qū)(縣縣)、校、班級、個人六級評估報告、校、班級、個人六級評估報告評估報告的主要內(nèi)容包括：評估報告的主要內(nèi)容包括：1. 考試總分統(tǒng)計：分別按照個人、班級、學(xué)校、區(qū)考試

15、總分統(tǒng)計：分別按照個人、班級、學(xué)校、區(qū)(縣縣)、市、省進(jìn)、市、省進(jìn)行分析和比較，并可自定義比較單位，如平均分、最高分、單項行分析和比較，并可自定義比較單位，如平均分、最高分、單項分等；分等；2. 主要錯誤的尋找和指正：給出發(fā)音、考點、語速、重音等方面的主要錯誤的尋找和指正：給出發(fā)音、考點、語速、重音等方面的分檔評價和主要錯誤；分檔評價和主要錯誤；3. 改進(jìn)建議：針對主要錯誤給出練習(xí)改善的建議。改進(jìn)建議：針對主要錯誤給出練習(xí)改善的建議。294.2.1 考試總分統(tǒng)計考試總分統(tǒng)計34分及以上（A檔）34-28分（B檔）28-24分（C檔）24-20分（D檔）20分下（E檔）3341 (80.3%)511 (12.3%)140 (3.4%)82 (2.0%)86 (2.1%)304.2.2 單項分?jǐn)?shù)統(tǒng)計單項分?jǐn)?shù)統(tǒng)計31-4.2.2 發(fā)音錯誤比率圖發(fā)音錯誤比率圖324.2.2 語速分布圖語速分布圖334.2.3 各大題得分情況分析各大題得分情況分析朗讀短文朗讀短文回答問題回答問題平均分：8.79分 (滿分10分)平均分：8.74 (滿分10分)聽短文或?qū)υ捇卮饐栴}聽短文或?qū)υ捇卮饐栴}復(fù)述句子復(fù)述句子平均分：9.02分 (滿分10分)平均分：9.44分 (滿