一種評卷方案的優(yōu)化模型

1、一種評卷方案的優(yōu)化模型竇霽虹，姬利娜（西北大學 數(shù)學系，陜西 西安 710069）摘要：針對某些考試不必排名只需歸類分級的目的，提出了交錯分級淘汰制，建立了多目標規(guī)劃模型確定該法涉及的參數(shù)。該方法減小了工作量，降低了系統(tǒng)誤差和偶然誤差對評卷結(jié)果的影響。關(guān)鍵詞：交錯分級淘汰法；綜合評價值；系統(tǒng)誤差；優(yōu)化模型中圖分類號：TB114.1 文獻標識碼：A文章編號：1000-274X(2004)0086-09社會上的各種等級考試（如大學生四、六級英語口語考試，分A、B、C、D 4個等級）和學校里的各種競賽活動（如全國大學生數(shù)學建模競賽某賽區(qū)要評出特等、一等、二等、三等、無獎5個等級）的共同點是評卷結(jié)果不

2、必排名只需歸類分級。如何保證結(jié)果的公正性和科學性，是一個值得探討的問題。最常見的評卷規(guī)則都是與平均值有關(guān)的，如平均排序法和去掉最高分、最低分的平均排序法1。上述方法的共同點是每位評委要給所有的答卷打分，工作量很大；再者，打分時往往出現(xiàn)系統(tǒng)誤差。例如，同一批答卷，甲評委平均給70分，而乙評委可能給85分。如此，各評委的打分不在同一可比較的水平上，直接求平均值不科學，而且各評委打分時有偶然誤差。針對此類等級考試和競賽結(jié)果無須排名只需歸類分級的特點，結(jié)合對全國大學生數(shù)學建模競賽某賽區(qū)歷年來評閱結(jié)果的利弊分析，在加權(quán)平均的基礎(chǔ)上，提出了交錯分級淘汰法評卷方案，即依各等級預定的比例，從低等到高等分批歸類

3、。設(shè)有份答卷，位評委。要將答卷劃分等，第等預定的比例為評委對答卷的打分在區(qū)間內(nèi)。當、較大時，可分組評卷。1系統(tǒng)誤差的確定系統(tǒng)誤差主要是由對同一批答卷各評委所給平均分不同造成的。經(jīng)系統(tǒng)誤差調(diào)整后，對同一批答卷各評委給的平均分要相同。系統(tǒng)誤差是對整體份答卷而言的，可以用抽樣的方法近似求得。抽樣單位數(shù)的多少決定了抽樣估計的可信程度2。定義抽樣估計的可信程度。隨機取樣本答卷份，位評委分別給所有的答卷打分，記第位評委給第份答卷的打分為，則可得一個階的評價矩陣3，記為A=第位評委給這份答卷的平均分，記為這份答卷的平均分，記為 記第位評委的系統(tǒng)誤差為，則有 ，可得2交錯分級淘汰法的基本過程2.1計算l份樣本

4、答卷的綜合評價值第 份答卷的綜合評價值，記為，則用加權(quán)算術(shù)平均法可得 ， 2.2對輪改輪數(shù)的討論假設(shè)共進行輪。其中。情形1分等可轉(zhuǎn)化為分等，此時可看作。情形2先將分等轉(zhuǎn)化為分等，此時可看作2.3p=k時的交錯分級淘汰法讓所有評委圍坐在圓桌前，然后對評委依次從編號直至。隨機將剩余的份答卷從編號直至。若第位評委給第份答卷打分，則 記為該分值，否則記為0，得一個階的評價矩陣，記為。如果第份答卷被淘汰掉，記矩陣中第列為0向量，該份答卷不再參與淘汰過程。若第1輪中，按編號從小到大等分答卷 ，各評委給自己分得的答卷打分，第 份答卷的綜合評價值，記為，則 。將這份答卷和份樣本答卷依據(jù)綜合評價值排序，大約淘汰

5、最差的份答卷。第2輪中，各評委將手中剩余答卷向右傳給下一位評委且盡量保證等分，各評委給新分得的答卷打分，第 份答卷的綜合評價值，記為，則 。將第1輪中未被淘汰的答卷依據(jù)綜合評價值排序，淘汰最差的一部分答卷，和第1輪中淘汰的答卷組成第等答卷。再淘汰最差的份答卷。依次類推直至第輪。記為第輪評委打分的次數(shù)。易知。第輪對編號在到的未淘汰掉的份答卷，依圓桌會議的原則，每位評委給自己未曾打分的答卷打分。第 份答卷的綜合評價值，記為，則 。依綜合評價值，淘汰最差的一部分答卷，和第輪淘汰的第等答卷組成第等答卷。再淘汰最差的份答卷。將第輪的的評價矩陣記為C =第輪將矩陣中的非0元素轉(zhuǎn)化為名次分，得新的評價矩陣D

6、 =由文獻5中的評比規(guī)則，淘汰最差的一部分答卷為1等，和第輪淘汰的第等答卷組成第1等答卷。剩余的答卷為特等。3對交錯分級淘汰法的評估3.1工作量的估計小樣確定系統(tǒng)誤差打分次，第輪打分次，第輪打分次。不妨假定，編號在到的答卷與編號在到的答卷在每一次，淘汰掉的比例均相同。則，打分的次數(shù)大約為3.2抽樣估計的可信程度由于計算系統(tǒng)誤差時采取樣本抽樣的方法，故樣本答卷的數(shù)量多少決定了抽樣估計的可信程度3.3偶然誤差的影響力偶然誤差是因為某種偶然因素導致評委對某份答卷的打分與其正常情況下的打分有偏差，可以通過其他評委的打分減小偶然誤差的影響。定義1偶然誤差的影響力3.4對交錯分級淘汰法的評價 交錯分級淘汰

7、法與平均排序法相比,一方面減少了工作量，因為 ；另一方面，以系統(tǒng)誤差為權(quán)值將各評委的打分調(diào)整到同一可比較的水平上，降低了系統(tǒng)誤差對評閱結(jié)果的影響；此外，輪改在一定程度上避免了偶然誤差造成的誤判，又逐級淘汰使得優(yōu)秀的答卷一定能夠被選出。交錯分級淘汰，在每一輪淘汰過程中，包括兩個相鄰的等級；每一個等級，在兩輪相鄰的淘汰過程中確定。這樣一來，對那些處于兩個等級間不能明確其等級的答卷，在下一輪的淘汰過程中重新復審，在一定程度上體現(xiàn)了公正性。對于水平穩(wěn)定的評委組，每個評委的系統(tǒng)誤差具有穩(wěn)定性，任意取一個小樣本所得系統(tǒng)誤差即可近似代表整個評閱過程的系統(tǒng)誤差。反之，根據(jù)系統(tǒng)誤差的穩(wěn)定性與否也可評價評委的水平

8、。當然，偶然誤差還依然會對評閱結(jié)果造成影響，如第一輪的淘汰中有可能去掉好的答卷。4交錯分級淘汰法中參數(shù)的確定為了保證評閱工作的公正性和科學性，一方面要減少工作量，即打分的次數(shù)盡可能少；另一方面要保證抽樣估計的可信程度；此外，要減小偶然誤差的影響力。確定樣本份數(shù)，輪數(shù)的問題轉(zhuǎn)化為一個三目標規(guī)劃問題。即該問題的決策變量為和，多目標規(guī)劃問題的求解一般是尋找非劣解。約束法是一種用單目標規(guī)劃求多目標規(guī)劃非劣解的方法。本問題中，選第一個目標作為主目標，其余兩個目標變?yōu)榧s束，構(gòu)造成單目標規(guī)劃問題。因為本問題中的變量和均為離散的量，且有取值區(qū)間的限制，故和只能取有限多個值，可以窮舉和的組合，即可得到不同約束條

9、件下的單目標規(guī)劃問題。而只要給定了和就可確定和，進而可得的值。這樣近似的求得了非劣集，最后由決策者在非劣集中找出最終解。5 應(yīng)用實例全國大學生數(shù)學建模競賽某賽區(qū)有40份答卷，共5位評委，要評出特等、一等、二等、三等、無獎（比例各占12%，15%，25%，30%，18%）。決策者取的最終解為，此時系統(tǒng)誤差的可靠性，偶然誤差的影響力。運用交錯分級淘汰法的評卷結(jié)果見表1。表1 交錯分級淘汰法的評卷結(jié)果Tab.1 the results of critically reading of the crossing and classifiable elimination system獎項答卷編號特等35

10、，21，18，4，36一等26，9，23，40，38，8二等7，22，16，15，39，14，17，2，27，3三等34，12，31，25，37，1，19，33，20，32，28，30無獎24，11，13，5，29，10，6 任選了5份答卷為樣本計算系統(tǒng)誤差，5位評委的系統(tǒng)誤差分別為：0.952 727, 0.871 259, 1.018 889, 1.024 581, 1.183 226。共改了150份次答卷，平均每位評委打分30次。運用平均排序法的評閱結(jié)果見表2。表2 平均排序法的評卷結(jié)果Tab.2 The results of critically reading of the sequ

11、ence system according to average value獎 項答卷編號特 等35，21，4，18，26一 等36，9，23，40，27，38二 等31，7，34，8，17，2，3，25，22，15三 等16，39，14，1，32，12，20，37，19，33，24，13無 獎28，30，11，5，10，6，29共改了200份次答卷，平均每位評委打分40份次。交錯分級淘汰法相對于平均排序法工作量比值 ，原始數(shù)據(jù)見表3。對照表1和表2知，兩種方法的評卷結(jié)果在等級交接處有明顯不同，這種不同體現(xiàn)了交錯分級淘汰法交錯處理那些位于兩個等級間不能明確其等級答卷的優(yōu)越性，將這些不能明確其等

12、級的答卷放在同一輪中評閱，用同一標準去劃分等級。例如，第26份答卷與第36份答卷的算術(shù)平均值均為87.8，在平均排序法中并列第5名，而特等只能有5份，平均排序法處理此問題容易做出錯誤的決策；在交錯分級淘汰法中，名次分別為24，20，顯然第36份答卷應(yīng)為特等而第26份答卷應(yīng)為一等。由表3知，對同一份答卷各評委的打分會有很大的差異，直接求算術(shù)平均值沒有考慮系統(tǒng)誤差對評卷結(jié)果的影響，這不科學；交錯分級淘汰法中，對評委打的原始分以系統(tǒng)誤差為權(quán)值計算綜合評價值，在一定程度上克服了系統(tǒng)誤差對評卷結(jié)果的影響。例如，第14份答卷各評委打的原始分分別為69，81，78，85，85，第14份答卷的算術(shù)平均值為79

13、.6，在平均排序法中為第三等，在交錯分級淘汰法中的綜合評價值為80.82，為第二等。對照兩種方法的評卷結(jié)果，對多數(shù)答卷的分級是保持一致的，說明平均排序法在一定程度上是公平的，雖然這種公平性有局限性。平均排序法即交錯分級淘汰法的狀態(tài)轉(zhuǎn)移矩陣，記為 X =其中表示平均排序法評為( =1，2，3，4)等的答卷用交錯分級淘汰法評為(=1，2，3，4)等的答卷占等答卷的比例。顯然由對角線元素知，兩種方法所得特等、一等、二等、三等、無獎的重合率分別為：80%、67%、60%、58%、71%。表3 全國大學生數(shù)學建模競賽某賽區(qū)評委打分原始數(shù)據(jù)Tab.3The mark of the papers in a

14、certain province region of the Chinese Mathematical Contest in Modeling評委編號答卷編號12345678910164606381363068737839281878096766690879668375888684646779828363488888790696882849070577859093606592859158評委編號答卷編號1112131415161718192015157516971747187626326570638184787295727535771687878818884797546787898582748

15、8807676568927985859390947482評委編號答卷編號21222324252627282930177748254607574574759295888566809481635873394828375889290696369484758878928687786073597849182849292765761評委編號答卷編號31323334353637383940171656374808255726377292927683979369837692373657171857774847782491858194939579869387585756689969289878990選取的樣本答

16、卷不同，所得的系統(tǒng)誤差會不同，各評委的系統(tǒng)誤差對應(yīng)一個震蕩區(qū)間，區(qū)間的大小反映了該評委系統(tǒng)誤差的穩(wěn)定性。各評委系統(tǒng)誤差的震蕩區(qū)間分別為：（0.839 8841.070 760）,（0.871 2591.084 337）,（0.920 6731.148 276）,（0.956 1361.118 310）,（0.906 1611.183 226）。各區(qū)間長度分別為：0.230 876，0.213 078，0.227 603，0.162 174，0.277 065。參看圖1，易知評委4的系統(tǒng)誤差最穩(wěn)定，評委5的系統(tǒng)誤差最不穩(wěn)定。圖1系統(tǒng)誤差穩(wěn)定性分析圖Fig.1The stability analy

17、sis on the systematic errors參考文獻：1 胡永宏, 賀思輝. 綜合評價方法M. 北京: 科學出版社, 2000. 45-46.2 李潔明, 祁新娥. 統(tǒng)計學原理M. 上海: 復旦大學出版社, 1996. 253-273.3 陶菊春, 吳建民. 綜合加權(quán)平均法的綜合權(quán)重確定新探J. 系統(tǒng)工程理論與實踐, 2001,(8): 47-48.4 周義倉, 赫孝良. 數(shù)學建模實驗M. 西安: 西安交通大學出版社, 1999. 369-371.5 徐飛雄. 評比規(guī)則問題OL. , 2002-05-05.6現(xiàn)代應(yīng)用數(shù)學手冊編委會. 運籌學與最優(yōu)化理論卷M. 北京：清華大學出版社，

18、1997. 323-324.7 周希杰. 基礎(chǔ)各異的教學班的教學效果評估OL. , 2001-05-05.An optimum model of a critically reading systemDOU Ji-hong, JI Li-na (Department of Mathematics , Northwest University , Xian 710069, China)Abstract: According to some examinations aim for just classifying the papers, not for ordering them, the crossing and classifiable elimination system is given. A multi-objective programming model is formulated in order to determine the parameters involved in the system. The workload is decreased in this system; systematic