CourseGrading—北航軟件類課程一體化支撐平臺

1、CourseGrading北航軟件類課程一體化支撐平臺趙長海 晏海華2017年6月平臺網址： 計算機專業(yè)教學支撐工具的問題BIG DATA我們的數據在哪里？數據孤島碎片化的工具：針對各個課程的孤立工具工具的生命力與持續(xù)性缺失教育工具缺乏維護和持續(xù)研發(fā)，導致積累數據丟失專業(yè)壁壘高且市場容量小缺乏高水平的人才與大量的資金持續(xù)性投入工具缺乏技術深度解決途徑？平臺化，系統(tǒng)化，不要條塊化分割知識體系各個擊破（解決每門課程的痛點），良好的體驗吸引教師使用穩(wěn)定、高效、持續(xù)性的演化CourseGrading平臺理念特色平臺的質量CourseGrading北航教改應用題庫建設與CourseGrading共同發(fā)展

2、定位未來規(guī)劃CourseGrading工具發(fā)展史CG成功研發(fā)，經受大并發(fā)測試內部使用，持續(xù)完善20032009遷移到阿里云（）商業(yè)化維持系統(tǒng)的長遠發(fā)展版本快速迭代，大概每1個半月升級一次程序評判系統(tǒng)計算機課程一體化支撐平臺2015 放在校內服務器供免費下載使用根據用戶需求持續(xù)完善穩(wěn)定性安全性用戶體驗學院研發(fā)類OJ系統(tǒng)性能問題導致考試時系統(tǒng)崩潰，引發(fā)教學事故缺乏課程管理功能，使用不便教育大數據當前最具深度、最易安裝維護、性能最好的程序設計教學輔助平臺系統(tǒng)管理與運維系統(tǒng)備份多課程管理系統(tǒng)升級系統(tǒng)遷移系統(tǒng)性能系統(tǒng)外觀教師權限管理在線考試在線作業(yè)在線答疑成績管理權限管理資源管理抄襲檢測課程管理平臺欄目

3、定制學生管理ACM競賽并行競賽競賽在線運營實驗程序設計課程C、C+、Java、Python、C#程序自動評判、算法可視化、大數據性能等SQL自動評測數據結構與算法課程數據庫算法設計與分析計算概論小組作業(yè)、小組互評、Github軟件工程面向對象設計軟件體系結構軟件測試并行與分布式程序評判并行計算多核程序設計高性能計算MPI程序設計應用(項目)開發(fā)Android、IOS、JSP等OS與編譯實驗環(huán)境編譯器課程設計操作系統(tǒng)課程設計大數據與AI實驗環(huán)境大數據相關實驗人工智能相關實驗硬件在線實驗環(huán)境FPGA遠程實驗計算機網絡遠程實驗移動計算與嵌入式遠程實驗開發(fā)能力培養(yǎng)系統(tǒng)能力培養(yǎng)統(tǒng)計分析數據API增值服務

4、依賴虛擬機或者Docker環(huán)境CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5 類通用題型4 類編程題型1 類并行編程題型CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型系統(tǒng)將自動將學生答案與參考答案進行相似性比較，利用相似度輔助判分CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視

5、化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型文件上傳題：可以自動從壓縮包內提取文檔或者源代碼，進行相似性比較CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型面向問題，學生根據題目描述，編寫完整的程序。支持任意的輸入/輸出方式組合支持C、C+、Java、Python、C#等CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題

6、5類通用題型4類編程題型1類并行編程題型定義好接口，學生編寫實現：學生依據頭文件（c）、或者繼承基類（c+、java），編寫方法實現。對學生寫代碼提供一種導向與約束作用。CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI分布式多線程項目題5類通用題型4類編程題型1類并行編程題型補充缺失的語句、函數?？梢圆迦胝{試打印語句，以打印的數據作為正確性評判依據。類似集成開發(fā)環(huán)境中的斷點調試CourseGrading特色豐富的題目類型選擇題填空題判斷題簡答題文件上傳題編程題接口編程題程序片段編程題算法可視化并行編程題MPI

7、分布式多線程項目題5類通用題型4類編程題型1類并行編程題型主要用于軟件工程系列課程實踐最流行的代碼托管服務，非自建版本管理CourseGrading特色程序評判：不僅僅對與錯基本測評報告測試數據中包括了正常情況和邊界等異常情況，使學生體會到工程編碼要求CourseGrading特色程序評判：不僅僅對與錯幫助學生全面認知程序的內涵，樹立軟件工程思維，引導學生寫出高質量的程序CourseGrading特色程序評判：對錯不是唯一標準！程序性能參與評分“性能” 在大數據下才有區(qū)分度！適用課程：算法與數據結構體驗算法魅力，理解理論與實踐的相互作用（ ACM/IEEE CS2013）計算機體系結構類課程利

8、用cache、指令多級流水、分支預測等優(yōu)化程序，深入理解CPU的微架構，參考深入理解計算機系統(tǒng)CourseGrading特色程序評判：對錯不是唯一標準！以執(zhí)行時間最短的程序為基準判分（項目）題目示例詞頻統(tǒng)計（2016學年）拼寫檢查（2017學年）小說生成器（2018學年）得分排行榜總分 = 正確分 + 性能分用算法的思維，綜合考慮時間復雜度和空間復雜度去尋找最優(yōu)的方案來解決問題CourseGrading特色程序評判：支持輸出結果的模糊匹配！支持通配符描述期望輸出應用：放寬格式要求浮點數輸出屏蔽輸入提醒答案二選一CourseGrading特色程序評判：支持輸入與輸出任意組合！利用編程題考核算法與

9、數據結構知識點的示例（非常秒的出題思路，來自晏海華老師）CourseGrading特色程序評判：支持多源文件能夠支撐軟件工程、編譯原理等項目級別的源代碼接近真實工程環(huán)境的，源代碼組織風格支持多源文件打包上傳“培養(yǎng)學生解決復雜工程問題的能力”工程教育專業(yè)認證CourseGrading特色程序評判：實時評判（VS. 串行排隊）利用CPU多核并行評判學生程序，實時出結果上海大學實驗：300400人同時上機，串行排隊評判延遲能達到40分鐘。評判進程池：CPU核數 2CourseGrading特色算法與數據結構可視化以交互可視化的形式動態(tài)展示算法的執(zhí)行過程，使學生更容易理解算法思想。支持棧、隊列、堆和遞

10、歸、索引、排序、圖、動態(tài)規(guī)劃，共45種數據結構和算法的可視化。CourseGrading特色并行程序的自動評測從正確性、可擴展性、性能三個角度全面評測并行程序支持分布式MPI、多核多線程、CUDA并行程序適用課程：并行程序設計/并行計算操作系統(tǒng)實驗 多進程實驗（wait 與fork） 信號量 生產者消費者三個指標全面評測并行/分布式程序ACM/IEEE CS2013新增課程體系：并行和分布式計算（PD）、信息安全、系統(tǒng)基礎、基于平臺的開發(fā) 等CourseGrading特色并行程序的自動評測：直觀的評判報告CourseGrading特色題目度量：客觀量化題目難度度量指標：平均代碼行、平均完成時間

11、、正確率基于歷年使用的歷史數據統(tǒng)計基于單次考試/作業(yè)的統(tǒng)計CourseGrading特色代碼相似性比較趙長海等，基于編譯優(yōu)化和反匯編的程序相似性檢測方法，北京航空航天大學學報，2008年。國內相似性比較研究領域，引用率最高的文章。代碼相似性檢測修改注釋重新排版標識符重命名代碼塊重排序常量替換改變操作符改變數據類型代碼冗余表達式拆分控制結構等價替換精確定位，并聚類顯示若存在任何手段能夠繞開檢測算法，那么查重功能形同虛設！CourseGrading特色代碼相似性比較示例1：調整代碼順序 + 注釋CourseGrading特色代碼相似性比較示例2：冗余代碼 + 變量重命名 + 注釋 + 排版Cour

12、seGrading特色文檔/源代碼相似性檢測能夠自動從壓縮包內提取文檔和源代碼，進行相似性比較各種常見文檔：Word、PDF、Excel、PPT常用編程語言：C/C+、C#、Java、Python、Javascript、HTML等適用課程：軟件工程、編譯技術、各種實驗報告.CourseGrading特色軟工實踐教學小組作業(yè)、互評、GitHub協(xié)作軟件工程系列小組協(xié)作小組互評增量式迭代開發(fā)GitHub分組設置小組（匿名）互評開發(fā)過程CourseGrading特色支持ACM競賽(CG-OJ) http:/ 獨立的OJ模塊，與CG教學系統(tǒng)統(tǒng)一賬號登錄，沉淀更多的教學數據競賽ACM競賽與訓練并行編程大

13、賽算法性能比賽CourseGrading特色全方位支持在線考試自動抽題組卷：知識點分布、章節(jié)、難度、使用頻度自動抽題CourseGrading特色全方位支持在線考試支持單場考試多套試卷，根據IP地址或學號分發(fā)試卷多套試卷試卷分發(fā)規(guī)則可監(jiān)控內網IP(機房通過NAT上網)支持IP綁定（一個賬號對應一臺機器）IP地址訪問控制（只允許特定的IP地址訪問考試）欄目關閉（關閉答疑論壇、作業(yè)等欄目）CourseGrading特色全方位支持在線考試實時監(jiān)測學生交換賬號互相抄襲可監(jiān)控內網IP（通過NAT訪問CG考試服務器）在線考試如何有效防作弊？ /document/guideCourseGrading特色增設

14、欄目自定義新的欄目，欄目內容可以播放視頻、音頻等CourseGrading特色可定制的首頁風格：精簡CourseGrading特色可定制的首頁風格：課程中心CourseGrading特色可定制的首頁風格：OJCourseGrading質量性能！單臺普通筆記本能夠支撐2000人同時在線考試單臺雙路服務器可支撐20000人同時在線考試案例：上海大學單臺服務器支撐全校3000人國防科大1GB內存臺式機的抗壓測試北航P4 CPU 1GB內存臺式機 350人考試河北地質大學Windows VMWare工作站虛擬機，2核Xeon CPU，2GB ，600人同時在線考試CourseGrading質量安全性！

15、在線評判系統(tǒng)極易出現安全性問題安全性如何保障？長時間使用驗證+高水平的攻防測試CourseGrading質量可維護性！一鍵式安裝下載&執(zhí)行安裝包安裝在校園網或者局域網內，不用互聯網在線模式，主要是考試的特殊性：避免“引誘” 學生到互聯網搜索答案！考試期間的互聯網訪問沒有保障集中提交代碼時，互聯網出口帶寬沒有保障安裝LinuxCourseGrading質量可維護性！數據的可靠性通過瀏覽器備份數據自定義自動快照策略，保障數據可靠性CourseGrading質量可維護性！系統(tǒng)升級的便捷性CourseGrading特色總結唯一支持“算法與數據結構”課程的系統(tǒng)支持算法時間復雜度分析唯一支持并行程序評測的

16、系統(tǒng)支持并行程序設計、操作系統(tǒng)課程實驗（進程間通信、生產者消費者等）唯一全面支持在線考試的系統(tǒng)支持大并發(fā)、高可靠、安全、全面的監(jiān)考機制唯一具備完善的課程管理的系統(tǒng)并不僅僅適用于程序設計類課程唯一支持自動在線運維的系統(tǒng)保持系統(tǒng)長期、可靠運行CourseGrading平臺理念特色平臺的質量CourseGrading北航教改應用題庫建設與CourseGrading共同發(fā)展定位未來規(guī)劃課程的目標對于一般問題，具備分析問題、解決問題的能力，在4060分鐘內編寫并調試通過、能正確運行、一般在4050行有效代碼以內的程序；通過學習讓學生能夠了解程序設計思想以及初步接受到程序設計方法、技巧、風格的訓練，并逐步

17、了解工程化要求。45程序設計類課程改革歷程重視知識的講授而忽視對能力的培養(yǎng)實驗與考核手段落后20032016 時間軸兩課融合:數據結構與程序設計基礎高級語言程序設計數據結構與算法系統(tǒng)配合教改繼續(xù)完善實踐能力為導向使用程序設計語言求解問題的能力作業(yè)(10%)與考試(90%)全部在線完成，挑戰(zhàn)：如何監(jiān)督獨立完成作業(yè)性能、穩(wěn)定性數據的安全程序設計類課程改革效果47說明：在此統(tǒng)計的是5個年級程序設計課期末考試情況。每次考試包括3個編程題:編程題1：為簡單的基本題，涵蓋了表達式、控制流等知識點編程題2：為中等難度題，涵蓋了表達式、控制流、數組、函數等知識點編程題3：為綜合應用題。從考試結果來看：考試能夠

18、貫徹教學目標要求在能夠反映學生綜合應用能力的編程題3上，反映學生的編程能力在提高程序設計類課程改革效果數據來源推免考試考生來源：各個高校優(yōu)秀學生（大四）題目與大一學生的期末考試相近結論優(yōu)秀率、及格率、平均分，北航大一的學生都高于推免研究生程序設計類課程改革效果綜合類作業(yè)（Project）的設計，幫助學生理解當問題N變大時，數據結構與算法是如何影響程序性能題目：詞頻統(tǒng)計（哈利波特全集、近100萬個單詞、性能參與評分）貫穿整個學期的作業(yè)，學生利用學到的知識不斷優(yōu)化程序其中運行最快的是0.093s，運行時間最長為155.912s程序設計類課程改革效果知乎評價： 想想四年，收獲最大的只有C語言、數據結

19、構、鄒欣老師的程序設計和懷騎士的課.北航本科課業(yè)繁重（雖然我也不怎么上），印象最深的是C語言課，收獲很大，基礎夯實。Ref: 北航計算機學院怎么樣？ /question/23026820/answer/24282950“CCF CSP軟件能力認證”2016最佳合作單位獲得最佳合作獎的單位是：北京航空航天大學、國防科技大學Ref：用CSP證明專業(yè)能力CCF在京召開軟件能力認證大會程序設計類課程改革效果獎勵：北京市教學成果二等獎CourseGrading北航應用：高級語言程序設計數據結構與算法數據結構與程序設計基礎算法設計與分析并行程序設計 研究生推免/研究生復試編譯技術軟件工程軟件體系結構計算機科學研究方法與實踐從作業(yè)到考試全部在線作業(yè)在線紙質考試CourseGrading北航數據結構與程序設計基礎作業(yè)（20分）：8次作業(yè)（15分）+ 1次性能測試作業(yè)（5分）考試（80分）：期中考試（30分）+ 期末考試（50分）CourseGrading北航高質量的練習題目北京地鐵換乘查詢拼寫檢查詞頻統(tǒng)計面向工程應用實際問題大數據CourseGrading平臺理念特色平臺的質量CourseGrading北航教改應用題庫建設與CourseGrading共同發(fā)展定位未來規(guī)劃CourseGrading的定位1