數(shù)據(jù)處理方法與依據(jù)

第1頁，共31頁，2023年，2月20日，星期六1概述近幾年，數(shù)學(xué)建模競賽的規(guī)模越來越大,水平越來越高；賽題難度也越來越大，對學(xué)生數(shù)據(jù)處理能力要求也越來越高，最困難的有兩個方面：

（1）無數(shù)據(jù)建模問題；（2）海量數(shù)據(jù)問題。第2頁，共31頁，2023年，2月20日，星期六無數(shù)據(jù)建模問題例如：（1）2010B：2010年上海世博會影響力的定量評估；（2）2008B：高等教育學(xué)費(fèi)標(biāo)準(zhǔn)探討；

往往為綜合評價類模型，賽題來自于實際問題，開放程度比較高，需要據(jù)相關(guān)多因素信息及收集到數(shù)據(jù)對實際對象進(jìn)行客觀、公正、合理的全面評價。第3頁，共31頁，2023年，2月20日，星期六無數(shù)據(jù)建模問題數(shù)據(jù)收集手段與方法：（1）權(quán)威機(jī)構(gòu)或相關(guān)部門發(fā)布；（2）通過搜索引擎在Internet搜索；（3）通過問卷、實驗等自主采集；例如：公交車門的高度是按照成年男子與車門頂部碰頭的機(jī)率不超過1%設(shè)計的，山西省欲采購一批公交車，請問應(yīng)將車門高度設(shè)計成多高比較合適？第4頁，共31頁，2023年，2月20日，星期六無數(shù)據(jù)建模問題問題的關(guān)鍵在于獲取山西省成年男子的身高情況，我們優(yōu)先考慮的方法是（1）（2），在無法通過前兩種方法獲取的情況下，可以通過（3）獲得。顯然取樣，進(jìn)而可以獲得山西成年男子身高X的樣本均值和樣本方差，剩下的就是求解一個簡單的概率問題而已：P(X<h)>=99%第5頁，共31頁，2023年，2月20日，星期六海量數(shù)據(jù)建模問題2000A：DNA序列分類；2000B：鋼管訂購和運(yùn)輸；2001A：血管的三維重建；2001B：公交車調(diào)度；2002B：彩票中的數(shù)學(xué)；2003A：SARS的傳播；2004A：奧運(yùn)會臨時超市網(wǎng)點設(shè)計；第6頁，共31頁，2023年，2月20日，星期六海量數(shù)據(jù)建模問題2004B：電力市場的輸電阻塞管理；2005A：長江水質(zhì)的評價和預(yù)測；2005B：DVD在線租賃；2006A：出版社的資源配置；2006B：艾滋病療法的評價及療效的預(yù)測……尤其是：2011年夏令營：測井曲線自動分層問題（10M）第7頁，共31頁，2023年，2月20日，星期六海量數(shù)據(jù)建模問題

顯然大批量數(shù)據(jù)是很難手工處理的，需要我們借助于計算機(jī)以及一些數(shù)據(jù)處理軟件來完成，需要掌握基本的計算機(jī)使用與編程能力。

實在無法完成大批量數(shù)據(jù)處理的情況下，隨機(jī)截取典型性數(shù)據(jù)也不失為一種合理的解決辦法。第8頁，共31頁，2023年，2月20日，星期六海量數(shù)據(jù)建模問題數(shù)學(xué)建模中常用軟件：World

MATLAB

Mathematica

LindoExecl

SPSS

C&C++

Lingo第9頁，共31頁，2023年，2月20日，星期六海量數(shù)據(jù)建模問題軟件學(xué)習(xí)的關(guān)鍵：（1）數(shù)據(jù)的讀入；（2）異常數(shù)據(jù)處理；（3）數(shù)據(jù)規(guī)范化與歸一化；（4）常見問題與軟件功能的對應(yīng)。（5）繪圖與可視化輸出。第10頁，共31頁，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入數(shù)據(jù)的讀入：a)復(fù)制、粘貼；b)功能函數(shù)。Matlab中textread（）:a=textread('data.txt','%*s%*s%f%*s','headerlines',3,'delimiter','')headerlines是文件頭有多少行delimiter就是詞跟詞之間的分隔符。%s是字符串的意思，%f是浮點數(shù)的意思而在它們中間加上*，表示跳過這個詞。%*s%*s的意思就是跳過前兩個詞。第11頁，共31頁，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入Matlab中imread（）:該函數(shù)用于讀取圖片文件中的數(shù)據(jù)。filename='e.bmp';imgRgb=imread(filename);%讀入一幅彩色圖像imshow(imgRgb);%顯示彩色圖像Matlab中xlsread（）:該函數(shù)用于讀取Execl文件中的數(shù)據(jù)。第12頁，共31頁，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入Lingo中@file（）:該函數(shù)用于文本文件的讀入。Lingo中@TEXT（）：該函數(shù)輸出數(shù)據(jù)（文本文件）。Lingo中@OLE（）該函數(shù)與電子表格軟件（如EXCEL）連接；Lingo中@ODBC（）該函數(shù)與數(shù)據(jù)庫連接。第13頁，共31頁，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入@FILE和@TEXT：文本文件輸入輸出MODEL:SETS:MYSET/@FILE(‘myfile.txt’)/:@FILE(‘myfile.txt’);ENDSETSMIN=@SUM(MYSET(I):SHIP(I)*COST(I));@FOR(MYSET(I):[CON1]SHIP(I)>NEED(I);[CON2]SHIP(I)<SUPPLY(I));DATA:COST=@FILE(‘myfile.txt’);NEED=@FILE(‘myfile.txt’);SUPPLY=@FILE(‘myfile.txt’);@TEXT(‘result.txt’)=@STATUS(),SHIP,@DUAL(SHIP),@RANGED(SHIP)@DUAL(CON1),@RANGEU(CON2);ENDDATAENDmyfile.txt文件的內(nèi)容、格式：Seattle,Detroit,Chicago,Denver~COST,NEED,SUPPLY,SHIP~12,28,15,20~1600,1800,1200,1000~1700,1900,1300,1100第14頁，共31頁，2023年，2月20日，星期六（1）數(shù)據(jù)的讀入c)計算機(jī)語言編程文本文檔中寫著：1Intel_Pentium_E_214049502AMD_Athlon64_X2_3600+46503Intel_Celeron_4204800......要求將這些讀入C程序中(編號，名稱，價格，已售出量組成)#include"stdio.h"structHardware_database{intnumber;charname[40];intprice;intsales;}CPU[50];intmain(intargc,char*argv[]){inti;FILE*CPU_record;PU_record=fopen("c:\\CPU_Data.txt","r");for(i=1;feof(CPU_record)==0;i++){fscanf(CPU_record,"%d%s%d%d\n",&CPU[i].number,CPU[i].name,&CPU[i].price,&CPU[i].sales);printf("%d,%s,%d\n",CPU[i].number,CPU[i].name,CPU[i].price);}printf("PressAnyKeytoBack");getchar();fclose(CPU_record);return0;}第15頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理第16頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理a)散點圖。Matlab中可由plot()實現(xiàn)，在SPSS中可通過點選菜單的方式實現(xiàn)。畫散點圖還可以幫助我們找出數(shù)據(jù)的規(guī)律。第17頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理b）3σ檢測法第18頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理第19頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理C)聚類分析法第20頁，共31頁，2023年，2月20日，星期六（2）異常數(shù)據(jù)處理異常數(shù)據(jù)處理：

剔除均值替代回歸替代

異常數(shù)據(jù)的處理由SPSS、SAS、mintab實現(xiàn)比其他軟件更方便。第21頁，共31頁，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化

如果不對這些指標(biāo)作相應(yīng)的無量綱處理，則在綜合評價過程中就會出“大數(shù)吃小數(shù)”的錯誤結(jié)果，從而導(dǎo)致最后得到錯誤的評價結(jié)論。無量綱化處理又稱為指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化,或規(guī)范化處理。常用方法:標(biāo)準(zhǔn)差法、極值差法和功效系數(shù)法等。

第22頁，共31頁，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第23頁，共31頁，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第24頁，共31頁，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化

極大型指標(biāo):總是期望指標(biāo)的取值越大越好；

極小型指標(biāo):總是期望指標(biāo)的取值越小越好；

中間型指標(biāo):總是期望指標(biāo)的取值既不要太大，也不要太小為好，即取適當(dāng)?shù)闹虚g值為最好;

區(qū)間型指標(biāo):總是期望指標(biāo)的取值最好是落在某一個確定的區(qū)間內(nèi)為最好。

在將數(shù)據(jù)無量綱化之前，在有些問題下，特別是綜合評價模型中，還需要將數(shù)據(jù)根據(jù)處理目標(biāo)一致化。一般說來，數(shù)據(jù)指標(biāo)一般說來，在評價指標(biāo)中可能包含有:第25頁，共31頁，2023年，2月20日，星期六（3）數(shù)據(jù)規(guī)范化第26頁，共31頁，2