小波變換用于近紅外光譜性質(zhì)分析

1、分析化學(xué)(FENXIHUAXUE)研究報(bào)告第9期第32卷研究報(bào)告小波變換用于近紅外光譜性質(zhì)分析田高友31袁洪福1劉慧穎2陸婉珍3112(石油化工科學(xué)研究院,北京100083)(北京總后油料研究所,北京102300)摘要以汽油研究法辛烷值分析為例,研究了小波變換在近紅外光譜分析中的應(yīng)用。對(duì)近紅外光譜的小波特性、小波變換參數(shù)以及變量提取方法進(jìn)行了詳細(xì)研究。研究結(jié)果表明:光譜噪音、有用信息和背景分別分布在小波高、中和低頻區(qū)域;母小波函數(shù)對(duì)性質(zhì)分析結(jié)果影響很大;小波變換可以同時(shí)扣除光譜背景、去除噪音和壓縮變量,具有運(yùn)算速度快、分析精度高以及無需去噪后處理等優(yōu)點(diǎn),在近紅外光譜分析中具有很好的應(yīng)用前景。關(guān)

2、鍵詞小波變換,近紅外光譜分析,辛烷值1引言近紅外光譜分析方法具有分析速度快、精確度高等優(yōu)點(diǎn),已經(jīng)在石油化工領(lǐng)域得到了廣泛應(yīng)用1,2。近紅外光譜背景干擾強(qiáng),需要經(jīng)過預(yù)處理,比如微分3,提高分析精度;同時(shí)近紅外光譜數(shù)據(jù)變量龐大(上千個(gè)變量),需要采用變量?jī)?yōu)選方法,比如區(qū)間法4、相關(guān)分析法4和遺傳算法5,壓縮變量,提高分析速度和分析精度。傳統(tǒng)的光譜預(yù)處理方法存在一定的局限性,比如:微分處理會(huì)引入光譜噪聲3,需要與去噪方法配合使用;同時(shí)微分參數(shù)(階數(shù)和寬度)對(duì)分析精度影響很大,需要進(jìn)行優(yōu)化。小波變換是近幾年發(fā)展起來一種信號(hào)處理方法,能夠?qū)⑿盘?hào)分解為不同頻率、不同尺度的部分,能夠聚焦到信號(hào)的任意部分,已

3、經(jīng)廣泛用于分析化學(xué)領(lǐng)域68。小波變換在近紅外光譜分析領(lǐng)域的應(yīng)用9主要體現(xiàn)在:去噪、數(shù)據(jù)壓縮、模型傳遞以及背景的扣除10。本工作將小波變換用于近紅外光譜的預(yù)處理,研究合適的有用信息提取方法,目的是提高分析精度和分析速度。2理論部分2.1小波變換基礎(chǔ)理論部分小波變換是傅里葉變換的發(fā)展與延拓,傅里葉變換的實(shí)質(zhì)是將信號(hào)分解為以正弦或余弦為正交基的空間,而小波變換實(shí)質(zhì)是把信號(hào)分解為不同尺度和頻率的小波子空間,具體理論參見文獻(xiàn)11,12。通常采用mallat算法1315對(duì)信號(hào)進(jìn)行處理小波分解和重構(gòu)(見圖1)。其中,cA0為原始信號(hào),cAj和cDj分別是逼近系數(shù)(approximatecoefficient

4、)和細(xì)節(jié)系數(shù)(detailcoefficient)的簡(jiǎn)稱,N為原始信號(hào)數(shù)據(jù)維數(shù)。按照mallat算法進(jìn)行一次分解,數(shù)據(jù)維數(shù)降低一半。逼近信號(hào)反映了原始信號(hào)的”骨架”信息,或者在信號(hào)輪廓上更逼近原始信號(hào);細(xì)節(jié)信號(hào)則反映了局部的細(xì)微信息。2.2有用信息提取方法原始光譜經(jīng)過小波變換處理后得到不同頻率和尺度的小波系數(shù),采用以下3種方法對(duì)系數(shù)進(jìn)行處理,即相關(guān)分析法、遺傳算法和加權(quán)小波變換法。相關(guān)分析法4是近紅外分析中選取波長(zhǎng)的常用方法,其基本思想是對(duì)小波系數(shù)和性質(zhì)數(shù)據(jù)進(jìn)行相關(guān)性分析,選取相關(guān)性強(qiáng)(高于某一閾值)的系數(shù)作為分析變量。其優(yōu)點(diǎn)是物理意義明確,便于理解,運(yùn)算簡(jiǎn)便;缺點(diǎn)是不適用于性質(zhì)數(shù)據(jù)與光譜數(shù)據(jù)

5、呈非線性關(guān)系體系,容易遺漏線性相關(guān)性差的有用信息。2003210225收稿;2004204212接受本文系國(guó)家自然科學(xué)基金資助項(xiàng)目(No.20075035)1126分析化學(xué)第32卷遺傳算法是通過模擬自然界生物進(jìn)化過程搜索最優(yōu)解的方法,常用于近紅外分析波長(zhǎng)選取,其基本原理和算法見相應(yīng)的文獻(xiàn)15。其優(yōu)點(diǎn)是變量選取功能強(qiáng);不足是其過程非常復(fù)雜,參數(shù)多,不易于優(yōu)化參數(shù),運(yùn)行時(shí)間比較長(zhǎng)。本工作采用參數(shù)為:初始群體:70;最大選取變量:200;交叉概率:0.8;變異概率:0.1;遺傳迭代次數(shù):100。加權(quán)小波變換法:該方法主要用于色譜的譜峰圖1Mallat算法示意圖分離處理15,基本思想在小波變換重構(gòu)過程

6、中,對(duì)不Fig.1TheprocedureofMallatalgorithm同水平的小波系數(shù)C賦上相應(yīng)的權(quán)重w,然后進(jìn)行重構(gòu)。信息的系數(shù)賦以較大的權(quán)重(wµ1),反之,賦以較小的權(quán)重(w1);此方法關(guān)鍵是w的確定。本工作采用偏差2權(quán)重法:即w=Ej-2,其中Ej為j頻率區(qū)域小波系數(shù)的性質(zhì)分析平均偏差。3實(shí)驗(yàn)部分3.1樣品和儀器收集88個(gè)重整汽油樣品,其中56個(gè)作為校正集,32個(gè)為驗(yàn)證集。NIR23000近紅外光譜分析儀(石油化工科學(xué)研究院研制,北京英賢公司生產(chǎn));2048象元線形CCD陣列檢測(cè)器,分辨率優(yōu)于1.5nm,光譜采集范圍7001100nm,數(shù)據(jù)間隔0.2nm。3.2光譜測(cè)量

7、將重整汽油樣品倒入5cm玻璃樣品池,穩(wěn)定3min,以空氣為參比進(jìn)行光譜掃描,掃描次數(shù)為10次。3.3基礎(chǔ)數(shù)據(jù)測(cè)定汽油研究法辛烷值(RON):按照GB/T5487方法測(cè)定。3.4校正方法用校正集光譜數(shù)據(jù),采用PLS(偏最小二乘法)校正方法建立模型;然后用驗(yàn)證集對(duì)模型進(jìn)行檢驗(yàn)。通過比較SEC(校正集標(biāo)準(zhǔn)偏差)和SEP(驗(yàn)證集標(biāo)準(zhǔn)偏差)來評(píng)價(jià)模型性能。對(duì)具有實(shí)用性的模型要求SEC和SEP小于標(biāo)準(zhǔn)方法的再現(xiàn)性偏差。nmSEC=(RONi,actual-RONi,predicted)2n-1;SEP=(RONi,actual2-RONi,predicted)m-1n為校正集的樣品數(shù)目,m為驗(yàn)證集的樣品數(shù)

8、目。所有數(shù)據(jù)處理程序采用matlab6.1語言編寫。4結(jié)果與討論4.1重整汽油近紅外光譜圖2是88個(gè)重整汽油的近紅外光譜。由于不同樣品顏色判別較大,使它們的原始光譜基線有很大差異,這種現(xiàn)象在短波區(qū)域尤為嚴(yán)重,嚴(yán)重干擾性質(zhì)分析(見表1),其分析偏差超過標(biāo)準(zhǔn)方法的再現(xiàn)性,不符合分析要求。4.2近紅外光譜的小波特性分析選擇2階的Daubechies小波(Db2)為母小波,分解水平數(shù)為9,對(duì)重整汽油樣品近紅外光譜小波進(jìn)行分解,分別用各個(gè)頻率區(qū)域的小波系數(shù)作為光譜變量,結(jié)合PLS,分析辛烷值,結(jié)果見表1。不同頻率區(qū)域的小波系數(shù)對(duì)辛烷值分析貢獻(xiàn)不同;其中頻率較低的系數(shù)(cA9、cD9、cD8和cD7)以及

9、頻率較高的細(xì)節(jié)系數(shù)(cD1cD4)對(duì)辛烷值分析貢獻(xiàn)較小,其分析偏差高于標(biāo)準(zhǔn)方法的再現(xiàn)性。處于中間頻率的細(xì)節(jié)系數(shù)(cD5和cD6)對(duì)辛烷值分析貢獻(xiàn)較大,分析精度較高,分析偏差小于再現(xiàn)性。通過重構(gòu),得到各個(gè)頻率的子信號(hào)(A9,D9、.,D1),其信號(hào)見圖3?？梢钥闯鲈谧V圖輪廓上,低頻信號(hào)(D7、D8、D9、A9)與微分第9期田高友等:小波變換用于近紅外光譜性質(zhì)分析1127光譜接近,主要反映光譜背景信號(hào)部分,高頻區(qū)域細(xì)節(jié)信號(hào)(D1D4)反映光譜噪音信號(hào)部分,因此其分析精度較差;中間頻率細(xì)節(jié)信號(hào)(D5和D6)背景信號(hào)和噪音信號(hào)均比較少,因此,分析精度最高。4.3小波變換參數(shù)的確定小波變換參數(shù)包括母小波

10、(wn)和分解水平(J)。母小波的選擇沒有理論可循,只能根據(jù)分析結(jié)果進(jìn)行篩選。對(duì)于離散信號(hào)的處理,通常選擇具有正交性且和離散小波變換功能的母小波。本實(shí)驗(yàn)考察Daubechies小波系列(其階數(shù)分別為2、4、6、8、10、12、圖2重整汽油近紅外原始光譜16)、Symlets(其階數(shù)分別為2、4、6、8、10、12、16)以及Fig.2Rawnearinfrared(NIR)spectraofreformedgasolineCoiflets小波系列(其階數(shù)分別為1、2、3、4、5)對(duì)辛烷值分析結(jié)果的影響。結(jié)果表明:2階的Daubechies小波(Db2)作為母小波,其RON分析精度最佳。分解水平

11、J的確定應(yīng)考慮光譜數(shù)據(jù)的維數(shù)N,一般不超過log2(N);對(duì)于有用信息的提取,要求分解水平數(shù)盡可能大,本文選9作為小波分解水平。4.4有用信息提取方法的確定按照選定的小波參數(shù)進(jìn)行小波分解,得到全體小波系數(shù)c(c=cA9,cD9,.,cD1),分別采用相關(guān)分析法、遺傳算法以及加權(quán)小波法對(duì)c處理,結(jié)合PLS分析辛烷值,其分析結(jié)果見表2。加權(quán)小波變換法通過權(quán)重強(qiáng)化有用信息,弱化無用信息,其模型不僅SEC最小,而且SEP最小。遺傳算法是全局尋表1不同小波系數(shù)RON分析結(jié)果Table1Researchoctanenumber(RON)analysisfromdifferentwaveletcoeffic

12、ients小波系數(shù)WaveletcoefficientscA9cD9cD8cD7cD6cD5SEC1.601.370.890.720.440.49SEP1.641.200.830.600.370.44點(diǎn)數(shù)Sizeofdata6610183465小波系數(shù)WaveletcoefficientscD4cD3cD2cD1SEC0.631.151.361.851.40SEP0.751.231.541.771.00點(diǎn)數(shù)Sizeofdata12725250210012002原始光譜Rawspectra再現(xiàn)性要求(reproducibilitydemanded):0.7表2不同預(yù)處理方法辛烷值分析比較Tabl

13、e2ComparisonsofRONanalysisresultsfromdifferentpreprocessingmethods方法MethodsWavelettransform(WT)2geneticanalysis(GA)點(diǎn)數(shù)Sizeofdata10100131001334SEC0.400.320.380.440.540.74SEP0.350.350.360.370.480.77所需過程Processingneeded小波變換2遺傳算法加權(quán)小波變換法WeightedWT小波分解和遺傳算法處理WTdecompositiononlyandGA小波變換過程和權(quán)重選取過程WTandselect

14、ionofweight.二階微分+平滑2ndderivativespectra+smoothingcD6微分參數(shù)和平滑參數(shù)選擇Selectionofderivativeparametersandsmoothingparameters小波變換2相關(guān)分析法3WT2Correlationanalysis原始光譜Rawspectra小波分解WTdecompositiononly小波分解和閾值選取WTdecompositiononlyanddeterminationofthreshold24100133:8501050nm;33:閥值(threshold)0.91.0優(yōu)方法,變量?jī)?yōu)選功能強(qiáng),故其模型預(yù)測(cè)

15、精度最高。傳統(tǒng)的二階微分2平滑方法有用信息的遺漏現(xiàn)象,分析精度也比較高。cD6小波系數(shù)中背景信息和噪音信息均比較弱,其分析精度與前三者基本相當(dāng)。相關(guān)分析法只選取與RON線性關(guān)系強(qiáng)的信息,忽略部分線性關(guān)系弱的有用信息,故模型穩(wěn)健性和預(yù)測(cè)精1128分析化學(xué)第32卷圖3重整汽油近紅外光譜不同頻率區(qū)域的信號(hào)圖Fig.3Waveletsignalunderdifferentfrequencies度均比較差。從預(yù)處理過程繁瑣程度、變量數(shù)據(jù)大小以及運(yùn)行時(shí)間來看,cD6操作最簡(jiǎn)便、變量少;遺傳算法盡管存在較長(zhǎng)的遺傳算法處理過程,但變量數(shù)目最少,建模和預(yù)測(cè)時(shí)間最短;二階微分+平滑存在微分參數(shù)選取、平滑后處理以及

16、變量數(shù)目多、建模時(shí)間長(zhǎng)等不足;加權(quán)法不僅存在變量多所帶來的不足,而且存在權(quán)重選擇問題。綜合比較,選用cD6或WT2GA法,不僅分析精度高,而且變量數(shù)目最少,運(yùn)行速度最快,無需進(jìn)一步去噪或平滑處理等優(yōu)點(diǎn),能夠同時(shí)解決近紅外光譜分析中背景干擾強(qiáng),光譜數(shù)據(jù)維數(shù)高,運(yùn)行速度慢等問題,在近紅外光譜分析中具有很廣的應(yīng)用前景。表3列出了利用小波變換2遺傳算法辛烷值分析結(jié)果與GB/T5487方法測(cè)定結(jié)果比較。結(jié)果表明,NIR方法分析精度與GB/T5487結(jié)果基本一致,二者之差小于GB/T5487的再現(xiàn)性指標(biāo)0.7;成對(duì)t檢驗(yàn)結(jié)果表明兩種方法沒有顯著性差異,小波變換用于近紅外光譜辛烷值分析是可行的。第9期田高友

17、等:小波變換用于近紅外光譜性質(zhì)分析11295結(jié)論采用小波變換處理近紅外光譜,能夠?qū)⒈尘昂驮胍襞c有用信息分離,其中背景主要分布在低頻部分,噪音分布在高頻細(xì)節(jié)部分,反映性質(zhì)變化的信息集中在中間頻率細(xì)節(jié)部分(cD6,cD5)。采用遺傳算法對(duì)系數(shù)進(jìn)行篩選或者直接采用中間頻率(cD6)的細(xì)節(jié)系數(shù)作為光譜變量,可以同時(shí)達(dá)到扣除光譜背景和噪音以及壓縮變量,無需去噪等后處理,具有預(yù)處理簡(jiǎn)單,運(yùn)算速度快、分析精度高等優(yōu)點(diǎn),在近紅外分析中具有很好的應(yīng)用前景。表3重整汽油RON近紅外分析結(jié)果和GBT/5487分析比較Table3ComparisonofRONresultsfromNIRmethodandGBT/54

18、87method樣品編號(hào)SampleNo.12345678910111213141516SEPtt(n-1,0.05)GBT/548798.498.2100.9104.694.393.494.999.1104.8102.4101.896.496.693.898.3100.8NIR97.997.9100.7105.194.793.695.198.5104.4102.3101.896.496.994.398.3100.6Deviation-0.5-0.4-0.2-0.10.00.0-0.3-0.50.00.2樣品編號(hào)SampleNo.17181920212223

19、2425262728293031320.350.752.04GBT/548794.297.395.699.394.8105101.7100.892.196.996.299.4100.392.9100.6101.4NIR94.197.095.599.994.5105.2101.8100.591.597.096.899.2100.293.0100.5101.8Deviation-0.60.3-0.2--0.1--0.10.1-0.4References1LuWanzhen(陸婉珍),YuanHongfu(袁洪福),XuGuangtong(徐廣通

20、),QiangDongmei(強(qiáng)冬梅).ModernNearInfraredSpectroscopyTechnology(現(xiàn)代近紅外光譜分析技術(shù)).Beijing(北京):ChinesePetrochemicalsPress(中國(guó)石化出版社),20002YuanHongfu(袁洪福),LuWanzhen(陸婉珍).PetroleumProcessingandPetrochemicals(石油煉制與化工),1998,29(9):473FaberNM.Anal.Chem.,1999,71:5574ZhuXiaoli(褚小立),YuanHongfu(袁洪福),LuWanzhen(陸婉珍).Chine

21、seJ.ProcessinChemistry(化學(xué)進(jìn)展),2004,16(4):5285425ChuXiaoli(褚小立),YuanHongfu(袁洪福),LuWanzhen(陸婉珍).ChineseJ.Anal.Chem.(分析化學(xué)),2001,29(4):4374426LuXiaoquan(盧小泉),MoJinyuan(莫金垣).ChineseJ.Anal.Chem.(分析化學(xué)),1996,24(9):11007ShaoXueguang(邵學(xué)廣),PangChunyan(龐春艷),SunLi(孫莉).ChineseJ.ProcessinChemistry(化學(xué)進(jìn)展),2000,12(3):

22、2438LiuChongchun(劉崇春),QiuZhengding(裘正定),DuXiyu(杜錫鈺).ChineseJ.NorthernJiaoTongUniversity(北方交通大學(xué)學(xué)報(bào)),1997,21(1):219TianGaoyou(田高友),YuanHongfu(袁洪福),LiuHuiying(劉慧潁),LuWanzhen(陸婉珍).SpectroscopyandSpectralAnalysis(光譜學(xué)與光譜分析),2003,6:1111111410TanHW,StevenD.Brown.J.Chemometrics,2002,16:2282401130分析化學(xué)第32卷11HuC

23、hanghua(胡昌華),ZhangJunbo(張軍波).SystemDesignandAnalysisBasedonMatlab2WaveletAnalysis(基于Matlab的系統(tǒng)分析與設(shè)計(jì)2小波分析).Xian(西安):XianElectronicTechnologyUniversityPress(西安電子科技大學(xué)出版社),1999,12ChengZhenxing(程振興).LogarithmsandApplicationofWaveletAnalysis(小波分析算法和應(yīng)用).Xian(西安):XianJiao2tongUniversityPress(西安交通大學(xué)出版社),19981

24、3MallatSG.IEEETrans.PatternAnalysisandMachineLearning,1989,11(7):67414MallatSG.IEEETrans.AcousticSpeechandSignalProcessing,1989,37(12):209115ChenMinjun(陳閩軍),Chengyiyu(程翼宇),WuYongjia(吳永江).ChineseJ.Anal.Chem.(分析化學(xué)),2003,31(7):77477816ShaoXueguang(邵學(xué)廣),SunPeiyuan(孫培元),LaiWensheng(賴文生),ZhangMaosen(張懋森).

25、ChineseJ.Anal.Chem.(分析化學(xué)),1997,25(6):671674ApplicationofWaveletTransformontheNearInfraredAnalysisTianGaoyou31,YuanHongfu1,LiuHuiying2,LuWanzhen311(ResearchInstituteofPetroleumProcessing,Beijing,100083)2(BeijingPOLInstitute,Beijing,102300)AbstractThispaperisdirectedtostudyapplicationofwavelettransform(WT)onthenearinfrared(NIR)analy2sis.ThewaveletpropertiesofNIRspectra,thedeterminationofWTparametersandt