近紅外光譜測定樣品模型適用性的研究

近紅外光譜測定樣品模型適用性的研究

在現(xiàn)代的近紅外光譜中，該光譜具有分析速度快、再現(xiàn)好、成本低、樣品少等特點，已廣泛應(yīng)用于在線分析和其他特征。這是20世紀(jì)90年代以來發(fā)展最快的分析技術(shù)之一?，F(xiàn)代近紅外光譜技術(shù)不是通過觀察待分析樣品譜圖特征或量測譜圖參數(shù)直接進(jìn)行定性或定量分析,而是先通過校正集樣品的光譜和組成或性質(zhì)數(shù)據(jù)(組成或性質(zhì)數(shù)據(jù)須通過其它認(rèn)可的標(biāo)準(zhǔn)方法測定)的量測,采用合適的化學(xué)計量學(xué)方法建立校正模型,然后再通過建立的校正模型和測定的未知樣品光譜實現(xiàn)定性或定量分析。顯然,對所建立的校正模型是否適合未知樣品作出判斷,是實現(xiàn)準(zhǔn)確分析的前提。主成分分析(PCA)和Mahalanobis距離都常用于光譜的判別分析。PCA是通過光譜主成分得分構(gòu)筑的主成分空間進(jìn)行樣品的簇分布分析,該方法雖可將復(fù)雜的多維空間信息壓縮到低維空間進(jìn)行分析,但對離群點判別的定量閥值不易界定。Mahalanobis距離是研究多維空間矢量相似性的有效方法之一,在光譜的定性、離群點判別分析中也得到使用。Whitfield等曾將其用于近紅外光譜定量校正模型的適用性判斷,在Mahalanobis距離計算時,采用幾個波長下的光譜數(shù)據(jù)(如吸光度)進(jìn)行。這種Mahalanobis距離的計算存在兩個問題,一是如果將光譜數(shù)據(jù)減少,波長的選擇是一個重要又比較困難的問題,因為波長選擇不合適可能會丟失樣品的信息;二是如果采用全譜運(yùn)算,計算工作量極大,且可能由于共線性的存在導(dǎo)致矩陣運(yùn)算不穩(wěn)定。因子分析是從多維矢量空間中抽提有用信息的有效方法,它可以用較低維數(shù)的矢量來表示原來的多維矢量空間,在保存有效信息的同時,去除噪音。在此提出將PCA與Mahalanobis距離相結(jié)合解決校正模型的適用性判斷。首先用PCA對校正集樣本的原始光譜或預(yù)處理后的光譜進(jìn)行處理,然后再用各光譜得到的因子得分計算Mahalanobis距離。這樣既利用了PCA對光譜降維處理不丟失信息的特點,又發(fā)揮了Mahalanobis距離對離群值有效識別的優(yōu)點。1方法原理1.1基于光譜數(shù)據(jù)特點的雙程檢測算法校正集樣品的主成分分析:通過校正集樣品的光譜矩陣A[m×n](m為樣本個數(shù),n為光譜數(shù)據(jù)點數(shù)),利用非線性迭代偏最小二乘算法(non-lineariterativepartialleastsquares,簡稱NIPALS算法),計算指定光譜主因子f下的載荷矩陣P[f×n]和校正集樣品的光譜得分矩陣T[m×f]。1.2校正集的計算利用校正集樣品的得分矩陣T,計算校正集樣品的Mahalanobis距離,步驟如下:Tˉˉˉ=∑i=1tim(1)Tcen=T?Tˉˉˉ(2)M=T′cenTcenm?1(3)MDi=[(ti?Tˉˉˉ)?M?1?(ti?Tˉˉˉ)′]1/2(4)Τˉ=∑i=1tim(1)Τcen=Τ-Τˉ(2)Μ=Τcen′Τcenm-1(3)ΜDi=[(ti-Τˉ)?Μ-1?(ti-Τˉ)′]1/2(4)式中ti為校正集樣本i的光譜得分,TˉˉˉΤˉ為校正集m個樣本的平均得分矩陣;Tcen為T的均值中心化矩陣;M為校正集樣品的Mahalanobis矩陣;MDi為校正集樣本i的Mahalanobis距離。根據(jù)定量校正允許的誤差和對應(yīng)的Mahalanobis距離,確定離群點Mahalanobis距離閥值限MDL。1.3dl的比較對測定的未知樣本光譜矢量Aun,通過校正集樣品求得的光譜載荷P,計算其光譜得分tun,由tun根據(jù)式(4)再計算其Mahalanobis距離MDun。將未知樣本與符合誤差要求的Mahalanobis距離閥值MDL進(jìn)行比較,如MDun<MDL,說明未知樣品與校正集樣品屬于一類,由建立的校正模型預(yù)測出的組成或性質(zhì)結(jié)果誤差應(yīng)在模型建立時設(shè)定的誤差范圍之內(nèi)(誤差允許范圍的大小通常依據(jù)測定基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)方法的再現(xiàn)性確定)。反之,未知樣品即為離群樣本,不適合用已建立的校正模型預(yù)測其組成或性質(zhì),否則預(yù)測出的結(jié)果與標(biāo)準(zhǔn)方法測定結(jié)果的誤差可能超過允許的誤差范圍。如有多個校正模型供未知樣品選擇(假設(shè)為c個),則可計算未知樣品相對于每個校正集樣本的Mahalanobis距離MDj(j=1,2,…c),從中選擇最小的MDmin值,與MDmin相對應(yīng)的校正模型即為最準(zhǔn)確的預(yù)測模型,但該模型能否滿足測定準(zhǔn)確性的要求,再通過比較MDmin與MDL確定。2實驗部分2.1檢測條件及方法BomemMB-160型傅里葉變換近紅外光譜儀,光譜采集范圍1000～2000nm,InGaAs檢測器,5mm石英樣品池。PC計算機(jī)(主頻233MHz),計算程序由MATLAB語言編寫。2.2成品柴油樣品分別取自石油化工科學(xué)研究院的催化裂化柴油、齊魯石化勝利煉油廠的成品柴油、洛陽國家柴油檢測中心抽檢的成品柴油。十六烷值基礎(chǔ)數(shù)據(jù)由臺架試驗按GB/T386方法測定。2.3光譜測量以空樣品池作空白,樣品放入光路1min后采集光譜,每個樣品掃描10次,得到的光譜圖見圖1a～圖1c。2.4matlab語言定量校正采用偏小二乘法(PLS)方法,計算程序由MATLAB語言編寫。光譜經(jīng)均值中心化處理,與十六烷值間通過PLS回歸,采用交互檢驗法預(yù)測殘差平方和(PRESS)確定最佳主因子,并建立校正模型。3結(jié)果與討論3.1催化裂化柴油預(yù)測模型分析用前述的方法對洛陽和催化裂化柴油分別建立校正集,計算其Mahalanobis距離,由偏最小二乘(PLS)建立定量校正模型。兩個柴油校正集對應(yīng)的實測值與預(yù)測值的相關(guān)曲線、Mahalanobis距離及殘差圖分別見圖2和圖3。從圖2c和圖3c結(jié)果可以看出,洛陽油模型的預(yù)測誤差較催化裂化柴油預(yù)測誤差偏大,主要原因是洛陽柴油來源復(fù)雜,一部分為不同原油的直餾油,一部分為直餾與催化裂化柴油加氫后的調(diào)和油,當(dāng)預(yù)測十六烷值的誤差小于3時,光譜Mahalanobis距離的最大閥值不能超過3。催化裂化柴油模型盡管重油來源不同,但加工工藝變化不大,得到較正模型的精度較高。由圖3可以看出,當(dāng)光譜Mahalanobis距離的閥值限定為2.5時,其十六烷值的預(yù)測誤差不大于2。3.2模型選擇判斷用上述建立的兩個模型,分別對未知樣品光譜的Mahalanobis距離進(jìn)行計算,并用PLS定量模型預(yù)測其十六烷值結(jié)果見表1?？梢钥闯?當(dāng)未知樣品光譜的Mahalanobis距離小于校正集樣品為達(dá)到確定誤差限設(shè)定的Mahalanobis距離閥值時,所預(yù)測結(jié)果的誤差均小于建模時所允許的誤差限。由圖4可以看出,隨未知樣品光譜的Mahalanobis距離增大,所預(yù)測結(jié)果的誤差呈明顯增長趨勢。關(guān)于模型選擇的判斷,表1中SL01、SL02、SL03、LY11、CC13、CC14分別由兩個校正集得到的MD可以看出,MD較小者預(yù)測結(jié)果的誤差也較小,同廠生產(chǎn)的SL01、SL02、SL03三個批次的柴油,SL01和SL02用洛陽模型預(yù)測MD較小,預(yù)測結(jié)果與實測結(jié)果偏差也小,而SL03從MD看則更接近催化裂化柴油模型,實驗結(jié)果也證明,用催化裂化模型預(yù)測的結(jié)果較洛陽模型預(yù)測的結(jié)果準(zhǔn)確。顯然,通過PCA計算未知樣品光譜的得分,再計算其Mahalanobis距離方法,來選擇定量校正模型并判斷模型對未知樣品的適用性是可行的。3.3不同因子對mahalaodis距離的影響由于Mahalanobis距離是通過主成分分析的光譜得分求得,而光譜的得分直接與主成分分析時所選擇的因子數(shù)有關(guān),如圖5為催化裂化柴油校正集在因子數(shù)取5時計算的Mahalanobis距離分布圖。圖5與圖3b比較可以看出,隨因子數(shù)的增加,校正集樣本Mahalanobis距離值的差值也增加。因此,當(dāng)因子數(shù)變化時,根據(jù)允許的誤差限,Mahalanobis距離的閥值也應(yīng)作出相應(yīng)的調(diào)整。圖6為以洛陽柴油為校正集,在不同因子數(shù)下,對不同類型柴油的識別情況。由圖可以看出,當(dāng)因子數(shù)為2時(見圖6a),光譜信息沒得到充分應(yīng)用,洛陽柴油(1～20號)與勝利柴油譜圖(21～40號)沒識別開。當(dāng)因子數(shù)為4時(建立定量校正模型時的最佳主因子數(shù)),洛陽油,勝利油和催化裂化油(41～60號)都明顯識別開,催化裂化油Mahalanobis距離差別較大,是由于用了3種不同的渣油原料,在催化劑和工藝參數(shù)上也有所差別。當(dāng)因子數(shù)取6時,盡管洛陽油與勝利油間的識別較好,但勝利油與催化裂化油間的識別又變差。這主要是因為隨因子數(shù)的增加,光譜噪音也參與計算,使譜圖的識別性變差。因此,PCA與Mahalanobis距離結(jié)合判斷離群點或樣品分類時,因子數(shù)的選擇要適當(dāng)。由于PLS主因子數(shù)的選擇是根據(jù)交互驗證的殘差平方和確定,求Mahalanobis距離時因子數(shù)的選擇可與用PLS建立定量校正模型時選擇的最佳主因子數(shù)相同。4模型模擬判斷鑒于近紅外光譜是通過校正集樣本的光譜信息、基礎(chǔ)測量方法測定的化學(xué)組成或理化性質(zhì)結(jié)合化學(xué)計量學(xué)方法建立分析模型進(jìn)行測量的技術(shù),在近紅外光譜分析中,用已建立的定量校正模型對未知樣品的組成或性質(zhì)進(jìn)行測量時,對分析模型的適用性作出判斷是非常重要的,是判斷測量的結(jié)果是否與基礎(chǔ)方法的測量結(jié)果一致的重要前提。將主成分分析(PCA)與Mahalanobis距離相結(jié)合解決模型的適用性判斷,可以充分利用PCA對大量的光譜數(shù)據(jù)進(jìn)行降維不丟失光譜信息的優(yōu)點,將PCA計算得到的光譜得