近紅外光譜校正

1、 近紅外分析影響因素回顧近紅外分析影響因素回顧 近紅外建模和分析操作規(guī)范近紅外建模和分析操作規(guī)范 內(nèi)容綱要內(nèi)容綱要 l 參與建模的樣品量不足參與建模的樣品量不足 l 建模樣品不具代表性建模樣品不具代表性 l 近紅外方法不適合分析該性質(zhì)近紅外方法不適合分析該性質(zhì) l 非線性因素對模型的影響非線性因素對模型的影響 l 性質(zhì)值不穩(wěn)定，模型不理想性質(zhì)值不穩(wěn)定，模型不理想 l 樣品光譜和化驗(yàn)性質(zhì)數(shù)據(jù)不匹配樣品光譜和化驗(yàn)性質(zhì)數(shù)據(jù)不匹配 l 儀器未正常工作儀器未正常工作 l 樣品未經(jīng)過清理樣品未經(jīng)過清理 l 溫度溫度 l 濕度濕度 l 震動震動 l 其他干擾其他干擾 影響影響 因素因素 樣品樣品 操作操作

2、環(huán)境環(huán)境 影響影響nir分析準(zhǔn)確性的因素分析準(zhǔn)確性的因素 分析結(jié)果準(zhǔn)確性分析結(jié)果準(zhǔn)確性 n1 影響nir分析結(jié)果準(zhǔn)確性的因素多種多樣， 不能就一個(gè)方面輕易下結(jié)論 n2 一般需要對建立好的標(biāo)準(zhǔn)曲線或模型進(jìn)行驗(yàn)證， 滿足要求后才能使用 n3 建模分析過程需要一套規(guī)范保證 近紅外分析影響因素剖析回顧近紅外分析影響因素剖析回顧 近紅外建模和分析操作規(guī)范近紅外建模和分析操作規(guī)范 內(nèi)容綱要內(nèi)容綱要 近紅外定量模型校正過程近紅外定量模型校正過程 1.1. 樣本的收集樣本的收集 2.2. 光譜的采集光譜的采集 3.3. 校正樣本的選擇校正樣本的選擇 4.4. 化學(xué)基礎(chǔ)數(shù)據(jù)的測定化學(xué)基礎(chǔ)數(shù)據(jù)的測定 5.5. 定

3、量模型的建立定量模型的建立 6.6. 定量模型的驗(yàn)證定量模型的驗(yàn)證 7.7. 模型維護(hù)模型維護(hù) 7 7個(gè)方面建立規(guī)范個(gè)方面建立規(guī)范 樣本收集原則樣本收集原則 建模樣品應(yīng)包含以后未知樣建模樣品應(yīng)包含以后未知樣 品所包含的所有化學(xué)組分品所包含的所有化學(xué)組分 建模樣品的濃度變化范圍大建模樣品的濃度變化范圍大 于未知樣品的變化范圍于未知樣品的變化范圍 收集足夠的樣品數(shù)以能統(tǒng)收集足夠的樣品數(shù)以能統(tǒng) 計(jì)確定光譜變量與濃度（計(jì)確定光譜變量與濃度（ 或性質(zhì)）之間的數(shù)學(xué)關(guān)系或性質(zhì)）之間的數(shù)學(xué)關(guān)系 組分濃度在整個(gè)變化范圍內(nèi)組分濃度在整個(gè)變化范圍內(nèi) 是均勻分布的是均勻分布的 建模樣品收集建模樣品收集 收集開車時(shí)樣品

4、收集開車時(shí)樣品 收集工藝參數(shù)調(diào)整期樣品收集工藝參數(shù)調(diào)整期樣品 收集原料發(fā)生改變前后樣品收集原料發(fā)生改變前后樣品 收集穩(wěn)定生產(chǎn)的部分樣品收集穩(wěn)定生產(chǎn)的部分樣品 收集的樣品信息記錄完全如時(shí)間、批號、工藝收集的樣品信息記錄完全如時(shí)間、批號、工藝 條件、樣品狀態(tài)等，并良好保存條件、樣品狀態(tài)等，并良好保存 工業(yè)品工業(yè)品 收集不同地區(qū)的樣品收集不同地區(qū)的樣品 收集不同季節(jié)的樣品收集不同季節(jié)的樣品 收集不同品種的樣品收集不同品種的樣品 收集的樣品需要進(jìn)行清理雜質(zhì)收集的樣品需要進(jìn)行清理雜質(zhì) 收集的樣品如可粉碎則進(jìn)行粉碎到收集的樣品如可粉碎則進(jìn)行粉碎到4040目目 天然產(chǎn)品天然產(chǎn)品 樣本收集具體操作樣本收集具體

5、操作 沒有基礎(chǔ)模型收集沒有基礎(chǔ)模型收集100100個(gè)以上樣品，如有則減半個(gè)以上樣品，如有則減半 不能全收集不能全收集“好好”或者或者“差差”樣品樣品 不能只收集一天或一段時(shí)間樣品不能只收集一天或一段時(shí)間樣品 所收集的樣品需要有性質(zhì)值，或收集后檢測該值所收集的樣品需要有性質(zhì)值，或收集后檢測該值 所收集的樣品有一定的量，固體所收集的樣品有一定的量，固體200g液體液體100ml 所收集的樣品標(biāo)簽明確，保存所收集的樣品標(biāo)簽明確，保存3個(gè)月不變質(zhì)個(gè)月不變質(zhì) 樣本收集要點(diǎn)樣本收集要點(diǎn) 樣品樣品 收集收集 注意注意 要點(diǎn)要點(diǎn) 所收集的樣品充分混合均勻所收集的樣品充分混合均勻 儀器儀器 儀器充分預(yù)熱 性能測

6、試過關(guān) 樣品樣品 樣品放置到室溫 或預(yù)熱充分 充分混合均勻 樣品狀態(tài)一致 操作操作 先采集參比光譜 后采集樣品光譜 重復(fù)裝樣采集2次 光譜采集原則光譜采集原則 光譜采集原則光譜采集原則 每一個(gè)樣品，每一次光譜采集 的編號唯一，便于識別 樣品采集完光譜后馬上進(jìn)行化 驗(yàn)檢測，可保證光譜與化驗(yàn)值 具有更好的對應(yīng)性 -充分確認(rèn)儀器性能后進(jìn)行光譜 采集； -光譜采集的儀器參數(shù)設(shè)置一致 顆粒樣品位置正確、表面壓 平；粉末樣品刮平表面；液 態(tài)樣品清除氣泡 每一類樣品狀態(tài)基本一致 -操作手法輕靈，輕拿輕放； -注意清潔，防護(hù)儀器 光譜采集光譜采集 注意要點(diǎn)注意要點(diǎn) 光譜采集注意要點(diǎn)光譜采集注意要點(diǎn) 選擇建模校

7、正樣品原則選擇建模校正樣品原則 l 建模樣品數(shù)量需要達(dá)到一定水平；成熟模型建模樣品數(shù)量需要達(dá)到一定水平；成熟模型200個(gè)以上個(gè)以上 l 建模樣品每一個(gè)性質(zhì)的分布情況呈均勻分布建模樣品每一個(gè)性質(zhì)的分布情況呈均勻分布 l 可基于收集樣品的光譜和性質(zhì)分布情況挑選建模樣品可基于收集樣品的光譜和性質(zhì)分布情況挑選建模樣品 l 性質(zhì)值過于集中的樣品對模型開發(fā)無益性質(zhì)值過于集中的樣品對模型開發(fā)無益 通常情況下呈正態(tài)分布的樣品情況也可被接受通常情況下呈正態(tài)分布的樣品情況也可被接受 l 根據(jù)生產(chǎn)經(jīng)驗(yàn)挑選建模樣品，即多挑選生產(chǎn)異常時(shí)樣根據(jù)生產(chǎn)經(jīng)驗(yàn)挑選建模樣品，即多挑選生產(chǎn)異常時(shí)樣 品，生產(chǎn)正常時(shí)樣品可少挑選品，生產(chǎn)

8、正常時(shí)樣品可少挑選 l 最開始收集的最開始收集的100100個(gè)樣品全部用于建模個(gè)樣品全部用于建模 l 采集的同一個(gè)樣品的重復(fù)光譜在光譜數(shù)量小于采集的同一個(gè)樣品的重復(fù)光譜在光譜數(shù)量小于400400時(shí)，時(shí)， 可作為不同樣品建?？勺鳛椴煌瑯悠方?l 當(dāng)收集的樣品個(gè)數(shù)大于當(dāng)收集的樣品個(gè)數(shù)大于200200，光譜個(gè)數(shù)大于，光譜個(gè)數(shù)大于400400以后，以后， 可將建模樣品中的重復(fù)光譜刪除，節(jié)約內(nèi)存開銷加快計(jì)可將建模樣品中的重復(fù)光譜刪除，節(jié)約內(nèi)存開銷加快計(jì) 算速度算速度 l 全局距離和最近鄰距離可剔除部分信息重復(fù)的樣品，全局距離和最近鄰距離可剔除部分信息重復(fù)的樣品， 一般情況下僅使用最近鄰距離剔除樣品一般

9、情況下僅使用最近鄰距離剔除樣品 l 多數(shù)情況下按照性質(zhì)值分布挑選建模樣品多數(shù)情況下按照性質(zhì)值分布挑選建模樣品 選擇建模校正樣品實(shí)際操作選擇建模校正樣品實(shí)際操作 選擇建模校正樣品實(shí)際操作選擇建模校正樣品實(shí)際操作 根據(jù)樣品分布情況找出有代表性樣品 化學(xué)基礎(chǔ)數(shù)據(jù)原則化學(xué)基礎(chǔ)數(shù)據(jù)原則 同一樣品的化學(xué)基礎(chǔ)數(shù) 據(jù)必須與該樣品光譜對 應(yīng) 代表性樣品基礎(chǔ)數(shù)據(jù)平行 測試 基礎(chǔ)數(shù)據(jù)檢測采用標(biāo) 準(zhǔn)或經(jīng)典方法 不同來源的基礎(chǔ)數(shù)據(jù) 進(jìn)行標(biāo)注并進(jìn)行確證 化學(xué)基礎(chǔ)化學(xué)基礎(chǔ) 數(shù)據(jù)數(shù)據(jù) 化學(xué)基礎(chǔ)數(shù)據(jù)注意點(diǎn)化學(xué)基礎(chǔ)數(shù)據(jù)注意點(diǎn) 化學(xué)化學(xué) 基礎(chǔ)基礎(chǔ) 數(shù)據(jù)數(shù)據(jù) 注意注意 點(diǎn)點(diǎn) 對化驗(yàn)基礎(chǔ)數(shù)據(jù)的穩(wěn)定性進(jìn)行考察對化驗(yàn)基礎(chǔ)數(shù)據(jù)的穩(wěn)定性進(jìn)行考

10、察 同一性質(zhì)不同方法檢測值，不能合并到一起同一性質(zhì)不同方法檢測值，不能合并到一起 同一性質(zhì)不同校正基礎(chǔ)的數(shù)據(jù)不能合并，如干基蛋白同一性質(zhì)不同校正基礎(chǔ)的數(shù)據(jù)不能合并，如干基蛋白 化學(xué)值與對應(yīng)的光譜一致，錯(cuò)位將導(dǎo)致模型錯(cuò)誤化學(xué)值與對應(yīng)的光譜一致，錯(cuò)位將導(dǎo)致模型錯(cuò)誤 同一集團(tuán)不同廠的基礎(chǔ)數(shù)據(jù)需進(jìn)行核對確認(rèn)同一集團(tuán)不同廠的基礎(chǔ)數(shù)據(jù)需進(jìn)行核對確認(rèn) 基礎(chǔ)數(shù)據(jù)的信息記錄完整，符合標(biāo)準(zhǔn)要求基礎(chǔ)數(shù)據(jù)的信息記錄完整，符合標(biāo)準(zhǔn)要求 構(gòu)建建模樣品集構(gòu)建建模樣品集確定建模方法確定建模方法 選擇建模參數(shù)選擇建模參數(shù) 對異常樣品進(jìn)對異常樣品進(jìn) 行處理行處理 優(yōu)化評價(jià)模型優(yōu)化評價(jià)模型 定量模型建立定量模型建立 和優(yōu)化和優(yōu)化

11、建立定量分析模型包含如下幾個(gè)步驟建立定量分析模型包含如下幾個(gè)步驟 定量模型的建立定量模型的建立 定量模型的建立使用參數(shù)定量模型的建立使用參數(shù) l 建立定量模型的方法：建立定量模型的方法：k-fold plsk-fold pls方法方法 l 光譜預(yù)處理方法選擇：光譜預(yù)處理方法選擇： snv-snv-消除光程差異消除光程差異 dt-dt-消除基線漂移消除基線漂移 sgsg平滑平滑-降低噪聲水平降低噪聲水平 sgsg一階導(dǎo)數(shù)一階導(dǎo)數(shù)-提升有用信號水平提升有用信號水平 均值中心化均值中心化 l 交互檢驗(yàn)方法：交互檢驗(yàn)方法：8-fold8-fold交互檢驗(yàn)（減少計(jì)算時(shí)間）交互檢驗(yàn)（減少計(jì)算時(shí)間） l 光

12、譜波長選擇：吸收在光譜波長選擇：吸收在0.10.11.51.5之間的波段之間的波段 定量模型的確認(rèn)原則定量模型的確認(rèn)原則 l 根據(jù)性質(zhì)值的化學(xué)分析方法穩(wěn)定性確定模型參數(shù)根據(jù)性質(zhì)值的化學(xué)分析方法穩(wěn)定性確定模型參數(shù) l 一般規(guī)則：模型一般規(guī)則：模型sec = secv *1.2 l secv值與化學(xué)方法穩(wěn)定性標(biāo)準(zhǔn)偏差相當(dāng)值與化學(xué)方法穩(wěn)定性標(biāo)準(zhǔn)偏差相當(dāng) l 在上述基礎(chǔ)上分析模型的主因子越小越好在上述基礎(chǔ)上分析模型的主因子越小越好 主因子個(gè)數(shù)越多，引入的噪聲越多，模型不穩(wěn)定主因子個(gè)數(shù)越多，引入的噪聲越多，模型不穩(wěn)定 主因子個(gè)數(shù)過少，準(zhǔn)確性達(dá)不到要求主因子個(gè)數(shù)過少，準(zhǔn)確性達(dá)不到要求 l 主因子取在主因子

13、取在press拐點(diǎn)處拐點(diǎn)處 l 相關(guān)系數(shù)僅作為參考相關(guān)系數(shù)僅作為參考 定量模型的確認(rèn)原則定量模型的確認(rèn)原則 樣品化學(xué)值比較極端，影響模型預(yù)測的準(zhǔn)確性。樣品化學(xué)值比較極端，影響模型預(yù)測的準(zhǔn)確性。 但一般能提高模型的適應(yīng)性但一般能提高模型的適應(yīng)性 可用馬氏距離（杠桿值進(jìn)行判定）可用馬氏距離（杠桿值進(jìn)行判定） （1 1）該樣品的參考測量值有誤，其誤差范）該樣品的參考測量值有誤，其誤差范 圍超出了標(biāo)準(zhǔn)的規(guī)定范圍；圍超出了標(biāo)準(zhǔn)的規(guī)定范圍； （2 2）模型不能用于該樣品的測定）模型不能用于該樣品的測定 可用學(xué)生殘差進(jìn)行判定可用學(xué)生殘差進(jìn)行判定 異常樣品的處理異常樣品的處理 存在兩類異常樣品存在兩類異常樣品

14、 異常樣品處理的原則異常樣品處理的原則 l 馬氏距離（杠桿值）判定的異常樣品一般不剔除。馬氏距離（杠桿值）判定的異常樣品一般不剔除。 前提前提1：其化驗(yàn)性質(zhì)值確實(shí)準(zhǔn)確無誤：其化驗(yàn)性質(zhì)值確實(shí)準(zhǔn)確無誤 前提前提2：該樣品對模型的準(zhǔn)確度影響不太大，：該樣品對模型的準(zhǔn)確度影響不太大， 可保證可保證secv值與該性質(zhì)的穩(wěn)定性標(biāo)準(zhǔn)差相當(dāng)值與該性質(zhì)的穩(wěn)定性標(biāo)準(zhǔn)差相當(dāng) l 學(xué)生殘差判定的異常樣品一般進(jìn)行剔除學(xué)生殘差判定的異常樣品一般進(jìn)行剔除 l 建模過程中一般最多剔除建模過程中一般最多剔除3輪異常樣品而形成最終分析模型輪異常樣品而形成最終分析模型 異常樣品處理的原則異常樣品處理的原則 同一樣品的多張光譜同一樣

15、品的多張光譜 重復(fù)性優(yōu)于性質(zhì)值化驗(yàn)檢測方法重復(fù)性重復(fù)性優(yōu)于性質(zhì)值化驗(yàn)檢測方法重復(fù)性 定量模型的驗(yàn)證定量模型的驗(yàn)證 重復(fù)性重復(fù)性 一組樣品已知化驗(yàn)性質(zhì)的樣品一組樣品已知化驗(yàn)性質(zhì)的樣品 準(zhǔn)確性與原模型分析結(jié)果一致：準(zhǔn)確性與原模型分析結(jié)果一致： sep與與sec結(jié)果相當(dāng)或略有變大結(jié)果相當(dāng)或略有變大 準(zhǔn)確性準(zhǔn)確性 3.83.94.04.14.2 68% 95% 99% 定量模型的驗(yàn)證原則定量模型的驗(yàn)證原則 n驗(yàn)證樣品具有一定數(shù)量，可進(jìn)行統(tǒng)計(jì)分析 n重復(fù)性至少選擇5個(gè)樣品進(jìn)行檢驗(yàn) n準(zhǔn)確性至少選擇10個(gè)樣品進(jìn)行檢驗(yàn)，該樣品化驗(yàn)性質(zhì)需進(jìn)行平 行測試 n準(zhǔn)確性檢驗(yàn)可能存在系統(tǒng)偏差bias值，準(zhǔn)確性檢驗(yàn)時(shí)需扣

16、減該 bias值 經(jīng)過驗(yàn)證的模型可用于日常分析，分析時(shí)樣品狀態(tài)保持與建模樣品一致經(jīng)過驗(yàn)證的模型可用于日常分析，分析時(shí)樣品狀態(tài)保持與建模樣品一致 l nir nir是一種二次方法，需要長期進(jìn)行檢驗(yàn)是一種二次方法，需要長期進(jìn)行檢驗(yàn) l 檢驗(yàn)發(fā)現(xiàn)不合格，需要對分析模型進(jìn)行維護(hù)，檢驗(yàn)發(fā)現(xiàn)不合格，需要對分析模型進(jìn)行維護(hù)， 保證分析結(jié)果的準(zhǔn)確性保證分析結(jié)果的準(zhǔn)確性 模型維護(hù)方法模型維護(hù)方法 nirnir分析分析 結(jié)果確認(rèn)結(jié)果確認(rèn) l 通常情況下進(jìn)行通常情況下進(jìn)行biasbias校正校正 l biasbias校正失效進(jìn)行模型擴(kuò)充維護(hù)校正失效進(jìn)行模型擴(kuò)充維護(hù) 模型模型 維護(hù)方法維護(hù)方法 l 日常使用日常使用n

17、irnir儀器發(fā)現(xiàn)出現(xiàn)紅色報(bào)警樣品儀器發(fā)現(xiàn)出現(xiàn)紅色報(bào)警樣品 l 收集該紅色報(bào)警樣品，并進(jìn)行化驗(yàn)分析保證分析結(jié)果的準(zhǔn)確性收集該紅色報(bào)警樣品，并進(jìn)行化驗(yàn)分析保證分析結(jié)果的準(zhǔn)確性 l 收集收集1010個(gè)該報(bào)警樣品個(gè)該報(bào)警樣品 l 將樣品的化驗(yàn)平均值與將樣品的化驗(yàn)平均值與nirnir檢測平均值進(jìn)行對比，計(jì)算出平均誤差和檢測平均值進(jìn)行對比，計(jì)算出平均誤差和 方差方差 l 如果如果biasbias值小于可接受平均誤差，且值小于可接受平均誤差，且sdsd與模型與模型secvsecv相當(dāng)，則可不維護(hù)；相當(dāng)，則可不維護(hù)； 如果如果biasbias值大于可接受平均誤差，且值大于可接受平均誤差，且sdsd與與secvsecv相當(dāng)，則進(jìn)行相當(dāng)，則進(jìn)行biasbias校正；校正； 當(dāng)當(dāng)biasbias過大，且過大，且sdsd值過大，則需要對分析模型進(jìn)行擴(kuò)充維護(hù)值過大，則需要對分析模型進(jìn)行擴(kuò)充維護(hù) 模型維護(hù)操作模型維護(hù)操作 模型維護(hù)操作模型維護(hù)操作bias校正校正 l 第二次進(jìn)行模型第二次進(jìn)行模型biasbias校正時(shí)，需要在第一次校正時(shí)，需