13測(cè)量系統(tǒng)分析屬性33

1、測(cè)量系統(tǒng)分析屬性2022/8/271目標(biāo) 在本模塊結(jié)束時(shí)你將能夠：描述屬性測(cè)量系統(tǒng)分析定義基本的測(cè)量術(shù)語(yǔ)進(jìn)行 屬性gage研究（測(cè)量系統(tǒng)分析）概要程序執(zhí)行測(cè)量研究2022/8/272 流程改善方法論步驟0：項(xiàng)目定義步驟：流程測(cè)量步驟：流程分析步驟：流程改善步驟：流程控制計(jì)劃項(xiàng)目，確定重要的流程輸入/輸出變量進(jìn)行基本測(cè)量系統(tǒng)地測(cè)量?jī)x器研究進(jìn)行短期流程能力研究并建立控制計(jì)劃完成FMEA并評(píng)價(jià)控制計(jì)劃完成多變量研究以確定潛在的關(guān)鍵輸入變量評(píng)價(jià)數(shù)據(jù)并優(yōu)化關(guān)鍵的輸入變量用實(shí)驗(yàn)設(shè)計(jì)驗(yàn)證關(guān)鍵的輸入變量決定最優(yōu)化的操作窗口修正控制計(jì)劃最后完成控制計(jì)劃持續(xù)驗(yàn)證流程的穩(wěn)定性和能力2022/8/273研究測(cè)量系統(tǒng)

2、我們一旦有正確的數(shù)據(jù)，我們必須確定有能力來(lái)測(cè)量它需要獲取的信息 - 測(cè)量誤差有多大？ - 測(cè)量誤差的來(lái)源 是什么？ - 測(cè)量系統(tǒng)隨時(shí)間變化依然是穩(wěn)定 的嗎？ - 對(duì)于研究有 足夠能力 嗎？ - 我們?nèi)绾?改善 測(cè)量系統(tǒng)？2022/8/274計(jì)數(shù)型數(shù)據(jù) MSA 如果很多人評(píng)估同一事物，他們需要達(dá)成一致： - 相互之間 - 他們自己之間計(jì)數(shù)型數(shù)據(jù)比計(jì)量型數(shù)據(jù)包括更少的信息，但往往只有它是所能得到的 - 所以我們必須對(duì)完整的屬性測(cè)量進(jìn)行持續(xù)不斷的研究問(wèn)題是 - 我能夠相信我的測(cè)量系統(tǒng)得到的數(shù)據(jù)嗎？2022/8/275屬性 MSA目標(biāo) 確定： - 與整體一致的% - 與評(píng)價(jià)者一致的%（重復(fù)性） - 與

3、評(píng)價(jià)者之間一致的%（再現(xiàn)性） - 與已知標(biāo)準(zhǔn)一致的%（準(zhǔn)確性） - Kappa（究竟測(cè)量系統(tǒng)比隨機(jī)偶然性好多少）2022/8/276 Kappa技術(shù)非參數(shù)方式提供了一些處理主觀計(jì)數(shù)數(shù)據(jù)的工具Kappa技術(shù)可以用于屬性（計(jì)數(shù)型）/分類數(shù)據(jù)的分級(jí)當(dāng)質(zhì)量標(biāo)準(zhǔn)難于或不可能定義時(shí)使用幾個(gè)單位必需分類為由超過(guò)一個(gè)評(píng)價(jià)者測(cè)量一次以上組成 - 如果基本上是一致的，存在評(píng)價(jià)正確的可能性 - 如果一致性差，評(píng)價(jià)是 非常有限的2022/8/277屬性測(cè)量研究：方法2022/8/278 屬性測(cè)量研究-方法 挑選2-3個(gè)經(jīng)常評(píng)估的人隨機(jī)的向一個(gè)人提供樣本（不告訴哪個(gè)樣本是哪個(gè)）并讓這個(gè)人評(píng)估每一項(xiàng)一旦第一個(gè)人完成對(duì)所有

4、項(xiàng)目的評(píng)估，讓其他的幾個(gè)人重復(fù)這個(gè)工作一旦每個(gè)人都已經(jīng)評(píng)估了每一項(xiàng)，再重復(fù)一遍上面的實(shí)驗(yàn)注意：所有評(píng)估人、項(xiàng)目及“實(shí)驗(yàn)”的組合可能應(yīng)該 - 每個(gè)評(píng)估人必須檢測(cè)所有項(xiàng)目 - 每個(gè)評(píng)估人必須檢測(cè)同樣次數(shù)的項(xiàng)目（實(shí)驗(yàn)）2022/8/279屬性MSA范例：投標(biāo)接受 這個(gè)范例源于一家公司評(píng)估合同報(bào)價(jià).關(guān)注于當(dāng)可能應(yīng)該被接受卻可能拒絕的合同，對(duì)該部門進(jìn)行研究，如何測(cè)定評(píng)價(jià)員評(píng)價(jià)的一致性.選取了50個(gè)樣本 一些是明確可以接受的，一些是明確不能接受的，還有一些考慮為處于“邊界線”之間。四個(gè)評(píng)估員和一個(gè)專家記錄了他們的評(píng)價(jià)結(jié)果 - 拒絕 或 接受合同2022/8/2710屬性MSA范例：投標(biāo)接受 結(jié)果顯示出明確

5、的問(wèn)題 （顯示了50個(gè)樣本中的20個(gè)結(jié)果）在50個(gè)樣本中 ， 檢驗(yàn)者實(shí)際上只對(duì)一個(gè)“拒收”的樣本全體一致通過(guò)他們對(duì)于29個(gè)“接受”樣本全體一致通過(guò)%的不一致產(chǎn)品 = 20/50=40%SampleABCD1RRRA2AARA3AAAA4AAAA5AAAA6AAAA7AAAA8AAAA9AAAA10ARRR11RAAR12AAAA13RAAR14ARAA15AAAA16AAAA17AAAA18AAAA19AAAA20AAAA檢驗(yàn)之間是否達(dá)成一致？2022/8/2711屬性 MSA 范例：投標(biāo)報(bào)價(jià) %不好的接受 %好的絕收A 9/13 = 69% 4/37 = 11%B 9/13 = 69% 4/

6、37 = 11%C 9/13 = 69% 4/37 = 11%D 8/13 = 62% 3/37 = 11% 整體正確判斷的% = 150/200 = 75% 檢驗(yàn)者 與 專家的結(jié)果SampleABCD1RRRA2AARA3AAAA4AAAA5AAAA6AAAA7AAAA8AAAA9AAAA10ARRR11RAAR12AAAA13RAAR14ARAA15AAAA16AAAA17AAAA18AAAA19AAAA20AAAA5AAAR10ARRR12AAAR13RAAR與專家是否一致？2022/8/2712 Kappa技術(shù)在屬性MSA研究過(guò)程中，Kappa被用來(lái)總結(jié)在去除偶然 一致性后在評(píng)估人之間

7、的一致程度 - 如果存在實(shí)質(zhì)性的一致，那就存在級(jí)別準(zhǔn)確的 可能性 - 如果不能達(dá)成一致，分級(jí)的有效性就 非常有限了使用需求： - 測(cè)量的 單位是彼此獨(dú)立的 - 評(píng)估人的檢驗(yàn)及分類是獨(dú)立的分類級(jí)別相互排斥及徹底的Minitab計(jì)算Kappa值作為屬性一致性分析輸出的一部分2022/8/2713 Kappa2022/8/2714 Kappa技術(shù) Kappa將在-1及+1之間Kappa值為+1的代表完全一致一般規(guī)則：如果K0.70，就需要注意測(cè)量系統(tǒng)！-1 to 0.0隨機(jī)一致最低限度 需要較大努力好 改善保證優(yōu)秀的Kappa值建議的解釋2022/8/2715 Kappa技術(shù)Kappa可以用于有多個(gè)

8、評(píng)價(jià)者和具有多個(gè)分類的情況客戶返品案例： - 一個(gè)綠帶有一個(gè)減少客戶返品的項(xiàng)目。由一位客戶服務(wù)代表（CSR）給 每一個(gè)客戶返品標(biāo)識(shí)一個(gè)代碼。大家會(huì)擔(dān)心 CSR 們標(biāo)識(shí)代碼時(shí)不能 夠始終一致。 - 三個(gè)評(píng)價(jià)者被要求為30個(gè)返品標(biāo)識(shí)原因代碼。每個(gè)評(píng)價(jià)者評(píng)價(jià)兩次（ 在兩個(gè) 不同時(shí)間各做一次）。 - 綠帶同時(shí)要求一個(gè)部門專家來(lái)評(píng)價(jià)返品情況2022/8/2716 Minitab 屬性一致性分析項(xiàng)目：TR MSA ATT .MPJ工作表：Customer Returns.MTW設(shè)計(jì)： - 3 CSRs （評(píng)價(jià)者） - 2天 - 30次退貨 （樣本）代碼在Category列中專家值在Expert列中2022

9、/8/2717 Minitab 屬性一致性分析使用屬性一致性分析來(lái)分析屬性測(cè)量系統(tǒng)的結(jié)果2022/8/2718 Minitab 屬性一致性分析首先填寫適當(dāng)?shù)牧行畔▽＜以u(píng)級(jí)確保在窗口Results中的Kappa選項(xiàng)被選中2022/8/2719 圖表分析評(píng)價(jià)者之間的一致性就象重復(fù)性這里CSR 1她自己有90%的時(shí)間是一致的。CSR 2有86.7%的時(shí)間是內(nèi)在性的一致，而CSR 3對(duì)于返回有96.7%的時(shí)間是一致的圖上顯示了95% C1一致性的%這個(gè)圖顯示了在CSRs與專家觀點(diǎn)之間一致性的%注意：這兩個(gè)圖有不同的測(cè)量刻度！2022/8/2720 數(shù)字輸出：在評(píng)價(jià)者范圍內(nèi)與左圖類似的信息（看前面的

10、幻燈片）增加特定的匹配及檢驗(yàn)數(shù)量在評(píng)價(jià)者范圍內(nèi)評(píng)價(jià)一致性評(píng)價(jià)者 # 檢驗(yàn)的 # 匹配的 # 比例（%）95.0% CIA 30 27 90.0 ( 73.5, 97.9 )B 30 26 86.7 ( 69.3, 96.2 )C 30 29 96.7 ( 82.8, 99.9 )匹配的# ：評(píng)價(jià)者在實(shí)驗(yàn)過(guò)程中是一致的。2022/8/2721數(shù)字輸出評(píng)價(jià)者與專家這顯示了評(píng)價(jià)者被給予“正確”答案的頻率r每個(gè)評(píng)價(jià)者與標(biāo)準(zhǔn)評(píng)價(jià)一致性評(píng)價(jià)者 # 檢驗(yàn)的 # 匹配的 # 比例（%）95.0% CIA 30 23 76.7 ( 57.7, 90.1 )B 30 20 66.7 ( 47.2, 82.7 )C

11、 30 22 73.3 ( 54.1, 87.7 )匹配的# ：評(píng)價(jià)者的評(píng)估在實(shí)驗(yàn)過(guò)程中是與標(biāo)準(zhǔn)一致的。我們希望90%或更好的一致性2022/8/2722 數(shù)字輸出評(píng)價(jià)者之間的一致性與再現(xiàn)性相似：評(píng)價(jià)者之間 評(píng)價(jià)一致性檢驗(yàn)的# 匹配的# 比例 （%） 95.0% CI 30 17 56.7（37.4 ，74.5）匹配# ：所有評(píng)價(jià)者之間的評(píng)估是一致的。 所用評(píng)價(jià)者與標(biāo)準(zhǔn)給出了檢驗(yàn)標(biāo)準(zhǔn)有效性的指標(biāo)：所有評(píng)價(jià)者與標(biāo)準(zhǔn)評(píng)價(jià)一致性 檢驗(yàn)的# 匹配的# 比例 （%） 95.0% CI 30 15 50.0（31.3，68.7）匹配的# ：所有評(píng)價(jià)者的評(píng)價(jià)與標(biāo)準(zhǔn)一致的數(shù)量。2022/8/2723 數(shù)字輸出

12、-Kappa為評(píng)價(jià)者之間提供每一類缺陷的Kappa及Kappa值（及其它部分）我們能夠識(shí)別缺陷類型到什么程度？2022/8/2724 Kappa 技術(shù)對(duì)于這個(gè)例子，下面的Kappa值被計(jì)算為 - 評(píng)價(jià)者自己?jiǎn)蝹€(gè)類別的Kappa代表每個(gè)評(píng)價(jià)者多次評(píng)價(jià)同一個(gè)樣本的一致性每個(gè)評(píng)價(jià)者的總體Kappa代表評(píng)價(jià)者對(duì)于所有分類的一致性- 在評(píng)價(jià)者之間單個(gè)類別的Kappa代表所有評(píng)價(jià)者對(duì)于那個(gè)分類樣本的一致性總體Kappa代表整個(gè)研究范圍的一致性（涵蓋所有評(píng)價(jià)者和分類）2022/8/2725 Kappa 技術(shù)解釋結(jié)果 - 范圍從0.19到0.94的獨(dú)立Kappa值，意味著在評(píng)價(jià)者中的一 致性是：對(duì)于Damag

13、ed的檢查能力是優(yōu)秀的Administrative(管理）及Quantity（數(shù)量）的測(cè)量系統(tǒng)不可接受的低；Planned Adju（計(jì)劃調(diào)整）及Pricing（定價(jià)）的測(cè)量系統(tǒng)處于邊緣狀態(tài)Incorrect Pr(不正確的生產(chǎn)）、Overstock（過(guò)量庫(kù)存）及Quality（質(zhì)量）的測(cè)量系統(tǒng)可用 - 總體Kappa是0.7106，指示系統(tǒng)可以使用一些改善方法要改善這個(gè)測(cè)量系統(tǒng)就很可能需要改變每個(gè)缺陷類型的操作定義或再次訓(xùn)練評(píng)價(jià)者，或二者都需要2022/8/2726 改善屬性測(cè)量系統(tǒng)感受增效器（改善人類感覺(jué)的裝置）面具/模板（封閉不重要的信息）檢查清單自動(dòng)化重組工作區(qū)域最為重要的是：評(píng)價(jià)標(biāo)準(zhǔn)

14、 2022/8/2727 測(cè)量系統(tǒng)-要問(wèn)的問(wèn)題你挑選了正確的測(cè)量系統(tǒng)了嗎？這個(gè)測(cè)量系統(tǒng)與關(guān)鍵輸出相關(guān)聯(lián)嗎？精確性、準(zhǔn)確性及穩(wěn)定性看起來(lái)像什么？變異的來(lái)源是什么，及測(cè)量誤差是什么？ 要改善這個(gè)系統(tǒng)需要做什么？我們是否向合適的人通知了我們的結(jié)果？這個(gè)系統(tǒng)是否在適當(dāng)?shù)牟课挥锌刂朴?jì)劃？培訓(xùn)頻率是多少？頻率足夠嗎？相同的系統(tǒng)匹配嗎？2022/8/2728案例研究：屬性 MSA步驟1：數(shù)據(jù)完整性研究是對(duì)任何現(xiàn)有數(shù)據(jù)采集都要執(zhí)行 - 成本：完整性好步驟2：執(zhí)行 屬性 測(cè)量系統(tǒng)分析 確定是否可以準(zhǔn)確的測(cè)量發(fā)票錯(cuò)誤 - 結(jié)論：評(píng)價(jià)者內(nèi)部還算一致（大約94%），但能夠使用微小改進(jìn)評(píng)價(jià)者與專家和評(píng)價(jià)者間的準(zhǔn)確性是很

15、遭的（大約68%），并且繼續(xù)前應(yīng)該改善 - 所作的改進(jìn)：建立判斷錯(cuò)誤的一致性的操作詳細(xì)說(shuō)明進(jìn)行培訓(xùn) - 第二次MSA結(jié)果評(píng)價(jià)者內(nèi)部：100%評(píng)價(jià)者VS專家：95%在評(píng)價(jià)者之間：97%2022/8/2729案例研究：初始屬性 MSA評(píng)價(jià)者個(gè)人內(nèi)部重復(fù)性情況這里評(píng)價(jià)者1當(dāng)時(shí)與自己一致性是90%.評(píng)價(jià)者2當(dāng)時(shí)內(nèi)部的穩(wěn)定性是86.7%，并且評(píng)價(jià)者3重復(fù)時(shí)與自己匹配的是96.7%圖表顯示在95%置信區(qū)間條件下，一致性的%圖表顯示評(píng)價(jià)者和專家意見(jiàn)一致性的%注釋：這兩個(gè)圖表有不同的標(biāo)準(zhǔn)！2022/8/2730練習(xí)：糖果檢驗(yàn)?zāi)繕?biāo)：評(píng)價(jià)M&M檢驗(yàn)工具： - 3個(gè)檢驗(yàn)員 - 一袋M&MS程序： - 在開(kāi)袋前，定義計(jì)算你們關(guān)注的缺陷條件 - 讓你們的檢驗(yàn)員評(píng)價(jià)糖果樣本的材料 - 評(píng)價(jià)測(cè)量系統(tǒng) - 報(bào)告任何建議的改進(jìn)活動(dòng)時(shí)間：45分鐘2022/8/2731如何進(jìn)行：屬性MSA1. 設(shè)計(jì)研究總共30-50個(gè)樣本2-3評(píng)價(jià)者，至少重復(fù)測(cè)量一次 - 每個(gè)評(píng)價(jià)者必須檢驗(yàn)所有數(shù)據(jù)項(xiàng)（樣本） - 每個(gè)評(píng)價(jià)者在每一輪試驗(yàn)，必須檢驗(yàn)這些相同的樣本（各輪試驗(yàn)）理想的情況，也有“專家”評(píng)價(jià)2. 建立數(shù)據(jù)采集矩陣表3. 讓操作者1 按隨機(jī)順序測(cè)量所有樣本一次4. 讓操作者2按隨機(jī)順序測(cè)量所有樣本一次5. 繼續(xù)，直到所有操作者測(cè)量了樣本一次（這是Trial 1試驗(yàn)1）6. 重復(fù)步驟3-5完