




下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、2020/10/13,1,循證醫(yī)學(xué),Evidence-Based Medicine,流行病學(xué)教研室 謝娟,第五章 Meta分析 在循征醫(yī)學(xué)實踐中的應(yīng)用,2020/10/13,2,內(nèi)容提要,Meta分析概述 Meta分析的基本步驟 影響Meta分析結(jié)果常見的偏倚和控制,2020/10/13,3,一、 Meta分析概述,20世紀(jì)60年代開始,在醫(yī)學(xué)文獻中,陸續(xù)出現(xiàn)了對多個獨立研究的統(tǒng)計量進行合并的報道。1976年G.V.Glass首先將合并統(tǒng)計量對文獻進行綜合分析研究的這類方法稱為“Meta-Analysis”。 20世紀(jì)80年代末,該方法被引入我國,中文譯名有薈萃分析,二次分析、匯總分析、集成分
2、析等。但無論何種中文譯名都有不足之處。因此,很多學(xué)者建議仍然使用Meta分析這一名稱。,2020/10/13,4,一、 Meta分析概述,“The Cochrane Library”一書中,將Meta分析定義為:Meta-Analysis is statistical technique for assembling the results of several studies in a review into a single numerical estimate.(Meta分析是文獻評價中將若干個研究結(jié)果合并成一個單獨數(shù)字估計的統(tǒng)計學(xué)方法)。 David Sackett等人將Meta分析定
3、義為:A systematic review that uses quantitative methods to summarize the results.(運用定量方法匯總多個研究結(jié)果的系統(tǒng)評價)。,2020/10/13,5,一、 Meta分析概述,(一)定義 Meta分析是對具有相同目的且相互獨立的多個研究結(jié)果進行系統(tǒng)的綜合評價和定量分析的一種研究方法。,2020/10/13,6,一、Meta分析概述,(二)Meta 分析的目的 通過擴大樣本含量,增加統(tǒng)計學(xué)檢驗效能 評價多個研究結(jié)果間的異質(zhì)性 回答單個研究不能回答的問題 原始研究常常納入特定類型的患者和明確定義的干預(yù)措施。選擇上述特征不
4、同的研究可以評估效應(yīng)的一致性,如果必要,還可評估效應(yīng)差異的原因。 定量估計研究效應(yīng)的平均水平 尋找新的假說和研究思路,2020/10/13,7,檢驗效能,假設(shè)檢驗是統(tǒng)計推斷的重要內(nèi)容,它是應(yīng)用數(shù)學(xué)上的反證法和小概率事件實際推斷原理,根據(jù)樣本統(tǒng)計量對總體作出推斷,結(jié)論具有概率性. 對于任何一次假設(shè)檢驗,不論其結(jié)論是拒絕H0,還是接受H0,都有判斷錯誤的可能,即可能犯兩類錯誤.第一類錯誤(也稱型錯誤)是指拒絕了實際上成立的H0,其概率大小用a表示.假設(shè)檢驗時,研究者可根據(jù)研究的目的來確定值的大小,如規(guī)定=0.05(即犯第一類錯誤的概率為0.05),當(dāng)拒絕H0時,則理論上100次抽樣檢驗中平均有5次
5、發(fā)生這樣的錯誤.第二類錯誤(也稱型錯誤)是指接受了實際不成立的H0,其概率大小用來表示,值的大小一般很難確切估計,只有與特定的H1結(jié)合起來才有意義.通常把1-稱為檢驗效能(也稱把握度),它的意義是:當(dāng)兩總體確有差別時,按規(guī)定的檢驗水準(zhǔn)能夠發(fā)現(xiàn)該差別的能力.,2020/10/13,8,一、Meta分析概述,(三)Meta分析的指征 需要作出一項緊急決定,而又缺乏時間進行一項新的相關(guān)研究; 目前沒有能力開展大規(guī)模的臨床試驗; 有關(guān)藥物和其他治療,特別是副作用評價方法的研究; 多個研究結(jié)果矛盾時。,2020/10/13,9,一、Meta分析概述,(四)Meta分析的條件: 兩個及以上的原始研究; 各
6、研究之間的特性沒有可影響它們結(jié)果的差異; 各研究的結(jié)果采用相似的方法進行測量; 各研究的資料都可用(當(dāng)有的資料僅部分可用時應(yīng)多加小心)。,2020/10/13,10,一、Meta分析概述,(五)不建議使用Meta分析的情況: 如果各研究間有臨床差異,Meta分析則可能無意義,且可能掩蓋真正的效果差異(不能依從于統(tǒng)計學(xué)方法而需要討論和臨床判斷); 如果每一個(或某些)研究存在偏倚,Meta分析就會簡單地綜合這些錯誤; 如果存在嚴(yán)重發(fā)表和/或報告偏倚,Meta分析可能產(chǎn)生不恰當(dāng)?shù)暮铣伞?2020/10/13,11,SR與Meta分析的區(qū)別與聯(lián)系,廣義上常將Meta分析也稱為SR(定量的SR)。 S
7、R是一種綜合文獻的研究方法,即按照特定的問題,系統(tǒng)、全面地收集全世界所有已發(fā)表或未發(fā)表的臨床研究結(jié)果,采用臨床流行病學(xué)嚴(yán)格評價文獻的原則和方法,篩選出符合質(zhì)量標(biāo)準(zhǔn)的文獻并進行科學(xué)的定性或定量合成,最終得出綜合可靠的結(jié)論。 SR可以是定量SR(包括Meta分析),也可以是定性SR(不包括Meta分析) 。,2020/10/13,12,SR與Meta分析的區(qū)別與聯(lián)系,SR的質(zhì)量要高于簡單的Meta分析。 Meta分析可以在未經(jīng)系統(tǒng)分析的情況下簡單地將相關(guān)研究的結(jié)果進行定量合成,盡管合成的結(jié)果比單個研究的結(jié)果在數(shù)學(xué)上更為精確,但是由于容易受選擇偏倚的影響,獲得的結(jié)論不一定真實、可靠。,2020/10
8、/13,13,二、Meta分析的基本步驟,提出問題制定研究計劃 檢索文獻 選擇符合標(biāo)準(zhǔn)的研究 納入研究的質(zhì)量評價 提取納入文獻數(shù)據(jù)信息 資料的統(tǒng)計學(xué)處理 敏感性分析 形成結(jié)果報告,確立題目制訂研究方案 檢索文獻 選擇文獻 評價文獻質(zhì)量 收集文獻數(shù)據(jù) 分析資料和報告結(jié)果 解釋結(jié)果(討論和結(jié)論) 更新系統(tǒng)評價,Meta分析,系統(tǒng)評價,2020/10/13,14,步驟1:提出問題,制定研究計劃,提出問題 針對具體的臨床問題 可能得到回答 問題的構(gòu)成要素:簡明、準(zhǔn)確、具體,2020/10/13,15,步驟1:提出問題,制定研究計劃,制定研究計劃書 研究目的 研究現(xiàn)狀和意義 文獻檢索的途徑和方法 文獻納
9、入和剔除的標(biāo)準(zhǔn) 數(shù)據(jù)收集的方法 數(shù)據(jù)統(tǒng)計分析步驟,2020/10/13,16,步驟2:檢索資料,預(yù)檢索 計算機檢索結(jié)合手工檢索 包括所有可能的資源 不限于標(biāo)準(zhǔn)的期刊 (如可能包括未發(fā)表的資料) 所有的語言- -而不僅僅是英文 有明確的檢索策略,并加以詳細說明 應(yīng)用了哪些數(shù)據(jù)庫 檢索了哪些主題詞 可以根據(jù)這些能重復(fù)你的結(jié)果 盡可能獲得所有相關(guān)文獻的全文,2020/10/13,17,步驟3:選擇符合納入標(biāo)準(zhǔn)的研究,納入標(biāo)準(zhǔn) 研究對象 研究設(shè)計類型 暴露或干預(yù)措施 研究結(jié)局 研究開展的時間或文獻發(fā)表的年份和語種 樣本量 隨訪年限,2020/10/13,18,步驟3:選擇符合納入標(biāo)準(zhǔn)的研究,納入標(biāo)準(zhǔn)過
10、嚴(yán)的弊端 可能符合要求的文獻很少,失去了做Meta分析的意義 納入標(biāo)準(zhǔn)過寬的弊端 可能大大降低Meta分析結(jié)果的可靠性和有效性,2020/10/13,19,步驟4:納入研究的質(zhì)量評價,真實性的評價 內(nèi)在真實性 外在真實性 臨床意義的評價 臨床適用性的評價,2020/10/13,20,Sackett DL,A:推薦; B:建議推薦; C:應(yīng)用應(yīng)謹(jǐn)慎; D:應(yīng)用受限,2020/10/13,21,RCT質(zhì)量評價的Jadad 量表,記分為15分 12分:低質(zhì)量 35分:高質(zhì)量,2020/10/13,22,RCT質(zhì)量評價的Jadad 量表,隨機化方法 2分:通過計算機產(chǎn)生的隨機數(shù)字或類似的方法 1分:試
11、驗描述為隨機試驗,但沒有告知隨機分配產(chǎn)生的方法 0分:如采用交替分配病例或類似方法的半隨機化,2020/10/13,23,RCT質(zhì)量評價的Jadad 量表,盲法: 2分:描述了實施雙盲的具體方法,如使用完全一致的安慰劑或類似的方法 1分:試驗稱為雙盲法,但未交代具體的方法 0分:未采用雙盲法或盲的方法不恰當(dāng),2020/10/13,24,RCT質(zhì)量評價的Jadad 量表,失訪與退出: 1分:具體描述了失訪與退出的數(shù)量和理由 0分:未報告失訪或退出的數(shù)目或理由,2020/10/13,25,觀察性研究質(zhì)量評價的工具,病例對照研究的質(zhì)量評估標(biāo)準(zhǔn) NEWCASTLE - OTTAWA QUALITY A
12、SSESSMENT SCALE CASE CONTROL STUDIES 隊列研究的質(zhì)量評估標(biāo)準(zhǔn) NEWCASTLE - OTTAWA QUALITY ASSESSMENT SCALE COHORT STUDIES -已被Cochrane協(xié)作網(wǎng)的非隨機研究方法學(xué)組用于培訓(xùn)中并推薦使用,2020/10/13,26,圖 病例對照研究原理示意圖,2020/10/13,27,2020/10/13,28,步驟5:提取納入文獻的數(shù)據(jù)信息,研究出處、研究者 研究的內(nèi)容 研究設(shè)計類型、方法 研究對象:量、來源、診斷標(biāo)準(zhǔn)、入選和排除標(biāo)準(zhǔn) 干預(yù)措施:干預(yù)及方法、時間、隨訪期 結(jié)局的測量:指標(biāo)、測定方法、質(zhì)控 結(jié)果
13、數(shù)據(jù)、圖表 結(jié)論,2020/10/13,29,步驟6:資料的統(tǒng)計學(xué)處理,制定統(tǒng)計分析方案 選擇適當(dāng)?shù)男?yīng)指標(biāo) 納入研究之間的異質(zhì)性檢驗 模型選擇及統(tǒng)計分析 效應(yīng)合并值的假設(shè)檢驗與統(tǒng)計推斷 采用圖表表示各個獨立研究及效應(yīng)合并值點估計、區(qū)間估計,2020/10/13,30,步驟6(3):納入研究的異質(zhì)性檢驗,系統(tǒng)評價中研究間任何種類的變異都被稱為異質(zhì)性。 異質(zhì)性檢驗的目的:檢查各個獨立研究的結(jié)果是否具有一致性(可合并性)。 由于Meta分析制定了嚴(yán)格的文獻納入及排除標(biāo)準(zhǔn),確保只有那些具有相同研究目的的文獻納入進來,最大限度地減少了異質(zhì)性來源。 但是由于一些潛在混雜因素的存在,仍有可能出現(xiàn)不同質(zhì)的情
14、況,因此Meta分析前必須進行異質(zhì)性檢驗。,2020/10/13,31,2020/10/13,32,步驟6(3):納入研究的異質(zhì)性檢驗,產(chǎn)生異質(zhì)性的原因: 研究設(shè)計 RCT vs 非隨機對照研究 不同質(zhì)量的研究 臨床設(shè)計 觀察對象:年齡、性別、人種、疾病程度、病程長短 病例的納入和排除標(biāo)準(zhǔn) 干預(yù)措施:劑量、給藥途徑、療程 結(jié)果測量:指標(biāo)、量度、測量時間、測量方法 統(tǒng)計模型及分析方法 不同研究間療效之間的變異 基于數(shù)據(jù)計算的結(jié)果 用不同檢驗得到不同的結(jié)果 不同P值大小結(jié)果的合并,2020/10/13,33,步驟6(3):納入研究的異質(zhì)性檢驗,系統(tǒng)評價中研究間任何種類的變異都被稱為異質(zhì)性。 所研究
15、的受試者、干預(yù)措施和結(jié)局的變異可被稱為臨床多樣性(有時稱為臨床異質(zhì)性); 研究設(shè)計中的多樣性和偏倚風(fēng)險可稱為方法學(xué)多樣性(有時稱為方法學(xué)異質(zhì)性); 在不同研究中所評估的干預(yù)效應(yīng)中的多樣性被稱為統(tǒng)計學(xué)異質(zhì)性,并且它是研究間臨床和/或方法學(xué)多樣性的結(jié)果。 按照慣例,將“統(tǒng)計學(xué)異質(zhì)性”簡稱為“異質(zhì)性”。,2020/10/13,34,系統(tǒng)評價的范圍將在很大程度上決定系統(tǒng)評價納入研究差異的大小。 系統(tǒng)評價通常比單個臨床試驗關(guān)注的范圍更廣 一個常見類比是系統(tǒng)評價將蘋果和橘子放在一起,將他們合并在一起可能產(chǎn)生毫無意義的結(jié)果。 如果關(guān)注蘋果和橘子自身,則這是正確的;但如果他們被用于回答更寬泛的關(guān)于水果的問題,
16、則不正確。,2020/10/13,35,步驟6(3):納入研究的異質(zhì)性檢驗,異質(zhì)性檢驗的方法:Q檢驗法 P0.10認(rèn)為沒有異質(zhì)性 P0.05認(rèn)為有異質(zhì)性定量描述異質(zhì)程度 0.05P0.10為邊緣值 需要注意 納入研究數(shù)目較少,有時不能檢測出異質(zhì)性; 納入研究數(shù)目過多,即使研究間結(jié)果是同質(zhì)的,也可能出現(xiàn)P情況。 對Q檢驗結(jié)果的解釋要慎重!,2020/10/13,36,步驟6(3):納入研究的異質(zhì)性檢驗,I2:異質(zhì)性的定量分析 I2值的取值范圍:從0%至100% 0%時無異質(zhì)性,I2值越大,異質(zhì)性越大; 0%至40%,可能不重要; 30%至60%,可能存在中度異質(zhì)性; 50%至90%,可能存在實質(zhì)
17、性異質(zhì)性; 75%至100%,存在較大異質(zhì)性。 小于70可接受,超過70則建議分開描述,不合并。100% I2描述了去除抽樣誤差(機遇)后的異質(zhì)性。,Q:卡方統(tǒng)計量 df:自由度,2020/10/13,37,步驟6(3):納入研究的異質(zhì)性檢驗,對異質(zhì)性的處理: 重新檢查數(shù)據(jù)的提取是否準(zhǔn)確; ? ?放棄/忽略/探索異質(zhì)性; 造成異質(zhì)性的原因明確大可將部分研究排除; 選擇不同處理模型 各研究的結(jié)果同質(zhì),可以采用固定效應(yīng)模型; 各研究的結(jié)果不同質(zhì),可以采用隨機效應(yīng)模型或放棄Meta分析; 異質(zhì)性檢驗的統(tǒng)計量在邊緣值附近,最好同時采用上述兩種模型分別進行計算后做出分析判斷。,2020/10/13,38
18、,圖 Meta分析中異質(zhì)性資料處理的方法,放棄,2020/10/13,39,異質(zhì)性分析與統(tǒng)計模型,2020/10/13,40,步驟6(4):模型選擇及統(tǒng)計分析,2020/10/13,41,計算 太多數(shù)學(xué)的內(nèi)容,有很多計算機軟件可以實現(xiàn)。比較權(quán)威而且免費: RevMan 5.2.6 RevMan_5.2_User_Guide 常用軟件SAS、STATA也可以,步驟6(4) :模型選擇及統(tǒng)計分析,2020/10/13,42,2020/10/13,43,2020/10/13,44,2020/10/13,45,2020/10/13,46,步驟6(6):采用圖表表示研究結(jié)果,森林圖(forest plo
19、ts)是展示Meta分析結(jié)果的標(biāo)準(zhǔn)方式,它在平面直角坐標(biāo)系中,以一條垂直的無效線(橫坐標(biāo)刻度為1或0)為中心,用平行于橫軸的多條線段描述了每個被納入研究的效應(yīng)量和可信區(qū)間,用一個棱形(或其它圖形)描述了多個研究合并的效應(yīng)量及可信區(qū)間。 森林圖是以統(tǒng)計指標(biāo)和統(tǒng)計分析方法為基礎(chǔ),用數(shù)值運算結(jié)果繪制出的圖型。 它非常簡單和直觀地描述了Meta分析的統(tǒng)計結(jié)果。,2020/10/13,47,步驟6(6):采用圖表表示研究結(jié)果,研究結(jié)果(線寬表示其95%CI),研究結(jié)果點估計值,其大小代表該研究在Meta分析中的權(quán)重,各個研究合并后的效應(yīng)估計,無效應(yīng)線,異質(zhì)性檢驗,P0.05同質(zhì),總效應(yīng)檢驗, P0.05
20、合并效應(yīng)量無統(tǒng)計學(xué)意義,I2指數(shù):異質(zhì)性部分在總變異中所占的比重,反映異質(zhì)性的嚴(yán)重程度。 I250%,存在比較明顯的異質(zhì)性。,權(quán)重指該指標(biāo)在整體評價中的相對重要程度,多用各研究內(nèi)方差的倒數(shù)。,2020/10/13,48,步驟7:敏感性分析,敏感性分析(sensitivity analysis) 概念:指在排除結(jié)果異常的研究后,重新進行Meta分析的結(jié)果并與未排除前的結(jié)果進行比較,以探討該研究對合并效應(yīng)量的影響程度及結(jié)果可靠性。 目的:用于評價一定假設(shè)條件下所獲效應(yīng)合并值的穩(wěn)定性。,2020/10/13,49,步驟7:敏感性分析,敏感性分析的方法 按不同研究特征對納入的文獻進行分層Meta分析,
21、比較合并效應(yīng)間有無顯著性差異; 采用不同模型計算效應(yīng)合并值點估計和區(qū)間估計,比較合并效應(yīng)間有無顯著性差異; 從納入研究中剔除質(zhì)量相對較差的文獻后重新進行Meta分析,比較前后合并效應(yīng)間有無顯著性差異; 改變研究的納入和剔除標(biāo)準(zhǔn)后,對納入的研究重新進行Meta分析,比較合并效應(yīng)間有無顯著性差異。,2020/10/13,50,步驟8:形成結(jié)果報告,課題研究的背景和對象; 資料檢索的方法; 統(tǒng)計分析的方法; 結(jié)果報告; 討論。,2020/10/13,51,三、偏倚的種類和控制,Meta分析結(jié)果的評價標(biāo)準(zhǔn): Meta分析提出的臨床問題是否敏感?效應(yīng)指標(biāo)應(yīng)在生物學(xué)上是唯一的,不是模棱兩可的; 文獻檢索方
22、法是否詳盡清楚? 原始文獻的納入標(biāo)準(zhǔn)是否合適? 是否對每個納入研究都逐一進行了真實性評價;評價結(jié)果的可重復(fù)性如何? 結(jié)果合并是否合適?,2020/10/13,52,三、偏倚的種類和控制,(一)偏倚的種類 報告偏倚 一旦研究結(jié)論的傳播受種種結(jié)果自身特性及其指向的影響,就會產(chǎn)生報告偏倚。 文獻庫偏倚 檢索策略或檢索工具不具有代表性 納入標(biāo)準(zhǔn)偏倚 目前尚無公認(rèn)的研究納入的統(tǒng)一標(biāo)準(zhǔn) 英語偏倚,2020/10/13,53,2020/10/13,54,抗憂郁藥品臨床試驗論文的選擇性發(fā)表,在74個FDA注冊的研究中,約有 31% 即3449位臨床試驗的參試者的數(shù)據(jù)結(jié)果并沒有公布; 經(jīng)FDA審核被認(rèn)為具有正面
23、結(jié)果的37個臨床研究均被發(fā)表,另有一項具有正結(jié)果的臨床試驗未被發(fā)表; 那些未取得正結(jié)果的臨床試驗,除了三個被發(fā)表,其他30多項,有22項未發(fā)表公布,11項通過正面解釋的方式被發(fā)表; 根據(jù)公布的文獻,有94%的臨床試驗顯示正結(jié)果。相比之下,美國食品藥品管理局?jǐn)?shù)據(jù)分析顯示,只有51%的臨床試驗是正結(jié)果。 NEJM, 2008, 358: 252-260,2020/10/13,55,三、偏倚的種類和控制,(二)偏倚的測量 敏感性分析 進行徹底的敏感性分析,是檢查上述偏倚的最佳途徑; 如果敏感性分析前后結(jié)果差別不大,表明最初的Meta分析的結(jié)果較為可靠; 如果分析前后的結(jié)果不一致,則在解釋結(jié)果和下結(jié)論時應(yīng)慎重,提示可能有潛在的因素影響,需進一步研究明確。,2020/10/13,56,三、偏倚的種類和控制,(二)偏倚的測量 漏斗圖(funnel plot):識別有無發(fā)表偏倚 以效應(yīng)值作為橫坐標(biāo),樣本含量作為縱坐標(biāo)繪制散點圖。 如果沒有偏倚,該散點圖會像一
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 營養(yǎng)障礙性疾病診療與護理考核試題及答案
- 油漆工安全操作規(guī)程
- 英語閱讀訓(xùn)練調(diào)查及分析
- 優(yōu)化有限空間作業(yè)的專項計劃
- 智能交通行業(yè)中小企業(yè)勞動合同規(guī)范
- 電子商務(wù)平臺保證金合同
- 草牧場承包權(quán)流轉(zhuǎn)與農(nóng)業(yè)現(xiàn)代化實施合同
- 出租自住合并方案
- 高速公路草料運輸通行費優(yōu)惠政策合同
- 消系統(tǒng)施工方案
- DL∕T 5161.5-2018 電氣裝置安裝工程質(zhì)量檢驗及評定規(guī)程 第5部分:電纜線路施工質(zhì)量檢驗
- 綠化養(yǎng)護服務(wù)投標(biāo)方案(技術(shù)標(biāo))
- 湖北武漢洪山區(qū)招考聘用社區(qū)干事235人模擬檢測試卷【共1000題含答案解析】
- 肺栓塞的診斷和治療
- DB4451-T 1-2021《地理標(biāo)志產(chǎn)品+鳳凰單叢(樅)茶》-(高清現(xiàn)行)
- 信訪工作課品課件
- 加油站火災(zāi)、爆炸事故現(xiàn)場處置方案
- IPQC技能培訓(xùn)
- 2022年(詳細版)高中數(shù)學(xué)學(xué)業(yè)水平考試知識點
- 常用樂高零件清單
- 蛋糕制作工藝課件(PPT81張)
評論
0/150
提交評論