2023中文BERT選擇手冊

中文BERT眾所周知，像T這樣的大型預訓練模型通常會有上億個參數(shù)，受累于龐大的模型大小和高延遲時間，使得這些龐大的模型無法部署到移動設備之上。而T則是經(jīng)過壓縮和加速的T模型。像一樣，與任務無關(guān)，也就是說，可以通過簡單的微調(diào)將其通用地應用于各種下游任務。是的精簡版本，同時具有精心設計的自注意力與前饋網(wǎng)絡之間的平衡。為了訓練，首先訓練一個專門設計的教師模型，該模型是模型。然后，實現(xiàn)從該老師模型到的知識遷移。經(jīng)驗研究表明，比小倍，快倍，同時在基準測試中獲得了有相當競爭力的結(jié)果。在的自然語言推理任務上，T的得分為（比s低），在xl手機上的延遲為毫秒。在Dv1v問題解答任務上，的v得分為0（比高5）。1自監(jiān)督模型為自然語言處理技術(shù)帶來了新的革命的同時，也帶來了許多問題：像BERT模時間，BERT模型往往無法部署到資源有限的移動設備之上，實現(xiàn)機器翻譯，對話建模等在實現(xiàn)過程中，首先將BERT進行與任務無關(guān)的壓縮，然后再進行與任務相關(guān)的壓縮，將BERT模型微調(diào)為特定任務的教師（Teacher）模型，然后再進行數(shù)據(jù)蒸餾，這一過程比獲得與任務無關(guān)的緊湊型似乎并不難，只需要采用較窄或更淺的版本，并通訓練難度會更大。圖1三種模型架構(gòu)比較（a）BERT(bIB-BERTc)低0.6），在Pixel4手機上的延遲為62毫秒。在SQuADv1.1/v2.0問題解答任務上，MobileBERT的devF1得分為90.0/79.2（比BERTBASE高1.5/2.1）。2MobileBERTMobileBERT的設計架構(gòu)和參數(shù)設置如下表所示，表中的設置是在大量實驗的基礎上獲得表11.的體系結(jié)構(gòu)如圖（c）所示。它的深度與一樣深，但是每個構(gòu)件都變得更小。如表變換，以將其輸入和輸出尺寸調(diào)整為，將這種架構(gòu)稱為瓶頸。行訓練，然后再從該教師網(wǎng)絡向進行知識轉(zhuǎn)移。這比直接從頭訓練更好。教師網(wǎng)絡的體系結(jié)構(gòu)設計，如圖（）所示。實際上，教師網(wǎng)絡只是。在此，將教師網(wǎng)絡稱為。注意，和具有相同的要素特征映射大小，即。因此，可以對和之間的分層輸出差異直接進行比較。1.1.刪除層歸一化用元素線性變換替換n通道隱含狀態(tài)hNoNorm（h）=γ?h+β其中γ，β∈和〇表示Hadamard積。注意，即使在測試模式下，NoNorm采用relurelu激活代替了gelu激活。1.BERT模型中的嵌入表占模型大小的很大比例。如表5-251.其中A是注意力的頭數(shù)（多頭注意力機制）其中，α為0~13IB-BERT老師的中級知識（即注意力映射和特征映射）可能不是圖2圖2三種訓練策略的方框圖（a）輔助知識傳遞(AKT(b聯(lián)合知識傳遞(JKT)(c)漸進知識按照表1的配置進行實驗，將MobileBERT的實驗結(jié)果和其它模型訓練結(jié)果進行比對。通過大量的實驗，找出了最優(yōu)的模型設置，以SQuADvl.ldevFI得分作為模型設置的性能指標。在這里，僅以2048個批次的大小訓練模型125,000BERT的訓練設置基礎4表2IB-BERTLARGEteacherF1MobileBERT5.5.4.5和一樣，使用kss和英文維基百科（shk）作為預訓練數(shù)據(jù)。為了使老師達到與原始相同的精度，在個Uv芯片上訓練了，步長為k，批量大小為，并使用了優(yōu)化器。為了與進行比較，沒有在其他變體中使用訓練技巧。對于，在預訓練蒸餾階段使用相同的設置。此外，當使用漸進式知識傳遞來訓練時，在層上需要額外增加萬步。為