




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、(一)三層神經(jīng)網(wǎng)絡(luò)1) 該模型的參數(shù)通過兩個(gè)步驟訓(xùn)練獲得:在該網(wǎng)絡(luò)的第一層,將輸入映射至隱藏單元激活量的權(quán)值可以通過稀疏自編碼器訓(xùn)練過程獲得。在第二層,將隱藏單元映射至輸出的權(quán)值可以通過 logistic 回歸或 softmax 回歸訓(xùn)練獲得。2) 在描述上述過程時(shí),假設(shè)采用了“替代 (Replacement)”表示而不是“級(jí)聯(lián) (Concatenation)”表示。在替代表示中,logistic 分類器所看到的訓(xùn)練樣本格式為;而在級(jí)聯(lián)表示中,分類器所看到的訓(xùn)練樣本格式為。在級(jí)聯(lián)表示神經(jīng)網(wǎng)絡(luò)中,輸入值也直接被輸入至 logistic 分類器。3) 在訓(xùn)練獲得模型最初參數(shù)(利用自動(dòng)編碼器訓(xùn)練第一
2、層,利用 logistic/softmax 回歸訓(xùn)練第二層)之后,可以進(jìn)一步修正模型參數(shù),進(jìn)而降低訓(xùn)練誤差。具體來說,可以對(duì)參數(shù)進(jìn)行微調(diào),在現(xiàn)有參數(shù)的基礎(chǔ)上采用梯度下降或者 L-BFGS 來降低已標(biāo)注樣本集上的訓(xùn)練誤差。 微調(diào)的作用在于,已標(biāo)注數(shù)據(jù)集也可以用來修正權(quán)值,這樣可以對(duì)隱藏單元所提取的特征做進(jìn)一步調(diào)整。 對(duì)于微調(diào)來說,級(jí)聯(lián)表示相對(duì)于替代表示幾乎沒有優(yōu)勢(shì)。因此,如果需要開展微調(diào),通常使用替代表示的網(wǎng)絡(luò)。但是如果不開展微調(diào),級(jí)聯(lián)表示的效果有時(shí)候會(huì)好得多。 通常僅在有大量已標(biāo)注訓(xùn)練數(shù)據(jù)的情況下使用微調(diào)。在這樣的情況下,微調(diào)能顯著提升分類器性能。如果有大量未標(biāo)注數(shù)據(jù)集(用于非監(jiān)督特征學(xué)習(xí)/預(yù)
3、訓(xùn)練),卻只有相對(duì)較少的已標(biāo)注訓(xùn)練集,微調(diào)的作用非常有限。(二)深度網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò),即含有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)。通過引入深度網(wǎng)絡(luò),可以計(jì)算更多復(fù)雜的輸入特征。因?yàn)槊恳粋€(gè)隱藏層可以對(duì)上一層的輸出進(jìn)行非線性變換,因此深度神經(jīng)網(wǎng)絡(luò)擁有比“淺層”網(wǎng)絡(luò)更加優(yōu)異的表達(dá)能力。1. 深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)1) 當(dāng)訓(xùn)練深度網(wǎng)絡(luò)的時(shí)候,每一層隱層應(yīng)該使用非線性的激活函數(shù)。這是因?yàn)槎鄬拥木€性函數(shù)組合在一起本質(zhì)上也只有線性函數(shù)的表達(dá)能力(例如,將多個(gè)線性方程組合在一起僅僅產(chǎn)生另一個(gè)線性方程)。因此,在激活函數(shù)是線性的情況下,相比于單隱藏層神經(jīng)網(wǎng)絡(luò),包含多隱藏層的深度網(wǎng)絡(luò)并沒有增加表達(dá)能力。2) 深度網(wǎng)絡(luò)最主要的優(yōu)勢(shì)在于
4、,它能以更加緊湊簡(jiǎn)潔的方式來表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)集合。即可以找到一些函數(shù),這些函數(shù)可以用層網(wǎng)絡(luò)簡(jiǎn)潔地表達(dá)出來(這里的簡(jiǎn)潔是指隱層單元的數(shù)目只需與輸入單元數(shù)目呈多項(xiàng)式關(guān)系)。但是對(duì)于一個(gè)只有層的網(wǎng)絡(luò)而言,除非它使用與輸入單元數(shù)目呈指數(shù)關(guān)系的隱層單元數(shù)目,否則不能簡(jiǎn)潔表達(dá)這些函數(shù)。3) 當(dāng)處理對(duì)象是圖像時(shí),使用深度網(wǎng)絡(luò),能夠?qū)W習(xí)到“部分-整體”的分解關(guān)系。例如,第一層可以學(xué)習(xí)如何將圖像中的像素組合在一起來檢測(cè)邊緣,第二層可以將邊緣組合起來檢測(cè)更長(zhǎng)的輪廓或者簡(jiǎn)單的“目標(biāo)的部件”,在更深的層次上,可以將這些輪廓進(jìn)一步組合起來以檢測(cè)更為復(fù)雜的特征。這種分層計(jì)算很好地模仿了大腦皮層對(duì)輸入信息的處理方
5、式。視覺圖像在人腦中是分多個(gè)階段進(jìn)行處理的,首先是進(jìn)入大腦皮層的“V1”區(qū),然后緊跟著進(jìn)入大腦皮層“V2”區(qū),以此類推。2. 訓(xùn)練深度網(wǎng)絡(luò)的困難目前主要使用的學(xué)習(xí)算法是:首先隨機(jī)初始化深度網(wǎng)絡(luò)的權(quán)重,然后使用有監(jiān)督的目標(biāo)函數(shù)在有標(biāo)簽的訓(xùn)練集上進(jìn)行訓(xùn)練。其中通過使用梯度下降法來降低訓(xùn)練誤差,這種方法通常不是十分湊效。1) 數(shù)據(jù)獲取問題使用上面提到的方法,需要依賴于有標(biāo)簽的數(shù)據(jù)才能進(jìn)行訓(xùn)練。然而有標(biāo)簽的數(shù)據(jù)通常是稀缺的,因此對(duì)于許多問題,我們很難獲得足夠多的樣本來擬合一個(gè)復(fù)雜模型的參數(shù)。例如,考慮到深度網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力,在不充足的數(shù)據(jù)上進(jìn)行訓(xùn)練將會(huì)導(dǎo)致過擬合。2) 局部極值問題使用監(jiān)督學(xué)習(xí)方
6、法來對(duì)淺層網(wǎng)絡(luò)(只有一個(gè)隱藏層)進(jìn)行訓(xùn)練通常能夠使參數(shù)收斂到合理的范圍內(nèi)。但是當(dāng)用這種方法來訓(xùn)練深度網(wǎng)絡(luò)的時(shí)候,并不能取得很好的效果。特別的,使用監(jiān)督學(xué)習(xí)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),通常會(huì)涉及到求解一個(gè)高度非凸的優(yōu)化問題。對(duì)深度網(wǎng)絡(luò)而言,這種非凸優(yōu)化問題的搜索區(qū)域中充斥著大量“壞”的局部極值,因而使用梯度下降法(或者像共軛梯度下降法,L-BFGS等方法)效果并不好。3) 梯度彌散問題梯度下降法(以及相關(guān)的L-BFGS算法等)在使用隨機(jī)初始化權(quán)重的深度網(wǎng)絡(luò)上效果不好的技術(shù)原因是:梯度會(huì)變得非常小。具體而言,當(dāng)使用反向傳播方法計(jì)算導(dǎo)數(shù)的時(shí)候,隨著網(wǎng)絡(luò)的深度的增加,反向傳播的梯度(從輸出層到網(wǎng)絡(luò)的最初幾層)
7、的幅度值會(huì)急劇地減小。結(jié)果就造成了整體的損失函數(shù)相對(duì)于最初幾層的權(quán)重的導(dǎo)數(shù)非常小。這樣,當(dāng)使用梯度下降法的時(shí)候,最初幾層的權(quán)重變化非常緩慢,以至于它們不能夠從樣本中進(jìn)行有效的學(xué)習(xí)。這種問題通常被稱為“梯度的彌散”.與梯度彌散問題緊密相關(guān)的問題是:當(dāng)神經(jīng)網(wǎng)絡(luò)中的最后幾層含有足夠數(shù)量神經(jīng)元的時(shí)候,可能單獨(dú)這幾層就足以對(duì)有標(biāo)簽數(shù)據(jù)進(jìn)行建模,而不用最初幾層的幫助。因此,對(duì)所有層都使用隨機(jī)初始化的方法訓(xùn)練得到的整個(gè)網(wǎng)絡(luò)的性能將會(huì)與訓(xùn)練得到的淺層網(wǎng)絡(luò)(僅由深度網(wǎng)絡(luò)的最后幾層組成的淺層網(wǎng)絡(luò))的性能相似。3.逐層貪婪訓(xùn)練方法逐層貪婪訓(xùn)練方法是訓(xùn)練深度網(wǎng)絡(luò)取得一定成功的一種方法。簡(jiǎn)單來說,逐層貪婪算法的主要思路
8、是: 每次只訓(xùn)練網(wǎng)絡(luò)中的一層,即首先訓(xùn)練一個(gè)只含一個(gè)隱藏層的網(wǎng)絡(luò),僅當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個(gè)有兩個(gè)隱藏層的網(wǎng)絡(luò),以此類推。 在每一步中,把已經(jīng)訓(xùn)練好的前層固定,然后增加第層(也就是將已經(jīng)訓(xùn)練好的前的輸出作為輸入)。 每一層的訓(xùn)練可以是有監(jiān)督的(例如,將每一步的分類誤差作為目標(biāo)函數(shù)),但更通常使用無監(jiān)督方法(例如自動(dòng)編碼器)。 這些各層單獨(dú)訓(xùn)練所得到的權(quán)重被用來初始化最終(或者說全部)的深度網(wǎng)絡(luò)的權(quán)重,然后對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行“微調(diào)”(即把所有層放在一起來優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差)。逐層貪婪的訓(xùn)練方法取得成功要?dú)w功于以下兩方面: 數(shù)據(jù)獲取雖然獲取有標(biāo)簽數(shù)據(jù)的代價(jià)是昂貴的,但獲取大量的無
9、標(biāo)簽數(shù)據(jù)是容易的。自學(xué)習(xí)方法的潛力在于它能通過使用大量的無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)到更好的模型。具體而言,該方法使用無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)得到所有層(不包括用于預(yù)測(cè)標(biāo)簽的最終分類層)的最佳初始權(quán)重。相比純監(jiān)督學(xué)習(xí)方法,這種自學(xué)習(xí)方法能夠利用多得多的數(shù)據(jù),并且能夠?qū)W習(xí)和發(fā)現(xiàn)數(shù)據(jù)中存在的模式。因此該方法通常能夠提高分類器的性能。 更好的局部極值當(dāng)用無標(biāo)簽數(shù)據(jù)訓(xùn)練完網(wǎng)絡(luò)后,相比于隨機(jī)初始化而言,各層初始權(quán)重會(huì)位于參數(shù)空間中較好的位置上。然后我們可以從這些位置出發(fā)進(jìn)一步微調(diào)權(quán)重。從經(jīng)驗(yàn)上來說,以這些位置為起點(diǎn)開始梯度下降更有可能收斂到比較好的局部極值點(diǎn),這是因?yàn)闊o標(biāo)簽數(shù)據(jù)已經(jīng)提供了大量輸入數(shù)據(jù)中包含的模式的先驗(yàn)信息。
10、(三)卷積特征提取和池化1)全聯(lián)通網(wǎng)絡(luò)把輸入層和隱含層進(jìn)行“全連接”的設(shè)計(jì),從整幅圖像中計(jì)算特征,從計(jì)算的角度來講,對(duì)相對(duì)較小的圖像是可行的。但是,如果是更大的圖像,要通過全聯(lián)通網(wǎng)絡(luò)的這種方法來學(xué)習(xí)整幅圖像上的特征,將是非常耗時(shí)。2)部分聯(lián)通網(wǎng)絡(luò)解決以上問題的一種簡(jiǎn)單方法是對(duì)隱含單元和輸入單元間的連接加以限制:每個(gè)隱含單元僅僅只能連接輸入單元的一部分。例如,每個(gè)隱含單元僅僅連接輸入圖像的一小片相鄰區(qū)域。網(wǎng)絡(luò)部分連通的思想,也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的(即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激)。3)卷積自然圖像有其固有特性,也就是說,圖像的一部分的統(tǒng)計(jì)特
11、性與其他部分是一樣的。這也意味著我們?cè)谶@一部分學(xué)習(xí)的特征也能用在另一部分上,所以對(duì)于這個(gè)圖像上的所有位置,都能使用同樣的學(xué)習(xí)特征。當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊,比如說 8x8 作為樣本,并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征,這時(shí)可以把從這個(gè) 8x8 樣本中學(xué)習(xí)到的特征作為探測(cè)器,應(yīng)用到這個(gè)圖像的任意地方中去。特別是,可以用從 8x8 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積,從而對(duì)這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。實(shí)例:假設(shè)已經(jīng)從一個(gè) 96x96 的圖像中學(xué)習(xí)到了它的一個(gè) 8x8 的樣本所具有的特征,假設(shè)這是由有 100 個(gè)隱含單元的自編碼完成的。為了得到卷積特征,
12、需要對(duì) 96x96 的圖像的每個(gè) 8x8 的小塊圖像區(qū)域都進(jìn)行卷積運(yùn)算。也就是說,抽取 8x8 的小塊區(qū)域,并且從起始坐標(biāo)開始依次標(biāo)記為(1,1),(1,2),.,一直到(89,89),然后對(duì)抽取的區(qū)域逐個(gè)運(yùn)行訓(xùn)練過的稀疏自編碼來得到特征的激活值。在這個(gè)例子里,顯然可以得到 100 個(gè)集合,每個(gè)集合含有 89x89 個(gè)卷積特征。假設(shè)給定了的大尺寸圖像,將其定義為xlarge。首先通過從大尺寸圖像中抽取的的小尺寸圖像樣本xsmall訓(xùn)練稀疏自編碼,計(jì)算f= (W(1)xsmall+b(1)(是一個(gè) sigmoid 型函數(shù))得到了k個(gè)特征, 其中W(1)和b(1)是可視層單元和隱含單元之間的權(quán)重和
13、偏差值。對(duì)于每一個(gè)大小的小圖像xs,計(jì)算出對(duì)應(yīng)的值fs= (W(1)xs+b(1),對(duì)這些fconvolved值做卷積,就可以得到個(gè)卷積后的特征的矩陣。4)池化在通過卷積獲得了特征 之后,下一步是要利用這些特征去做分類。理論上講,可以用所有提取得到的特征去訓(xùn)練分類器,例如 softmax 分類器,但這樣做面臨計(jì)算量的挑戰(zhàn)。例如:對(duì)于一個(gè) 96X96 像素的圖像,假設(shè)已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征,每一個(gè)特征和圖像卷積都會(huì)得到一個(gè)(96 8 + 1) * (96 8 + 1) = 7921維的卷積特征,由于有 400 個(gè)特征,所以每個(gè)樣例都會(huì)得到一個(gè)7921* 400 = 3,1
14、68,400維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便,并且容易出現(xiàn)過擬合。為了解決這個(gè)問題,即為了描述大的圖像,一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì),例如,人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值 (或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征),同時(shí)還會(huì)改善結(jié)果(不容易過擬合)。這種聚合的操作就叫做池化 (pooling),有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法)。池化的不變性如果選擇圖像中的連續(xù)范圍作為池化區(qū)域,并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征,那么,這些池化單元就具有平移不變性
15、。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后,依然會(huì)產(chǎn)生相同的 (池化的) 特征。形式化描述形式上,在獲取到卷積特征后,就要確定池化區(qū)域的大小(假定為),來池化卷積特征。那么,把卷積特征劃分到數(shù)個(gè)大小為的不相交區(qū)域上,然后用這些區(qū)域的平均(或最大)特征來獲取池化后的卷積特征。這些池化后的特征便可以用來做分類。(四)白化為了使每個(gè)輸入特征具有單位方差,可以直接使用作為縮放因子來縮放每個(gè)特征。具體地,定義白化后的數(shù)據(jù)如下:是數(shù)據(jù)經(jīng)過PCA白化后的版本:中不同的特征之間不相關(guān)并且具有單位方差。白化與降維相結(jié)合: 如果想要得到經(jīng)過白化后的數(shù)據(jù),并且比初始輸入維數(shù)更低,可以僅保留中前個(gè)成分。當(dāng)我們把PCA
16、白化和正則化結(jié)合起來時(shí),中最后的少量成分將總是接近于0,因而舍棄這些成分不會(huì)帶來很大的問題。1) ZCA白化數(shù)據(jù)的協(xié)方差矩陣變?yōu)閱挝痪仃嚨姆绞讲⒉晃ㄒ?。具體地,如果是任意正交矩陣,即滿足(說它正交不太嚴(yán)格,可以是旋轉(zhuǎn)或反射矩陣), 那么仍然具有單位協(xié)方差。在ZCA白化中,令。我們定義ZCA白化的結(jié)果為:可以證明,對(duì)所有可能的,這種旋轉(zhuǎn)使得盡可能地接近原始輸入數(shù)據(jù)。當(dāng)使用 ZCA白化時(shí)(不同于 PCA白化),我們通常保留數(shù)據(jù)的全部個(gè)維度,不嘗試去降低它的維數(shù)。2) 正則化實(shí)踐中需要實(shí)現(xiàn)PCA白化或ZCA白化時(shí),有時(shí)一些特征值在數(shù)值上接近于0,這樣在縮放步驟時(shí)我們除以將導(dǎo)致除以一個(gè)接近0的值;這可
17、能使數(shù)據(jù)上溢 (賦為大數(shù)值)或造成數(shù)值不穩(wěn)定。因而在實(shí)踐中,使用少量的正則化實(shí)現(xiàn)這個(gè)縮放過程,即在取平方根和倒數(shù)之前給特征值加上一個(gè)很小的常數(shù):當(dāng)在區(qū)間上時(shí), 一般取值為。對(duì)圖像來說, 這里加上,對(duì)輸入圖像也有一些平滑(或低通濾波)的作用。這樣處理還能消除在圖像的像素信息獲取過程中產(chǎn)生的噪聲,改善學(xué)習(xí)到的特征。ZCA 白化是一種數(shù)據(jù)預(yù)處理方法,它將數(shù)據(jù)從映射到。 事實(shí)證明這也是一種生物眼睛(視網(wǎng)膜)處理圖像的粗糙模型。具體而言,當(dāng)你的眼睛感知圖像時(shí),由于一幅圖像中相鄰的部分在亮度上十分相關(guān),大多數(shù)臨近的“像素”在眼中被感知為相近的值。因此,如果人眼需要分別傳輸每個(gè)像素值(通過視覺神經(jīng))到大腦中,會(huì)非常不劃算。取而代之的是,視網(wǎng)膜進(jìn)行一個(gè)與ZCA中相似的去相關(guān)操作 (這是由視網(wǎng)膜上的ON-型和OFF-
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025至2030中國男士襯衣行業(yè)發(fā)展分析及競(jìng)爭(zhēng)格局與發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告
- 2025至2030中國生姜產(chǎn)品行業(yè)市場(chǎng)占有率及投資前景評(píng)估規(guī)劃報(bào)告
- 2025至2030中國甑炭行業(yè)需求動(dòng)態(tài)及發(fā)展前景研究報(bào)告
- 點(diǎn)菜技巧培訓(xùn)
- 新人法律培訓(xùn)
- 商業(yè)成功背后的學(xué)生動(dòng)機(jī)分析
- 校園智慧體育設(shè)施的建設(shè)現(xiàn)狀及挑戰(zhàn)
- 情緒智力在教育心理學(xué)中的核心地位
- 醫(yī)療行業(yè)中的科技應(yīng)用與師資培訓(xùn)模式研究
- 商業(yè)環(huán)境下的教育創(chuàng)新與青少年運(yùn)動(dòng)培訓(xùn)的融合研究
- 鋼筋工培訓(xùn)課件
- DB31T 1564-2025企業(yè)實(shí)驗(yàn)室危險(xiǎn)化學(xué)品安全管理規(guī)范
- 學(xué)生公寓維修改造工程施工組織設(shè)計(jì)
- 2025年福建信息職業(yè)技術(shù)學(xué)院高職單招語文2019-2024歷年真題考點(diǎn)試卷含答案解析
- 2024年生活方式酒店研究報(bào)告
- 電影院放映設(shè)備安全操作與維護(hù)
- (高清版)DB11∕T2274-2024水務(wù)工程施工現(xiàn)場(chǎng)安全生產(chǎn)管理導(dǎo)則
- 2024年貴州省普通高中學(xué)業(yè)水平選擇性考試地理試題(原卷版+解析版)
- 中學(xué)高中部教學(xué)樓及食堂建設(shè)項(xiàng)目初步設(shè)計(jì)說明書
- 2022肝癌晚期病人肺栓塞護(hù)理學(xué)習(xí)學(xué)習(xí)
- 2025年1月國家開放大學(xué)行管專科《行政組織學(xué)》期末紙質(zhì)考試試題及答案
評(píng)論
0/150
提交評(píng)論