人工智能 算子接口 第2部分：神經(jīng)網(wǎng)絡(luò)類 征求意見稿

1GB/TXXXXX.2—XXXX人工智能算子接口第2部分：神經(jīng)網(wǎng)絡(luò)類本文件規(guī)定了面向人工智能領(lǐng)域的神經(jīng)網(wǎng)絡(luò)類算子接口的基本功能和參數(shù)的要求。本文件適用于人工智能算子庫的設(shè)計、開發(fā)與應(yīng)用，也可用于指導(dǎo)人工智能領(lǐng)域計算框架與算子庫和芯片的系統(tǒng)集成與開發(fā)。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/TXXXX.1—XXXX人工智能算子接口第1部分：基礎(chǔ)數(shù)學(xué)類3術(shù)語和定義GB/TXXXX.1—XXXX中界定的以及下列術(shù)語和定義適用于本文件。3.1神經(jīng)網(wǎng)絡(luò)neuralnetwork一種網(wǎng)絡(luò)，由帶可調(diào)權(quán)重的加權(quán)鏈路將各原始處理元互連，通過對輸入值使用非線性函數(shù)使每個元素都產(chǎn)生一個值，然后將此值傳到其他元素，或表示為一個輸出值。3.2神經(jīng)網(wǎng)絡(luò)模型neural-networkmodel神經(jīng)網(wǎng)絡(luò)的抽象模型，它能用軟件來模擬或作為神經(jīng)計算機加以實現(xiàn)。3.3遞歸神經(jīng)網(wǎng)絡(luò)recursiveneuralnetwork具有樹狀層次結(jié)構(gòu)，網(wǎng)絡(luò)節(jié)點按其連接順序?qū)斎胄畔⑦M行遞歸的人工神經(jīng)網(wǎng)絡(luò)。3.4模型訓(xùn)練modeltraining利用訓(xùn)練數(shù)據(jù)，基于機器算法，建立或改進機器學(xué)習(xí)模型參數(shù)的過程3.5模型推理machinelearninginference2GB/TXXXXX.2—XXXX采用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)或概率統(tǒng)計模型處理數(shù)據(jù)，獲取預(yù)測結(jié)果的過程。3.6過擬合overfitting創(chuàng)建的模型由于學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中和與任務(wù)無關(guān)的部分而無法泛化新數(shù)據(jù)。4縮略語下列縮略語適用于本文件：RNN:遞歸神經(jīng)網(wǎng)絡(luò)(recursiveneuralnetwork)LSTM:長短期記憶網(wǎng)絡(luò)(LongShort-TermMemory)GRU:門控遞歸單元網(wǎng)絡(luò)(GatedRecurrentUnit)5總則本章內(nèi)容應(yīng)符合GB/TXXXX.1—XXXX《人工智能算子接口第1部分：基礎(chǔ)數(shù)學(xué)類》中第5章要求。6數(shù)據(jù)結(jié)構(gòu)本章內(nèi)容應(yīng)符合GB/TXXXX.1—XXXX《人工智能算子接口第1部分：基礎(chǔ)數(shù)學(xué)類》中第6章要求。7神經(jīng)網(wǎng)絡(luò)類算子接口7.1接口列表神經(jīng)網(wǎng)絡(luò)類算子接口列表見表1。表1神經(jīng)網(wǎng)絡(luò)類算子接口列表歸一化指數(shù)函數(shù)，線性整流單元，帶閾值的線性元，帶泄漏線性整流單元，帶參數(shù)線性整流單元swish函數(shù)，hardswish函數(shù)，誤差函數(shù)，hardshri稀疏交叉熵?fù)p失函數(shù)，負(fù)對數(shù)損失函數(shù)，負(fù)對數(shù)似然損失失函數(shù)，平滑L1損失函數(shù)，KL散度損失函數(shù)，軟間隔批量歸一化操作，分組歸一化操作，層歸一化操作，局部相應(yīng)歸一化操作，L2歸一化操作，Lp范數(shù)歸一化3GB/TXXXXX.2—XXXX表1神經(jīng)網(wǎng)絡(luò)類算子接口列表（續(xù)）優(yōu)化器，CenteredRMSProp優(yōu)化器，Adam優(yōu)化器，7.2接口操作和參數(shù)7.2.1激活函數(shù)S型函數(shù).1功能計算輸入張量的sigmoid值，見式（1）。yi=1/(1+exp?xi).......................................................................(1)式中：x--表示輸入張量；y--表示輸出張量；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)。.2前向接口參數(shù)S型函數(shù)前向接口應(yīng)符合表2，C代碼示例見A.2.1.1。表2S型函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)4GB/TXXXXX.2—XXXXS型函數(shù)后向接口應(yīng)符合表3，C代碼示例見A.2.1.1。表3S型函數(shù)后向接口參數(shù)列表.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。對數(shù)S型函數(shù).1功能對數(shù)S型激活函數(shù)。計算輸入張量每個元素的logsigmoid值，見式（2）。log_sigmoidx=log.....................................................................(2)式中：x--表示輸入張量；log_sigmoidx--表示輸出張量,其中張量中每個元素表示對應(yīng)輸入元素的sigmoid值；log(?)—表示以10為底的對數(shù)。.2前向接口參數(shù)對數(shù)S型函數(shù)前向接口應(yīng)符合表4，C代碼示例見A.2.1.2。表4對數(shù)S型函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)對數(shù)S型函數(shù)后向接口應(yīng)符合表5，C代碼示例見A.2.1.2。表5對數(shù)S型函數(shù)后向接口參數(shù)列表5GB/TXXXXX.2—XXXX表5對數(shù)S型函數(shù)后向接口參數(shù)列表（續(xù)）.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。分段線性近似S型函數(shù).1功能sigmoid的分段線性逼近激活函數(shù)。計算輸入張量每個元素的hardsigmoid值，見式（3）。yi=max(0,min(1,slope?xi+offset))...................................................（3）式中：x--表示輸入張量；y--表示輸出張量；slope—表示斜率；offset—表示偏移量；max—表示取兩個數(shù)之間的最大值min—表示取兩個數(shù)之間的最小值。.2前向接口參數(shù)分段線性近似S型函數(shù)前向接口應(yīng)符合表6，C代碼示例見A.2.1.3。表6分段線性近似S型函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：其他參數(shù)不合法。.4后向接口參數(shù)分段線性近似S型函數(shù)后向接口應(yīng)符合表7，C代碼示例見A.2.1.3。表7分段線性近似S型函數(shù)后向接口參數(shù)列表6GB/TXXXXX.2—XXXX表7分段線性近似S型函數(shù)后向接口參數(shù)列表（續(xù)）.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：其他參數(shù)不合法。歸一化指數(shù)函數(shù).1功能沿著輸入張量的計算軸axis計算輸入張量的softmax值，見式（4）。.................................................................................式中：x--表示輸入張量；y--表示輸出張量；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)。.2前向接口參數(shù)歸一化指數(shù)函數(shù)前向接口應(yīng)符合表8，C代碼示例見A.2.1.4。表8歸一化指數(shù)函數(shù)前向接口參數(shù).3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。超出范圍：axis超出輸入張量維度。.4后向接口參數(shù)歸一化指數(shù)函數(shù)后向接口應(yīng)符合表9，C代碼示例見A.2.1.47GB/TXXXXX.2—XXXX表9歸一化指數(shù)函數(shù)后向接口參數(shù).5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。超出范圍：axis超出輸入張量維度。對數(shù)歸一化指數(shù)函數(shù).1功能沿著輸入張量axis軸計算輸入張量的logsoftmax值，見式（5）。outputi=ln...................................................................式中：x--表示輸入張量；outputi--表示輸出張量元素；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)；ln(?)—表示以自然常數(shù)e為底的對數(shù)。.2前向接口參數(shù)對數(shù)歸一化指數(shù)函數(shù)前向接口應(yīng)符合表10，C代碼示例見A.2.1.5。表10對數(shù)歸一化指數(shù)函數(shù)前向接口參數(shù)列表?1≤axis≤ndim?1。axis=?1表示對所有輸入張量元素進行l(wèi)og.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。超出范圍：axis超出輸入張量維度。8GB/TXXXXX.2—XXXX.4后向接口參數(shù)對數(shù)歸一化指數(shù)函數(shù)后向接口應(yīng)符合表11，C代碼示例見A.2.1.5。表11對數(shù)歸一化指數(shù)函數(shù)后向接口參數(shù)列表?1≤axis≤ndim?1。axis=?1表示對所有輸入張量元素進行l(wèi)og.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。超出范圍：axis超出輸入張量維度。線性整流單元.1功能計算輸入張量每個元素的ReLU(RectifiedLinearUnit)值，見式（6）。yi=max(0,xi)..........................................................................（6）式中：x--表示輸入張量；y--表示輸出張量；max—表示取最大值。.2前向接口參數(shù)線性整流單元函數(shù)前向接口應(yīng)符合表12，C代碼示例見A.2.1.6。表12線性整流單元函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)線性整流單元函數(shù)后向接口應(yīng)符合表13，C代碼示例見A.2.1.6。9GB/TXXXXX.2—XXXX表13線性整流單元函數(shù)后向接口參數(shù)列表.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。帶閾值的線性整流單元.1功能計算輸入張量每個元素的thresholdedrelu值，見式（7）。yi=xi>threshold?xi:0.................................................................（7）式中：x--表示輸入張量；y--表示輸出張量；thresholded—表示閾值。.2前向接口參數(shù)帶閾值的線性整流單元函數(shù)前向接口應(yīng)符合表14，C代碼示例見A.2.1.7。表14帶閾值的線性整流單元函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口返回值帶閾值的線性整流單元函數(shù)后向接口應(yīng)符合表15，C代碼示例見A.2.1.7。表15帶閾值的線性整流單元函數(shù)后向接口參數(shù)列表GB/TXXXXX.2—XXXX.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。指數(shù)線性單元.1功能計算輸入張量每個元素的ELU(ExponentialLinearUnit)值，見式（8）。yi=max0,xi+min(0,α?(expxi?1)).................................................（8）式中：x--表示輸入張量；y--表示輸出張量；max—表示取兩個數(shù)之間的最大值；min—表示取兩個數(shù)之間的最小值；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)。.2前向接口參數(shù)指數(shù)線性單元函數(shù)前向接口應(yīng)符合表16，C代碼示例見A.2.1.8。表16指數(shù)線性單元函數(shù)前向接口參數(shù)列表α.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)指數(shù)線性單元函數(shù)后向接口應(yīng)符合表17，C代碼示例見A.2.1.8。表17指數(shù)線性單元函數(shù)后向接口參數(shù)列表α.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。GB/TXXXXX.2—XXXX帶泄露線性整流單元.1功能計算輸入張量每個元素的leakyReLU值，見式（9）。yi=max0,xi+α?min(0,xi)...........................................................（9）式中：x--表示輸入張量；y--表示輸出張量；max—表示取兩個數(shù)之間的最大值；min—表示取兩個數(shù)之間的最小值；a—表示LeakyReLU中的調(diào)整因子，默認(rèn)值可為0.01。.2前向接口參數(shù)帶泄露線性整流單元函數(shù)前向接口應(yīng)符合表18，C代碼示例見A.2.1.9。表18帶泄露線性整流單元函數(shù)前向接口參數(shù)列表α.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)帶泄露線性整流單元函數(shù)后向接口應(yīng)符合表19，C代碼示例見A.2.1.9。表19帶泄露線性整流單元函數(shù)后向接口參數(shù)列表α.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。0帶參數(shù)線性整流單元0.1功能計算輸入張量每個元素的PReLU(ParametricReLU)值，見式（10）。GB/TXXXXX.2—XXXXyi=max0,xi+α?min(0,xi).........................................................（10）式中：x--表示輸入張量；y--表示輸出張量；max—表示取兩個數(shù)之間的最大值；min—表示取兩個數(shù)之間的最小值；a—表示PReLU中的調(diào)整因子。0.2前向接口參數(shù)帶參數(shù)線性整流單元函數(shù)前向接口應(yīng)符合表20，C代碼示例見A.2.1.10。表20帶參數(shù)線性整流單元函數(shù)前向接口參數(shù)列表址每個channel擁有單獨的α值，則需要設(shè)置長度與chalpha_array數(shù)組；否則，應(yīng)設(shè)置長度為1的alpha_ar0.3前向接口返回值沒有錯誤：操作成功。其他內(nèi)部錯誤：內(nèi)部調(diào)用操作出錯。非法參數(shù)：alpha數(shù)組長度不合法。0.4后向接口參數(shù)帶參數(shù)線性整流單元函數(shù)后向接口應(yīng)符合表21，C代碼示例見A.2.1.10。表21帶參數(shù)線性整流單元函數(shù)后向接口參數(shù)列表址0.5后向接口返回值沒有錯誤：操作成功。其他內(nèi)部錯誤：內(nèi)部調(diào)用操作出錯。非法參數(shù)：axis超出輸入張量維度。GB/TXXXXX.2—XXXX1擴展指數(shù)線性單元1.1功能計算輸入張量每個元素的SELU(ScaledExponentialLinearUnits)值，見式（11）。yi=λ?(xi>0？xi:α?(expxi?1))..................................................（11）式中：x--表示輸入張量；y--表示輸出張量；λ—表示縮放因子；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)；a—表示selu公式中的α值。1.2前向接口參數(shù)擴展指數(shù)線性單元函數(shù)前向接口應(yīng)符合表22，C代碼示例見A.2.1.11。表22擴展指數(shù)線性單元函數(shù)前向接口參數(shù)列表1.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。1.4后向接口參數(shù)擴展指數(shù)線性單元后向接口應(yīng)符合表23，C代碼示例見A.2.1.11。表23擴展指數(shù)線性單元后向接口參數(shù)列表1.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。2雙邊整流線性單元GB/TXXXXX.2—XXXX2.1功能計算輸入張量每個元素的BilateralReLU值，見式（12）。yi=min(max(xi,low),high)...........................................................（12）式中：x--表示輸入張量；y--表示輸出張量；max—表示取兩個數(shù)之間的最大值；min—表示取兩個數(shù)之間的最小值；low—表示brelu結(jié)果的最小值；high—表示brelu結(jié)果的最大值。2.2前向接口參數(shù)雙邊整流線性單元函數(shù)前向接口應(yīng)符合表24，C代碼示例見A.2.1.12。表24雙邊整流線性單元函數(shù)前向接口參數(shù)列表2.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。2.4后向接口參數(shù)雙邊整流線性單元函數(shù)后向接口應(yīng)符合表25，C代碼示例見A.2.1.12。表25雙邊整流線性單元函數(shù)后向接口參數(shù)列表2.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。3高斯誤差線性單元3.1功能GB/TXXXXX.2—XXXX計算輸入張量每個元素的GELU(GaussianErrorLinearUnits)值，如果使用近似計算，則應(yīng)符合式（13）。y=0.5?x?.........................................式中：x--表示輸入張量；y--表示輸出張量；tan?—表示雙曲正切函數(shù)。如果不使用近似計算，則應(yīng)符合式（14）。y=0.5?x?(1+erf())..............................................................（14）式中：x--表示輸入張量；y--表示輸出張量。3.2erf—表示誤差函數(shù)。3.3前向接口參數(shù)高斯誤差線性單元前向接口應(yīng)符合表26，C代碼示例見A.2.1.13。表26高斯誤差線性單元前向接口參數(shù)列表3.4前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。3.5后向接口參數(shù)高斯誤差線性單元后向接口應(yīng)符合表27，C代碼示例見A.2.1.13。表27高斯誤差線性單元后向接口參數(shù)列表3.6后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。GB/TXXXXX.2—XXXX4softplus函數(shù)4.1功能計算輸入張量每個元素的softplus值，見式（15）yi=ln(1+exp(βxi)).................................................................（15）式中：x--表示輸入張量；y--表示輸出張量；β—表示Softplus公式中的beta參數(shù)；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)；ln(?)—表示以自然常數(shù)e為底的對數(shù)。4.2前向接口參數(shù)softplus函數(shù)前向接口應(yīng)符合表28，C代碼示例見A.2.1.14。表28softplus函數(shù)前向接口參數(shù)列表Softplus公式中的beta參數(shù)4.3前向接口返回值沒有錯誤：操作成功。其他內(nèi)部錯誤：內(nèi)部調(diào)用出錯。4.4后向接口參數(shù)softplus函數(shù)后向接口應(yīng)符合表29，C代碼示例見A.2.1.14。表29softplus函數(shù)后向接口參數(shù)列表Softplus公式中的beta參數(shù)4.5后向接口返回值GB/TXXXXX.2—XXXX沒有錯誤：操作成功。其他內(nèi)部錯誤：內(nèi)部調(diào)用出錯。5softsign函數(shù)5.1功能計算輸入張量每個元素的softsign值，見式（16）。.............................................................................式中：x--表示輸入張量；y--表示輸出張量；|?|—表示對數(shù)值取絕對值。5.2前向接口參數(shù)softsign函數(shù)前向接口應(yīng)符合表30，C代碼示例見A.2.1.15。表30softsign函數(shù)前向接口參數(shù)列表5.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。5.4后向接口參數(shù)softsign函數(shù)后向接口應(yīng)符合表31，C代碼示例見A.2.1.15。表31softsign函數(shù)后向接口參數(shù)列表5.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。6swish函數(shù)6.1功能計算輸入張量每個元素的swish值，見式（17）。GB/TXXXXX.2—XXXX.....................................................................式中：x--表示輸入張量；y--表示輸出張量；beta—表示常量值，默認(rèn)為1.0；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)。6.2前向接口參數(shù)swish函數(shù)前向接口應(yīng)符合表32，C代碼示例見A.2.1.16。表32swish函數(shù)前向接口參數(shù)列表6.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。6.4后向接口參數(shù)swish函數(shù)后向接口應(yīng)符合表33，C代碼示例見A.2.1.16。表33swish函數(shù)后向接口參數(shù)列表6.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。7hardswish函數(shù)7.1功能計算輸入張量每個元素的hardswish值，見式（18）。.........................................................式中：x--表示輸入張量；GB/TXXXXX.2—XXXXy--表示輸出張量；max—表示取兩個數(shù)之間的最大值；min—表示取兩個數(shù)之間的最小值；offset—表示偏移量；threshold—表示閾值；scale—表示縮放因子。7.2前向接口參數(shù)hardswish函數(shù)前向接口應(yīng)符合表34，C代碼示例見A.2.1.17。表34hardswish函數(shù)前向接口參數(shù)列表7.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：其他參數(shù)不合法。7.4后向接口參數(shù)hardswish函數(shù)后向接口應(yīng)符合表35，C代碼示例見A.2.1.35。表35hardswish函數(shù)后向接口參數(shù)列表7.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：其他參數(shù)不合法。8誤差函數(shù)8.1功能GB/TXXXXX.2—XXXX計算輸入張量每個元素的ErF(ErrorFunction)值，見式（19）。dη.................................................................式中：x--表示輸入張量；y--表示輸出張量；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)。8.2前向接口參數(shù)誤差函數(shù)前向接口應(yīng)符合表36，C代碼示例見A.2.1.18。表36誤差函數(shù)前向接口參數(shù)列表8.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。8.4后向接口參數(shù)誤差函數(shù)后向接口應(yīng)符合表37，C代碼示例見A.2.1.18。表37誤差函數(shù)后向接口參數(shù)列表8.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。9hardshrink函數(shù)9.1功能計算輸入張量每個元素的hardshrink值，見式（20）。....................................................................式中：x--表示輸入張量；y--表示輸出張量；GB/TXXXXX.2—XXXXλ—表示激活函數(shù)的閾值，默認(rèn)為0.5。9.2前向接口參數(shù)hardshrink函數(shù)前向接口應(yīng)符合表38，C代碼示例見A.2.1.19。表38hardshrink函數(shù)前向接口參數(shù)列表9.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。9.4后向接口參數(shù)hardshrink函數(shù)后向接口應(yīng)符合表39，C代碼示例見A.2.1.19。表39hardshrink函數(shù)后向接口參數(shù)列表9.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。0tanhshrink函數(shù)0.1功能計算輸入張量每個元素的tanhshrink值，見式（21）。yi=xi?tanh(xi)......................................................................（21）式中：x--表示輸入張量；y--表示輸出張量。0.2tanh—表示雙曲正切函數(shù)。0.3前向接口參數(shù)tanhshrink函數(shù)前向接口應(yīng)符合表40，C代碼示例見A.2.1.20。GB/TXXXXX.2—XXXX表40tanhshrink函數(shù)前向接口參數(shù)列表0.4前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。0.5后向接口參數(shù)tanhshrink函數(shù)后向接口應(yīng)符合表41，C代碼示例見A.2.1.20。表41tanhshrink函數(shù)后向接口參數(shù)列表0.6后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。1hardtanh函數(shù)1.1功能hardtanh的分段線性逼近激活函數(shù)。計算輸入張量每個元素的hardtanh值，見式（22）。.................................................................式中：x--表示輸入張量；y--表示輸出張量；max—表示最大閾值；min—表示最小閾值。1.2前向接口參數(shù)hardtanh函數(shù)前向接口應(yīng)符合表42，C代碼示例見A.2.1.21。表42hardtanh函數(shù)前向接口參數(shù)列表hardtanh激活計算公式中的min值，默GB/TXXXXX.2—XXXX表42hardtanh函數(shù)前向接口參數(shù)列表（續(xù)）hardtanh激活計算公式中的max值，默1.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。1.4后向接口參數(shù)hardtanh函數(shù)后向接口應(yīng)符合表43，C代碼示例見A.2.1.21。表43hardtanh函數(shù)后向接口參數(shù)列表hardtanh激活計算公式中的min值，默認(rèn)hardtanh激活計算公式中的max值，默1.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。7.2.2損失函數(shù)L1損失函數(shù).1功能計算實際值張量(input)和期望值張量(target)的L1損失函數(shù)值，見式（23）。lossi=|inputi?targeti|...............................................................（23）式中：inputi--表示第i個樣本的實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果；lossi--表示第i個樣本的損失值。其中i表示張量平鋪后，遍歷張量的下標(biāo)。若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。其中n為張量總的元素數(shù)量。.2前向接口參數(shù)L1損失函數(shù)前向接口應(yīng)符合表44，C代碼示例見A.2.2.1。GB/TXXXXX.2—XXXX表44L1損失函數(shù)前向接口參數(shù)列表表示期望值，采用one-hot編碼，其形狀與實際值張“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和期望值張量計算L1損失函數(shù)值后.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)L1損失函數(shù)后向接口應(yīng)符合表45，C代碼示例見A.2.2.1。表45L1損失函數(shù)后向接口參數(shù)列表表示期望值，采用one-hot編碼，其形狀與實際值張“none”，“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。均方誤差損失函數(shù).1功能計算實際值張量(input)和期望值張量(target)的均方誤差值，見式（24）。lossi=(inputi?targeti)2..............................................................（24）式中：inputi--表示第i個樣本的實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果。lossi--表示第i個樣本的損失值。其中i表示張量平鋪后，遍歷張量的下標(biāo)。若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。.2前向接口參數(shù)GB/TXXXXX.2—XXXX均方誤差(MSE)損失函數(shù)前向接口應(yīng)符合表46，C代碼示例見A.2.2.2。表46均方誤差損失函數(shù)前向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算MSE損失.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)均方誤差(MSE)損失函數(shù)后向接口應(yīng)符合表47，C代碼示例見A.2.2.2。表47均方誤差(MSE)損失函數(shù)后向接口參數(shù)列表none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。交叉熵?fù)p失函數(shù).1功能計算實際值張量(input)和期望值張量(target)的交叉熵。歸約類型若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則輸出所有樣本損失的均值；若選擇“sum”，則輸出所有樣本損失的總和。.2前向接口參數(shù)交叉熵?fù)p失函數(shù)前向接口應(yīng)符合表48，C代碼示例見A.2.2.3。表48交叉熵?fù)p失函數(shù)前向接口參數(shù)列表GB/TXXXXX.2—XXXX表48交叉熵?fù)p失函數(shù)前向接口參數(shù)列表（續(xù)）表示期望分布，對應(yīng)每個樣本的類別，采用one-hot型與實際值張量在計算上兼容，NULL表示相“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算交叉熵?fù)p.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)交叉熵?fù)p失函數(shù)后向接口應(yīng)符合表49，C代碼示例見A.2.2.3。表49交叉熵?fù)p失函數(shù)后向接口參數(shù)列表表示期望分布，對應(yīng)每個樣本的類別，采用one-hot與實際值張量在計算上兼容，NULL表示相同權(quán)“none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。稀疏交叉熵?fù)p失函數(shù).1功能計算實際值張量(input)和期望值張量(target)的交叉熵。如果歸約類型選擇的是“mean”，則則輸出所有樣本損失的均值；若選擇“sum”，則輸出所有樣本損失的總和。.2前向接口參數(shù)稀疏交叉熵?fù)p失函數(shù)前向接口應(yīng)符合表50，C代碼示例見A.2.2.4。GB/TXXXXX.2—XXXX表50稀疏交叉熵?fù)p失函數(shù)前向接口參數(shù)列表batch大小，c表示類別數(shù)，元素類型可期望分布，對應(yīng)每個樣本的實際類別，范圍在[0,與實際值張量在計算上兼容，NULL表示相同權(quán)“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算交叉熵?fù)p.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)稀疏交叉熵?fù)p失函數(shù)后向接口應(yīng)符合表51，C代碼示例見A.2.2.4。表51稀疏交叉熵?fù)p失函數(shù)后向接口參數(shù)列表期望分布，對應(yīng)每個樣本的實際類別，范圍在[0,與實際值張量在計算上兼容，NULL表示相同權(quán)“none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。負(fù)對數(shù)損失函數(shù).1功能計算負(fù)對數(shù)損失函數(shù)，見式（25）。lossi=?targeti?log(inputi+ε?1?targeti)?log(1?inputi+ε).......................（25）式中：inputi--表示第i個樣本的實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果；lossi--表示第i個樣本的損失值；GB/TXXXXX.2—XXXXlog(?)--表示以10為底的對數(shù)；ε--表示一個小數(shù)。歸約類型若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。.2前向接口參數(shù)負(fù)對數(shù)損失函數(shù)前向接口應(yīng)符合表52，C代碼示例見A.2.2.5。表52負(fù)對數(shù)損失函數(shù)前向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)負(fù)對數(shù)損失函數(shù)后向接口應(yīng)符合表53，C代碼示例見A.2.2.5。表53負(fù)對數(shù)損失函數(shù)后向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。負(fù)對數(shù)似然損失函數(shù).1功能GB/TXXXXX.2—XXXX計算實際值張量(input)和期望值張量(target)的負(fù)對數(shù)似然損失值。假設(shè)input形狀為[N,C]，簡單起見，用x表示input，y表示target，w表示weight。若reduction=“none”，則lossi=?wyixi,yi,n∈ 0,N?1)。若歸約類型為“mean”或者“sum”,則應(yīng)符合式（26）。loss=................................................式中：N—表示輸入張量第一維度的大?。粀yi—表示權(quán)重張量元素。若input形狀為[N,C,d1,d2,…,dk]，以圖像為例，則對于同一batch，需要針對圖像的每一個像素點求loss，歸約前的loss形狀為[n,d1,d2,…,dk]。.2前向接口參數(shù)負(fù)對數(shù)似然損失函數(shù)前向接口應(yīng)符合表54，C代碼示例見A.2.2.6。表54負(fù)對數(shù)似然損失函數(shù)前向接口參數(shù)列表表示實際輸出概率。形狀可為[N,C]或“none”、“mean”或“sum”，默認(rèn)值為“mean”.3向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致.其他內(nèi)部錯誤：內(nèi)部調(diào)用操作出錯.4后向接口參數(shù)負(fù)對數(shù)似然損失函數(shù)后向接口應(yīng)符合表55，C代碼示例見A.2.2.6。表55負(fù)對數(shù)似然損失函數(shù)后向接口參數(shù)列表表示實際輸出概率。形狀可為[N,C]或GB/TXXXXX.2—XXXX表55負(fù)對數(shù)似然損失函數(shù)后向接口參數(shù)列表（續(xù)）“none”、“mean”或“sum”，默認(rèn)值為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：內(nèi)部調(diào)用操作出錯。CTC損失函數(shù).1功能計算CTC（ConnectionistTemporalClassification）損失，第i個樣本的損失應(yīng)符合式（27）。lossi=?ln(p(targeti|xi)).................................................................(27)式中：targeti—表示第i個樣本的真實結(jié)果（GroundTruthxi—表示第i個樣本的輸入；p(targeti|xi)—表示輸入第i個樣本，輸出對應(yīng)真實結(jié)果的概率。為方便描述，這里用l表示樣本的真實結(jié)果，x表示樣本的輸入，假設(shè)下標(biāo)從1開始，則對應(yīng)的概率計算公式應(yīng)符合式（28）。..................................................................式中：l'—表示在真實結(jié)果l的所有元素之間（包括開頭和結(jié)尾）插入空格之后拓展成的字符串；ls'—表示樣本第s個位置對應(yīng)元素的值；ys'—表示網(wǎng)絡(luò)在t時刻輸出ls'的概率（對應(yīng)到函數(shù)參數(shù)input，即為ys'=input[t][i][ls']αt(s)—表示l'第s個位置在第t時刻的前向概率；βt(s)—表示l'第s個位置在第t時刻的后向概率。αt(s)和βt(s)計算方式見式（29）-式（30）。GB/TXXXXX.2—XXXX式中：l'—表示在真實結(jié)果l的所有元素之間（包括開頭和結(jié)尾）插入空格之后拓展成的字符串；ls—表示真實結(jié)果l第s個位置對應(yīng)元素的值；ls'—表示樣本第s個位置對應(yīng)元素的值；y—表示網(wǎng)絡(luò)在t時刻輸出m的概率；αt(s)—表示l'第s個位置在第t時刻的前向概率。式中：l'—表示在真實結(jié)果l的所有元素之間（包括開頭和結(jié)尾）插入空格之后拓展成的字符串；ls—表示真實結(jié)果l第s個位置對應(yīng)元素的值；ls'—表示樣本第s個位置對應(yīng)元素的值；y—表示網(wǎng)絡(luò)在t時刻輸出m的概率；βt(s)—表示l'第s個位置在第t時刻的后向概率。.2前向接口參數(shù)CTC損失函數(shù)前向接口應(yīng)符合表56，C代碼示例見A.2.2.7。表56CTC損失函數(shù)前向接口參數(shù)列表中T表示所有樣本的最大時間，N表示batch大小，C表示），表示實際值，表示每一個樣本的時間序列長度，形狀為[N]表示每一個樣本真實結(jié)果（GroundTruth）的長度，形狀為[N]“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算CTC損失GB/TXXXXX.2—XXXX表56CTC損失函數(shù)前向接口參數(shù)列表（續(xù)）量.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：參數(shù)不合法。.4后向接口參數(shù)CTC損失函數(shù)后向接口應(yīng)符合表57，C代碼示例見A.2.2.7。表57CTC損失函數(shù)后向接口參數(shù)列表中T表示所有樣本的最大時間，N表示batch大小，），形狀為[N,L]，其中L表示所有target的最大長度，元素類示每一個樣本的時間序列長度，形狀為[N]表示每一個樣本真實結(jié)果（GroundTruth）的長度，形狀為[N]“none”、“mean”或“sum”，默認(rèn)值可為“mean”量表示公式中αts的對數(shù)值張量.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：參數(shù)不合法。平滑L1損失函數(shù).1功能計算輸入張量input和target的平滑L1損失函數(shù)值。其計算公式如下：0.5?(inputi?targeti)0.5?(inputi?targeti)2,ifinputi?targeti<1inputi?targeti?0.5,ot?erwise式中：inputi--表示第i個樣本的實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果；lossi--表示第i個樣本的損失值。GB/TXXXXX.2—XXXX則loss=Σlossi。其中n為input張量總的元素數(shù)量。.2前向接口參數(shù)平滑L1損失函數(shù)前向接口應(yīng)符合表58，C代碼示例見A.2.2.8。表58平滑L1損失函數(shù)前向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和期望值張量計算平滑L.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)平滑L1損失函數(shù)后向接口應(yīng)符合表59，C代碼示例見A.2.2.8。表59平滑L1損失函數(shù)后向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。KL散度損失函數(shù).1功能計算輸入張量input和target之間的Kullback-Leibler散度損失函數(shù)值，其中實際值張量input應(yīng)為對數(shù)概率值，期望值張量應(yīng)為概率值，見式（32）。lossi=targeti?(log(targeti)?inputi).................................................（32）式中：inputi--表示第i個樣本的實際結(jié)果；GB/TXXXXX.2—XXXXtargeti--表示第i個樣本的期望結(jié)果；lossi--表示第i個樣本的損失值；log(?)—表示以10為底的對數(shù)。歸約類型若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。.2前向接口參數(shù)KL散度損失函數(shù)前向接口應(yīng)符合表60，C代碼示例見A.2.2.9。表60KL散度損失函數(shù)前向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和期望值張量計算KL散度.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。.4后向接口參數(shù)KL散度損失函數(shù)后向接口應(yīng)符合表61，C代碼示例見A.2.2.9。表61KL散度損失函數(shù)后向接口參數(shù)列表“none”、“mean”或“sum”，默認(rèn)值可為“mean”.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。0軟間隔損失函數(shù)0.1功能通過創(chuàng)建一個標(biāo)準(zhǔn)，來優(yōu)化輸入張量input和target之間的二分類邏輯損失，見式（33）。lossi=Σj.........................................................式中：GB/TXXXXX.2—XXXXinputi--表示第i個樣本的實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果,滿足targeti∈{1,?1}；lossi--表示第i個樣本的損失值；log(?)—表示以10為底的對數(shù)；exp(?)—表示以自然常數(shù)e為底的指數(shù)函數(shù)；input_element_count—表示張量input的元素個數(shù)。歸約類型若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。0.2前向接口參數(shù)軟間隔損失函數(shù)前向接口應(yīng)符合表62，C代碼示例見A.2.2.10。表62軟間隔損失函數(shù)前向接口參數(shù)列表表示期望值，形狀與輸入張量一致，元素值只能為“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算soft_margin_0.3前向接口參數(shù)沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。0.4后向接口參數(shù)軟間隔損失函數(shù)后向接口應(yīng)符合表63，C代碼示例見A.2.2.10。表63軟間隔損失函數(shù)后向接口參數(shù)列表表示期望值，形狀與輸入張量一致，元素值只能“none”、“mean”或“sum”，默認(rèn)值可為“mean”0.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。1間隔排序損失函數(shù)1.1功能GB/TXXXXX.2—XXXX計算兩個輸入張量（input1、input2）與期望值張量（target）之間的marginrankingloss，用于排序問題中，見式（34）。lossi=max(0,?targeti?(input1i?input2i)+margin)...................................（34）式中：input1i--表示第i個樣本的第一個實際結(jié)果；input2i--表示第i個樣本的第二個實際結(jié)果；targeti--表示第i個樣本的期望結(jié)果；lossi--表示第i個樣本的損失值；max(?)—表示取兩個數(shù)之間的最大值；margin--表示間隔值。歸約類型若選擇“none”，則對輸出結(jié)果不進行歸約；若選擇“mean”，則loss=lossi；若選擇“sum”，則loss=Σlossi。1.2前向接口參數(shù)間隔排序損失函數(shù)前向接口應(yīng)符合表64，C代碼示例見A.2.2.11。表64間隔排序損失函數(shù)前向接口參數(shù)列表量量表示期望值，第一個排序得分值大于第二個排序得分“none”、“mean”或“sum”，默認(rèn)值可為“mean”表示對實際值張量和預(yù)期值張量計算margin_ranking1.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。1.4后向接口參數(shù)間隔排序損失函數(shù)后向接口應(yīng)符合65，C代碼示例見A.2.2.11。表65間隔排序損失函數(shù)后向接口參數(shù)列表量GB/TXXXXX.2—XXXX表65間隔排序損失函數(shù)后向接口參數(shù)列表（續(xù)）量表示期望值，第一個排序得分值大于第二個排序得分值時“none”、“mean”或“sum”，默認(rèn)值可為“mean”1.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。7.2.3正則函數(shù)隨機失活函數(shù).1功能讓輸入張量按概率隨機失活，以達到防止模型過擬合目的。.2前向接口參數(shù)隨機失活函數(shù)前向接口應(yīng)符合表66，C代碼示例見A.2.3.1。表66隨機失活函數(shù)前向接口參數(shù)列表表示生成隨機數(shù)的種子。若種子為0，表示使用系統(tǒng)的隨.3前向接口返回值GB/TXXXXX.2—XXXX沒有錯誤：操作成功。對象非法：表示輸入張量對象不合法。非法參數(shù)：參數(shù)出錯。.4后向接口參數(shù)隨機失活函數(shù)后向接口應(yīng)符合表67，C代碼示例見A.2.3.1。表67隨機失活函數(shù)后向接口參數(shù)列表輸入張量中元素變?yōu)?的概率rate，取值在0~1范圍內(nèi)，默.5后向接口返回值沒有錯誤：操作成功。對象非法：表示輸入張量對象不合法。非法參數(shù)：參數(shù)出錯。.6其他附加說明增加參數(shù)intaxis。參照TensorFlow、PyTorch和MXNet，隨機失活函數(shù)dropout一般包含兩種情況：（1）輸入中的每個元素獨立地以概率rate被置零2）輸入中以channel為單位，各樣本、各channel之間相互獨立，以rate為概率，該channel的所有元素同時被置零。為了使情況（2）得以實現(xiàn)，應(yīng)增加參數(shù)axis，使其指定channel所在的維度；或者令axis=-1，讓每個元素獨立地被置零。標(biāo)簽平滑函數(shù).1功能標(biāo)簽平滑是一種對分類器層進行正則化的機制。由于直接優(yōu)化正確標(biāo)簽的對數(shù)似然可能會導(dǎo)致過擬合，降低模型的適應(yīng)能力，因此通過標(biāo)簽平滑來降低模型的置信度，見式（35）。outputi=(1?ε)?labeli+ε?μi........................................................（35）式中：labeli--表示輸入標(biāo)簽張量元素；ui--表示先驗分布張量元素；outputi--表示輸出張量元素。其中1?ε和ε分別是權(quán)重，μ通常使用均勻分布。.2標(biāo)簽平滑函數(shù)參數(shù)標(biāo)簽平滑函數(shù)接口應(yīng)符合表68，C代碼示例見A.2.3.2。GB/TXXXXX.2—XXXX表68標(biāo)簽平滑函數(shù)參數(shù)列表包含標(biāo)簽數(shù)據(jù)的輸入張量。標(biāo)簽數(shù)據(jù)使用one-ho型.3標(biāo)簽平滑函數(shù)返回值沒有錯誤：操作成功。對象非法：表示輸入張量對象不合法。.4其他附加說明標(biāo)簽平滑正則化是對輸入數(shù)據(jù)的標(biāo)簽進行一定變換，沒有可訓(xùn)練參數(shù)，無后向接口。7.2.4歸一化函數(shù)批量歸一化操作.1功能實現(xiàn)批量歸一化(BatchNormalization)，見式（36）。y=scale×+bias...............................................................式中：x--表示輸入張量；y--表示輸出張量；scale--表示縮放張量；bias--表示偏移張量；u--表示樣本均值張量；σ--表示樣本方差張量；ε--表示防止除數(shù)為0的小數(shù)字。假設(shè)輸入張量形狀為[n,c,h,w]，axis=1，那么scale和bias形狀為[c]。詳細(xì)語義請參考[2]。如果提前計算了樣本平均值和方差，或希望使用全局統(tǒng)計數(shù)據(jù)，可以作為參數(shù)輸入。作為輸出，可以返回批量歸一化后的平均值與方差。.2前向接口參數(shù)批量歸一化操作函數(shù)前向接口應(yīng)符合表69，C代碼示例見A.2.4.1。GB/TXXXXX.2—XXXX表69批量歸一化操作函數(shù)前向接口參數(shù)列表元素類型可以為浮點數(shù)，表示維度的形式為[表示批量歸一化所沿的軸axis，將輸入張量沿著第ax計算公式為xi，其中n為樣本數(shù)量，默認(rèn)值為NULL表示momentum，用于計算運行平均值和方差的因子。默.3前向接口返回值沒有錯誤：操作成功。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。.4后向接口參數(shù)批量歸一化操作函數(shù)后向接口應(yīng)符合表70，C代碼示例見A.2.4.1。表70批量歸一化操作函數(shù)后向接口參數(shù)列表計算公式為xi，其中n為樣本數(shù)量，默認(rèn)值為NULLGB/TXXXXX.2—XXXX表70批量歸一化操作函數(shù)后向接口參數(shù)列表（續(xù)）.5后向接口返回值沒有錯誤：操作成功。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。分組歸一化操作.1功能為了避免批量歸一化中batchsize對模型的影響，提出分組歸一化（GroupNormalization），其首先在指定維度分為多個組后，對每一組做歸一化處理，假設(shè)輸入張量形狀為[n,c,h,w]，分組軸channel_axis=1，規(guī)約軸reduced_axes=[3,4]，那么scale和bias的形狀為[groups*n]，歸約后輸出張量的形狀為[c/groups,h,w]，詳細(xì)語義請參考[3]。如果提前計算了批量樣本平均值和方差，或希望使用全局統(tǒng)計數(shù)據(jù)，可以作為參數(shù)輸入。作為輸出，可以返回批量歸一化后的平均值與方差。.2前向接口參數(shù)分組歸一化操作函數(shù)前向接口應(yīng)符合表71，C代碼示例見A.2.4.2。表71分組歸一化操作函數(shù)前向接口參數(shù)列表計算公式為xi，其中n為樣本數(shù)量，默認(rèn)值為NULL.3前向接口返回值沒有錯誤：操作成功。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。GB/TXXXXX.2—XXXX類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。.4后向接口參數(shù)分組歸一化操作函數(shù)后向接口應(yīng)符合表72，C代碼示例見A.2.4.2。表72分組歸一化操作函數(shù)后向接口參數(shù)列表計算公式為xi，其中n為樣本數(shù)量，默認(rèn)值為NULL.5后向接口返回值沒有錯誤：操作成功。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。層歸一化操作.1功能層歸一化可以應(yīng)用于小批量輸入數(shù)據(jù)。在圖像應(yīng)用中，通常會對整個樣本進行歸一化，即假設(shè)輸入張量形狀為[N,C,H,W]或[N,H,W,C]，均設(shè)置axis=1，scale和bias的形狀為[C*H*W]。層歸一化作用于整個樣本，且經(jīng)常用于NLP應(yīng)用中。詳細(xì)語義請參考[22]。.2前向接口參數(shù)層歸一化操作函數(shù)前向接口應(yīng)符合表73，C代碼示例見A.2.4.3。GB/TXXXXX.2—XXXX表73層歸一化操作函數(shù)前向接口參數(shù)列表表示歸一化的維度。輸入張量x依據(jù)axis轉(zhuǎn)換成一個形狀表示縮放量，形狀為[Daxis?…?Dk?1]的1-D張量，數(shù)據(jù)類表示偏移量，形狀為[Daxis?…?Dk?1]的1-D張量，數(shù)據(jù)類.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。.4后向接口參數(shù)層歸一化操作函數(shù)后向接口應(yīng)符合表74，C代碼示例見A.2.4.3。表74層歸一化操作函數(shù)后向接口參數(shù)列表表示歸一化的維度。輸入張量x依據(jù)axis轉(zhuǎn)換成一個形狀GB/TXXXXX.2—XXXX.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。實例歸一化操作.1功能實例歸一化，可以作用于卷積和全連接操作的計算結(jié)果，作用于圖像通道上的數(shù)據(jù)，根據(jù)樣本每個通道的均值和方差信息進行正則化。假設(shè)輸入張量形狀為[N,C,H,W]，通道所在的維度為1，則需設(shè)置axis=1。詳細(xì)語義請參考[23]。.2前向接口參數(shù)實例歸一化操作函數(shù)前向接口應(yīng)符合表75，C代碼示例見A.2.4.4。表75實例歸一化操作函數(shù)前向接口參數(shù)列表表示縮放量，形狀為[C]的1維度張量，數(shù)據(jù)類型與張量x表示偏移量，形狀為[C]的1-D張量，數(shù)據(jù)類型與張量x.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。.4后向接口參數(shù)實例歸一化操作函數(shù)后向接口應(yīng)符合表76，C代碼示例見A.2.4.4。表76實例歸一化操作函數(shù)后向接口參數(shù)列表GB/TXXXXX.2—XXXX表76實例歸一化操作函數(shù)后向接口參數(shù)列表（續(xù)）表示輸入張量通道所在的維度axis，值為C，并且將沿這表示縮放量，形狀為[C]的1-D張量，數(shù)據(jù)類型與張量x相表示偏移量，形狀為[C]的1-D張量，數(shù)據(jù)類型與張量x相.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況等。局部響應(yīng)歸一化操作.1功能對輸入張量進行局部響應(yīng)歸一化，其中輸出張量的每個元素都是原張量中對應(yīng)元素與若干個相鄰?fù)ǖ赖膶?yīng)元素進行歸一化的結(jié)果。為了方便表示，假設(shè)xi,j,k表示輸入張量中第i個樣本中第j個通道的切片張量中的第k個元素，見式（37）。outputi,j,k=xi,j,k(alp?aΣ(u_,cs?)1,j+radius)xi,j',k2+bias)?beta...............................（37）式中：xi,j,k--表示輸入張量中第i個樣本中第j個通道的切片張量中的第k個元素；output—表示輸出張量；num_c?annels—表示通道數(shù)；radius—表示半徑；bias—表示偏移量；alp?a—表示相乘系數(shù)；beta—表示指數(shù)系數(shù)。.2前向接口參數(shù)局部響應(yīng)歸一化操作函數(shù)前向接口應(yīng)符合表77，C代碼示例見A.2.4.5。表77局部響應(yīng)歸一化操作函數(shù)前向接口參數(shù)列表形狀為[batch_size,num_channels,d1,…,dn]，數(shù)GB/TXXXXX.2—XXXX表77局部響應(yīng)歸一化操作函數(shù)前向接口參數(shù)列表（續(xù)）.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。.4后向接口參數(shù)局部響應(yīng)歸一化操作函數(shù)后向接口應(yīng)符合表78，C代碼示例見A.2.4.5。表78局部響應(yīng)歸一化操作函數(shù)后向接口參數(shù)列表.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。L2歸一化操作.1功能L2歸一化方法，通過輸入張量的歐幾里得距離之和，來對輸入張量x進行歸一化。對于1-D張量，見式（38）。yi=xi.......................................................................（38） Σjx+epsilon式中：x--表示輸入張量；GB/TXXXXX.2—XXXXy--表示輸出張量；epsilon--表示小數(shù)，防止除0。對于多維輸入張量的情況，則對axis維度軸上的每個1-D張量切片單獨歸一化。.2前向接口參數(shù)L2歸一化操作函數(shù)前向接口應(yīng)符合表79，C代碼示例見A.2.4.6。表79L2歸一化操作函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。.4后向接口參數(shù)L2歸一化操作函數(shù)后向接口應(yīng)符合表80，C代碼示例見A.2.4.6。表80L2歸一化操作函數(shù)后向接口參數(shù)列表.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。Lp范數(shù)歸一化操作.1功能使用Lp范數(shù)沿指定維度對輸入張量進行歸一化，見式（39）。GB/TXXXXX.2—XXXX.........................................................................式中：x--表示輸入張量；y--表示輸出張量；max(?)--表示取最大值；ε--表示一個小數(shù)。其中，xp=(Σjxjp)1/p，沿指定維度axis進行計算。.2前向接口參數(shù)Lp范數(shù)歸一化操作函數(shù)前向接口應(yīng)符合表81，C代碼示例見A.2.4.7。表81Lp范數(shù)歸一化操作函數(shù)前向接口參數(shù)列表.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。.4后向接口參數(shù)Lp范數(shù)歸一化操作函數(shù)后向接口應(yīng)符合表82，C代碼示例見A.2.4.7。表82Lp歸一化操作函數(shù)后向接口參數(shù)列表.5后向接口返回值沒有錯誤：操作成功。GB/TXXXXX.2—XXXX類型不匹配：張量的數(shù)據(jù)類型不一致。其他內(nèi)部錯誤：出現(xiàn)除數(shù)為0的情況。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。權(quán)重歸一化操作.1功能對權(quán)重參數(shù)進行歸一化處理。權(quán)重歸一化操作可以將神經(jīng)網(wǎng)絡(luò)中權(quán)重向量的長度與其方向解耦，將指定權(quán)重轉(zhuǎn)換成兩個張量，代表長度的向量g和代表方向的向量v。見式（40）。..............................................................................式中：g--表示長度的向量；v--表示方向的向量；w--表示方向的向量。.2權(quán)重歸一化操作函數(shù)參數(shù)接口應(yīng)符合表83，C代碼示例見A.2.4.8。表83權(quán)重歸一化操作函數(shù)參數(shù)列表.3權(quán)重歸一化操作函數(shù)返回值沒有錯誤：操作成功。類型不匹配：輸入的類型不一致。非法參數(shù)：參數(shù)出錯。譜歸一化操作.1功能計算全連接層、卷積層的權(quán)重參數(shù)的譜正則值。通過“冪迭代法“計算出每層參數(shù)矩陣的譜范數(shù)來重新標(biāo)定權(quán)張量，從而達到在生成對抗網(wǎng)絡(luò)中discriminators（critics）的穩(wěn)定訓(xùn)練。其計算步驟如下：步驟一，生成向量u和v，其中向量u的長度是輸入權(quán)重張量的第axis個維度，向量v的長度是剩余維度的乘積；步驟二，用u和v迭代計算指定輪數(shù)，迭代公式見式（41）-式（42）。.............................................................................GB/TXXXXX.2—XXXX式中：u--表示輸入權(quán)重張量的第axis個維度向量；w--表示權(quán)重張量。.............................................................................式中：v--表示輸入權(quán)重張量除去第axis維度的乘積；w--表示權(quán)重張量。步驟三，計算σ(W)并計算特征值歸一化后的權(quán)重，見式（43）-式（44）。σ(W)=uTWv.........................................................................（43）式中：u--表示輸入權(quán)重張量的第axis個維度向量；v--表示輸入權(quán)重張量除去第axis維度的乘積；w--表示權(quán)重張量。..............................................................................式中：w--表示輸入權(quán)重張量；W—表示譜正則化后權(quán)重張量。.2譜歸一化操作函數(shù)參數(shù)譜歸一化操作函數(shù)接口應(yīng)符合表84，C代碼示例見A.2.4.9。表84譜歸一化操作函數(shù)參數(shù)列表.3譜歸一化操作函數(shù)返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：參數(shù)出錯。7.2.5池化函數(shù)一維池化操作.1功能GB/TXXXXX.2—XXXX對輸入張量x進行池化處理。當(dāng)ksize設(shè)置成Lin、padding為NULL時，執(zhí)行全局池化操作。.2前向接口參數(shù)一維池化操作函數(shù)前向接口應(yīng)符合表85，C代碼示例見A.2.5.1。表85一維池化操作函數(shù)前向接口參數(shù)列表形狀為[N,C,L]或[N,L,C]，其中N是batch_size、C長度。元素類型可以為浮點數(shù)，這里可以將形狀分為batc組成，而池化只對spatial_shap池化窗口大小的數(shù)組長度，可以等于1或者2。如果為1，則度池化步長的數(shù)組長度，可以等于1或者2。如果為1，則表示填充元素個數(shù)的數(shù)組長度，可以等于1或者2。如果為1池化膨脹個數(shù)的數(shù)組長度，可以等于1或者2。如果為1，則.3前向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。.4后向接口參數(shù)一維池化操作函數(shù)后向接口應(yīng)符合表86，C代碼示例見A.2.5.1。GB/TXXXXX.2—XXXX表86一維池化操作函數(shù)后向接口參數(shù)列表池化窗口大小的數(shù)組長度，可以等于1或者2。如果度池化步長的數(shù)組長度，可以等于1或者2。如果為1空填充元素個數(shù)的數(shù)組長度，可以等于1或者2。如空池化膨脹個數(shù)的數(shù)組長度，可以等于1或者2。如果.5后向接口返回值沒有錯誤：操作成功。類型不匹配：張量的數(shù)據(jù)類型不一致。非法參數(shù)：表示參數(shù)出錯。對象未初始化：輸入張量對象未初始化。二維池化操作.1功能對輸入張量x進行池化處理。當(dāng)ksize設(shè)置成(Hin,win)、padding為空時，執(zhí)行全局池化操作。.2前向接口參數(shù)二維池化操作函數(shù)前向接口應(yīng)符合表87，C代碼示例見A.2.5.2。GB/TXXXXX.2—XXXX表87二維池化操作函數(shù)前向接口參數(shù)列表