《特征表示與描述》課件

特征表示與描述特征表示是機(jī)器學(xué)習(xí)模型的基石，它決定了模型的性能。通過將原始數(shù)據(jù)轉(zhuǎn)換為模型可理解的特征，特征表示可以讓模型更有效地學(xué)習(xí)和預(yù)測。特征表示的定義和作用1定義特征表示是指將原始數(shù)據(jù)轉(zhuǎn)換為模型可以理解和處理的形式。它就像將現(xiàn)實(shí)世界的物體翻譯成計(jì)算機(jī)語言，使模型能夠識(shí)別和利用數(shù)據(jù)中的關(guān)鍵信息。2作用好的特征表示可以提高模型的準(zhǔn)確性、效率和泛化能力。它能讓模型更好地理解數(shù)據(jù)，并從數(shù)據(jù)中提取出更有效的模式和規(guī)律，從而提高模型的預(yù)測和分析能力。3舉例例如，在圖像識(shí)別任務(wù)中，將圖像轉(zhuǎn)換為像素矩陣作為特征表示，可以使模型識(shí)別不同圖像之間的差異，并進(jìn)行分類和識(shí)別。特征表示的分類原始特征原始特征是指直接從數(shù)據(jù)源中提取的特征，例如用戶年齡、商品價(jià)格等。這些特征通常是原始的、未經(jīng)處理的。派生特征派生特征是指從原始特征中衍生出來的特征，例如用戶年齡的平方、商品價(jià)格的同比增長率等。這些特征通常是經(jīng)過處理的、更具有意義的。組合特征組合特征是指將多個(gè)特征組合起來形成的新特征，例如用戶年齡和商品價(jià)格的乘積、用戶購買歷史和商品類別的交叉等。這些特征通常是更復(fù)雜的，可以更好地反映數(shù)據(jù)之間的關(guān)系。原始特征直接從數(shù)據(jù)源獲取原始特征直接從數(shù)據(jù)源提取，未經(jīng)過任何處理或轉(zhuǎn)換。反映數(shù)據(jù)的原始屬性原始特征代表了數(shù)據(jù)的基本特征，例如用戶的年齡、性別或產(chǎn)品的價(jià)格。用于構(gòu)建模型的基礎(chǔ)原始特征是構(gòu)建機(jī)器學(xué)習(xí)模型的基礎(chǔ)，是模型學(xué)習(xí)的基礎(chǔ)。派生特征統(tǒng)計(jì)特征從原始數(shù)據(jù)中提取的統(tǒng)計(jì)信息，例如平均值、標(biāo)準(zhǔn)差、最大值、最小值等。幾何特征描述數(shù)據(jù)空間結(jié)構(gòu)和形狀的特征，例如距離、角度、面積、體積等。語義特征從數(shù)據(jù)中提取的語義信息，例如文本內(nèi)容、圖像內(nèi)容、音頻內(nèi)容等。組合特征組合特征組合特征是通過將多個(gè)原始特征或派生特征進(jìn)行組合而形成的新特征。這是一種提高模型表達(dá)能力的重要方法，可以捕捉到單個(gè)特征無法表達(dá)的信息。組合特征例如，將用戶年齡和性別組合成新的特征“年齡-性別”組合，可以更有效地反映用戶的購買行為。原始特征的表示1數(shù)值型特征數(shù)值型特征通常表示為實(shí)數(shù)或整數(shù)，例如年齡、身高、體重等。2類別型特征類別型特征表示離散的類別，例如性別、城市、職業(yè)等。3隱式特征隱式特征是無法直接觀察到的，需要通過其他特征推斷，例如用戶的興趣、偏好等。數(shù)值型特征的表示數(shù)值型特征直方圖直方圖用于顯示數(shù)值型特征的分布情況，可以直觀地了解數(shù)據(jù)的集中趨勢和離散程度。數(shù)值型特征箱線圖箱線圖可以展示數(shù)據(jù)的中位數(shù)、四分位數(shù)、最小值和最大值，幫助識(shí)別異常值。數(shù)值型特征散點(diǎn)圖散點(diǎn)圖可以展示兩個(gè)數(shù)值型特征之間的關(guān)系，例如線性關(guān)系或非線性關(guān)系。類別型特征類別型特征介紹類別型特征表示離散的類別或分組，例如性別、顏色或產(chǎn)品類別。它們通常用字符串或枚舉值表示。處理類別型特征在機(jī)器學(xué)習(xí)模型中使用類別型特征之前，需要將其轉(zhuǎn)換為數(shù)值型特征。常見方法包括One-hot編碼、標(biāo)簽編碼或哈希編碼。隱式特征用戶行為瀏覽歷史、搜索記錄、購買記錄等行為數(shù)據(jù)可以反映用戶的偏好和興趣?；?dòng)信息點(diǎn)贊、評論、收藏等互動(dòng)信息可以揭示用戶對特定內(nèi)容的態(tài)度和情感。環(huán)境特征用戶所在的地理位置、時(shí)間、設(shè)備信息等可以提供上下文信息，幫助理解用戶的行為。派生特征的表示統(tǒng)計(jì)特征從原始特征計(jì)算得到，例如均值、方差、最大值、最小值等。幾何特征基于數(shù)據(jù)點(diǎn)的空間位置計(jì)算，例如距離、角度、面積等。語義特征從文本數(shù)據(jù)中提取的特征，例如主題、情感、關(guān)鍵詞等。派生特征的表示-統(tǒng)計(jì)特征統(tǒng)計(jì)特征提取統(tǒng)計(jì)特征是對數(shù)據(jù)分布進(jìn)行統(tǒng)計(jì)分析，提取出反映數(shù)據(jù)分布特征的值。常見的統(tǒng)計(jì)特征均值方差標(biāo)準(zhǔn)差偏度峰度應(yīng)用場景統(tǒng)計(jì)特征適用于數(shù)值型數(shù)據(jù)，例如價(jià)格、銷量、時(shí)間等。幾何特征形狀特征形狀特征描述了物體的外觀輪廓和幾何形狀，如長度、寬度、周長、面積和體積等?？臻g關(guān)系特征空間關(guān)系特征表示了物體之間的相對位置和方向，例如距離、角度、重疊和鄰接等。紋理特征紋理特征反映了物體的表面結(jié)構(gòu)和圖案，例如粗糙度、光滑度、周期性和方向性等。語義特征的表示語義特征捕捉數(shù)據(jù)中蘊(yùn)含的含義和關(guān)系，超越簡單的數(shù)值或類別。它通過自然語言處理、知識(shí)圖譜等技術(shù)提取文本、圖像、音頻等數(shù)據(jù)中的語義信息。例如，從產(chǎn)品評論中提取用戶情感，可以將積極、消極等情感信息作為語義特征。這種特征可以幫助理解用戶對產(chǎn)品的真實(shí)感受，提高推薦系統(tǒng)的準(zhǔn)確性。組合特征的表示特征組合將多個(gè)原始特征或派生特征進(jìn)行組合，以捕捉特征之間的相互作用。例如，將用戶年齡和性別組合成一個(gè)新特征，可以更好地預(yù)測用戶購買行為。組合特征可以是簡單的加減乘除運(yùn)算，也可以是更復(fù)雜的非線性函數(shù)。組合特征的表示特征工程的作用特征工程是指從原始數(shù)據(jù)中提取、轉(zhuǎn)換和組合特征，構(gòu)建新的特征集，以提高機(jī)器學(xué)習(xí)模型的性能。特征工程的價(jià)值特征工程可以有效地彌補(bǔ)算法的不足，提升模型的表達(dá)能力，最終提高模型的準(zhǔn)確率和泛化能力。特征工程的步驟特征選擇特征提取特征轉(zhuǎn)換自動(dòng)特征生成基于規(guī)則的生成根據(jù)領(lǐng)域知識(shí)和經(jīng)驗(yàn)，手動(dòng)定義特征生成規(guī)則。例如，使用時(shí)間戳生成時(shí)間特征，或根據(jù)其他特征組合生成新的特征。基于模型的生成利用機(jī)器學(xué)習(xí)模型自動(dòng)學(xué)習(xí)特征組合。例如，使用決策樹或神經(jīng)網(wǎng)絡(luò)等模型，將原始特征作為輸入，學(xué)習(xí)并生成新的特征。常見特征表示方法獨(dú)熱編碼將類別型特征轉(zhuǎn)換為數(shù)值型特征，每個(gè)類別對應(yīng)一個(gè)獨(dú)立的維度。標(biāo)簽編碼將類別型特征轉(zhuǎn)換為數(shù)值型特征，用數(shù)字表示每個(gè)類別。詞嵌入將文本數(shù)據(jù)中的單詞或短語映射到低維向量空間。圖嵌入將圖數(shù)據(jù)中的節(jié)點(diǎn)或邊映射到低維向量空間。One-hot編碼定義將類別型特征轉(zhuǎn)換為數(shù)值型特征的編碼方式，每個(gè)類別對應(yīng)一個(gè)向量，向量中只有一個(gè)元素為1，其余為0。優(yōu)點(diǎn)簡單易懂，能有效地將類別型特征轉(zhuǎn)換為模型可理解的數(shù)值型特征。缺點(diǎn)特征空間維度會(huì)隨著類別數(shù)量的增加而線性增長，容易導(dǎo)致維度災(zāi)難。適用場景適用于類別數(shù)量較少且特征之間相互獨(dú)立的場景，例如性別、城市等。標(biāo)簽編碼數(shù)字映射將每個(gè)類別映射到一個(gè)唯一的整數(shù)。字母順序根據(jù)字母順序進(jìn)行編碼。標(biāo)簽分配將每個(gè)類別分配一個(gè)特定的標(biāo)簽。哈希編碼11.壓縮映射將高維特征映射到低維空間，壓縮特征空間。22.碰撞處理多個(gè)特征可能映射到同一個(gè)哈希值，需要解決沖突。33.效率提升降低內(nèi)存占用和計(jì)算復(fù)雜度，提高模型效率。44.特征稀疏適用于高維稀疏特征，如文本或圖像數(shù)據(jù)。詞嵌入將單詞映射到向量空間將詞匯表中的每個(gè)單詞表示為一個(gè)向量，向量中的每個(gè)維度代表單詞的語義信息。捕捉單詞間的語義關(guān)系通過向量之間的距離或相似度來衡量單詞之間的語義相似性，例如“國王”和“女王”的向量距離會(huì)比“國王”和“桌子”更近。圖嵌入圖數(shù)據(jù)表示將圖數(shù)據(jù)映射到低維向量空間，保留圖結(jié)構(gòu)和節(jié)點(diǎn)屬性信息。機(jī)器學(xué)習(xí)模型圖嵌入用于機(jī)器學(xué)習(xí)任務(wù)，如節(jié)點(diǎn)分類、鏈接預(yù)測和社區(qū)檢測。深度學(xué)習(xí)深度學(xué)習(xí)模型可以學(xué)習(xí)復(fù)雜圖結(jié)構(gòu)，并生成更準(zhǔn)確的圖嵌入。特征選擇的目的和方法目的：提高模型性能特征選擇可以提高模型的泛化能力，減少過擬合，降低模型訓(xùn)練時(shí)間。特征選擇可以降低模型復(fù)雜度，提高模型的解釋性和可維護(hù)性。方法：過濾法、包裹法、嵌入法過濾法根據(jù)特征本身的屬性進(jìn)行選擇，不需要訓(xùn)練模型。包裹法使用模型的性能作為評價(jià)指標(biāo)，通過不斷搜索特征子集來選擇最佳特征。嵌入法將特征選擇融入模型訓(xùn)練過程，通過模型學(xué)習(xí)到的參數(shù)來選擇特征。特征選擇的目的11.降低模型復(fù)雜度減少不相關(guān)或冗余特征，簡化模型訓(xùn)練過程。22.提升模型泛化能力避免過擬合，提高模型在未知數(shù)據(jù)上的預(yù)測精度。33.提高模型可解釋性通過識(shí)別重要特征，更好地理解模型的預(yù)測依據(jù)。44.降低計(jì)算成本減少特征數(shù)量，降低模型訓(xùn)練和預(yù)測的計(jì)算量。特征選擇的方法過濾法根據(jù)特征本身的屬性進(jìn)行選擇，不需要訓(xùn)練模型。包裹法利用模型訓(xùn)練后的性能指標(biāo)進(jìn)行選擇，需要多次訓(xùn)練模型。嵌入法在模型訓(xùn)練過程中，通過特征權(quán)重或正則化進(jìn)行選擇，不需要單獨(dú)的特征選擇步驟。特征選擇算法概述過濾法根據(jù)特征本身的性質(zhì)進(jìn)行選擇。包裹法使用機(jī)器學(xué)習(xí)模型來評估特征子集的性能，并選擇最佳子集。嵌入法在模型訓(xùn)練過程中，將特征選擇集成到模型的訓(xùn)練過程中?？ǚ綑z驗(yàn)基本原理卡方檢驗(yàn)是一種常用的統(tǒng)計(jì)檢驗(yàn)方法，用于檢驗(yàn)兩個(gè)分類變量之間是否存在關(guān)聯(lián)關(guān)系。它通過比較觀測頻數(shù)與期望頻數(shù)之間的差異來判斷這種關(guān)聯(lián)關(guān)系是否顯著。應(yīng)用場景卡方檢驗(yàn)在特征選擇中常用于評估特征與目標(biāo)變量之間的相關(guān)性。例如，可以用來檢驗(yàn)性別特征是否與購買商品的傾向性存在關(guān)聯(lián)?；バ畔⑿畔⒃鲆婧饬刻卣骱湍繕?biāo)變量之間相互依賴程度，互信息越大，特征越重要。公式互信息是兩個(gè)變量聯(lián)合概率與它們各自概率乘積的比值的期望值。應(yīng)用用于特征選擇，篩選出與目標(biāo)變量相關(guān)性較高的特征。遞歸特征消除11.逐步消除從所有特征開始，逐次迭代刪除最不重要的特征。22.模型訓(xùn)練每次刪除特征后，重新訓(xùn)練模型，評估模型性能。33.特征排序根據(jù)模型性能的變化，對特征重要性進(jìn)行排序，并選擇性能最好的特征子集。44.迭代過程重復(fù)步驟1-3，直到達(dá)到預(yù)期的特征數(shù)量或模型性能不再改善。L1正則化L1正則化公式L1正則化通過添加所有權(quán)重絕對值的總和來懲罰模型的復(fù)雜性。稀疏特征向量L1正則化傾向于產(chǎn)生稀疏的特征向量，其中許多特征的權(quán)重為零。特征選擇通過將不重要的特征的權(quán)重設(shè)置為零，L1正則化有效地執(zhí)行了特征選擇。特征表示在實(shí)際應(yīng)用中的挑戰(zhàn)1高維稀疏特征現(xiàn)實(shí)世界中的數(shù)據(jù)常常具有高維稀疏性，這會(huì)給模型訓(xùn)練帶來困難。2異構(gòu)和結(jié)構(gòu)化特征許多應(yīng)用場景中的數(shù)據(jù)包含多種類型和結(jié)構(gòu)的特征，需要進(jìn)行特殊處理。3特征偏移和噪聲訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間的分布差異，以及數(shù)據(jù)中的噪聲，都會(huì)影響模型性能。高維稀疏特征數(shù)據(jù)稀疏性高維稀疏特征會(huì)導(dǎo)致大多數(shù)特征值為零，導(dǎo)致數(shù)據(jù)稀疏，給模型訓(xùn)練帶來挑戰(zhàn)。維數(shù)災(zāi)難高維特征空間會(huì)導(dǎo)致維數(shù)災(zāi)難，模型難以學(xué)習(xí)有效的關(guān)系，降低模型性能。維度不平衡某些特征可能具有更高維度，導(dǎo)致數(shù)據(jù)分布不平衡，對模型學(xué)習(xí)造成偏差。異構(gòu)和結(jié)構(gòu)化特征結(jié)構(gòu)化特征結(jié)構(gòu)化特征，例如時(shí)間序列數(shù)據(jù)、圖數(shù)據(jù)等，它們具有明確的結(jié)構(gòu)和關(guān)系。異構(gòu)特征現(xiàn)實(shí)世界中，數(shù)據(jù)往往是異構(gòu)的，包含不同類型和結(jié)構(gòu)的特征。組合特征異構(gòu)和結(jié)構(gòu)化特征的組合，例如文本和圖像的融合，為模型提供了更全面的信息。特征偏移和噪聲特征偏移特征偏移是指訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間分布不一致的情況。例如，在訓(xùn)練數(shù)據(jù)中，用戶行為可能偏向于某些特定人群，而在測試數(shù)據(jù)中，用戶的行為可能發(fā)生變化。噪聲噪聲是指數(shù)據(jù)中的錯(cuò)誤或不準(zhǔn)確信息。例如，數(shù)據(jù)采集過程中的錯(cuò)誤、人為誤差以及數(shù)據(jù)傳輸過程中的丟失等。影響特征偏移和噪聲會(huì)影響模型的泛化能力，導(dǎo)致模型在測試數(shù)據(jù)上的性能下降。特征工程的最佳實(shí)踐領(lǐng)域知識(shí)融合利用領(lǐng)域?qū)＜业膶I(yè)知識(shí)，深入理解業(yè)務(wù)場景和數(shù)據(jù)特點(diǎn)。將領(lǐng)域知識(shí)融入特征工程設(shè)計(jì)，提高特征的解釋性和有效性。特征設(shè)計(jì)與選擇根據(jù)業(yè)務(wù)目標(biāo)和數(shù)據(jù)特點(diǎn)，設(shè)計(jì)出能夠有效表達(dá)數(shù)據(jù)信息的特征。采用特征選擇算法，識(shí)別出對模型性能貢獻(xiàn)最大的特征。領(lǐng)域知識(shí)融合利用領(lǐng)域知識(shí)將專家和領(lǐng)域知識(shí)融入特征工程流程，提高特征的準(zhǔn)確性和解釋性。特征定義理解數(shù)據(jù)背后的業(yè)務(wù)含義，例如，針對電商數(shù)據(jù)，需要考慮用戶行為、商品屬性和價(jià)格等因素。特征選擇結(jié)合領(lǐng)域知識(shí)進(jìn)行特征選擇，選擇與目標(biāo)變量相關(guān)的特征，并排除無關(guān)或冗余特征。特征設(shè)計(jì)與選擇特征設(shè)計(jì)通過領(lǐng)域知識(shí)和數(shù)據(jù)分析，創(chuàng)造新的特征以更好地表達(dá)數(shù)據(jù)。特征選擇從現(xiàn)有特征集合中選取最有效、最具代表性的特征，以提升模型性能。特征評估評估特征對模型性能的影響，并選擇最優(yōu)的特征組合。迭代優(yōu)化11.數(shù)據(jù)分析分析特征工程結(jié)果，評估模型性能。22.特征調(diào)整根據(jù)分析結(jié)果，調(diào)整特征設(shè)計(jì)、選擇和生成方法。33.重新訓(xùn)練使用更新的特征集重新訓(xùn)練模型，評估改進(jìn)效果。44.持續(xù)優(yōu)化循環(huán)迭代優(yōu)化過程，直到達(dá)到預(yù)期性能目標(biāo)。總結(jié)和展望特征表示是機(jī)器學(xué)習(xí)的核心環(huán)節(jié)之一。它直接影響模型的性能和可解釋性。特征表示的進(jìn)展與趨勢深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在特征提取方面取得重大突破，尤其在圖像、語音識(shí)別領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí)高級(jí)特征表示。數(shù)據(jù)規(guī)模的增長隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，特征工程需要處理更大