大數(shù)據(jù)中的數(shù)據(jù)預(yù)處理技術(shù)分析

大數(shù)據(jù)中的數(shù)據(jù)預(yù)處理技術(shù)分析摘要：隨著信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)技術(shù)也快速發(fā)展并且應(yīng)用越來越廣泛。信息技術(shù)的飛速發(fā)展為數(shù)據(jù)的收集和分析提供了強大的技術(shù)基礎(chǔ)，并且隨著數(shù)學(xué)與計算機科學(xué)的交匯，大數(shù)據(jù)技術(shù)的應(yīng)用價值越來越大。本文根據(jù)大數(shù)據(jù)技術(shù)的數(shù)據(jù)預(yù)處理要求，簡要論述了大數(shù)據(jù)的預(yù)處理技術(shù)。分析結(jié)果表明，對數(shù)據(jù)進行預(yù)處理，可以更準確的獲得有價值的數(shù)據(jù)。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)預(yù)處理；技術(shù)；分析

一、大數(shù)據(jù)技術(shù)

1.概念

大數(shù)據(jù)技術(shù)，是指一種在不使用傳統(tǒng)隨機理論進行數(shù)據(jù)分析的情況下對數(shù)據(jù)進行集成分析和處理的方法，主要是在數(shù)據(jù)處理方面面臨挑戰(zhàn)。由于實際的生產(chǎn)和壽命，會生成并存儲大量數(shù)據(jù)，這些數(shù)據(jù)可以表征該過程。您會看到使用科學(xué)合理的數(shù)據(jù)處理方法時，會挖掘它們的唯一值并將其用于優(yōu)化。控制和決策制定并加深數(shù)據(jù)的價值。大數(shù)據(jù)由于其樣本量大，準確性高和出色的科學(xué)質(zhì)量而受到人們的歡迎。同時，大數(shù)據(jù)處理技術(shù)具有高速，多樣化，高價值和可靠性。

2.大數(shù)據(jù)技術(shù)的處理流程

根據(jù)現(xiàn)有的一般大數(shù)據(jù)處理技術(shù)。第一步是數(shù)據(jù)的收集，這是大數(shù)據(jù)的數(shù)據(jù)來源，并且主要依靠信息技術(shù)（例如傳感器網(wǎng)絡(luò)）來實現(xiàn)數(shù)據(jù)收集。下一步是預(yù)處理數(shù)據(jù)，但是由于實際收集的數(shù)據(jù)存在噪音，冗余等問題，因此需要對其進行預(yù)處理以進行計算和分析，這也是本文的重點。第三步是存儲正常檢索的數(shù)據(jù)矩陣。第四步是數(shù)值分析，它是利用數(shù)據(jù)值分析的特定模型。第五步是顯示結(jié)果，以簡單易懂的形式將數(shù)據(jù)展示出來。從整個大數(shù)據(jù)處理過程的角度來看，數(shù)據(jù)預(yù)處理技術(shù)的水平?jīng)Q定了數(shù)據(jù)的可靠性和完整性，并在后續(xù)數(shù)據(jù)分析中起著重要作用。預(yù)處理過程中使用了許多數(shù)學(xué)計算模式。接下來，我們重點介紹相關(guān)數(shù)學(xué)轉(zhuǎn)換和大數(shù)據(jù)預(yù)處理的數(shù)學(xué)分析方法。

二、數(shù)據(jù)預(yù)處理技術(shù)分析

1.需求分析

在數(shù)據(jù)采集的過程中會出現(xiàn)一些問題，例如測量采集設(shè)備的精度不足，數(shù)據(jù)傳輸過程中的環(huán)境干擾，數(shù)據(jù)中的環(huán)境噪聲以及對手動輸入數(shù)據(jù)的篡改，會形成不需要的或者錯誤的數(shù)據(jù)。這些原始數(shù)據(jù)存在以下問題集：（1）混亂。數(shù)據(jù)僅存儲在數(shù)據(jù)集中，缺乏統(tǒng)一的定量和轉(zhuǎn)換標準，因此無法進行數(shù)據(jù)的定量視覺分析。（2）重復(fù)。數(shù)據(jù)具有多個相同的物理描述和特征，尤其是在分析數(shù)據(jù)的方向上存在重復(fù)，這構(gòu)成了數(shù)據(jù)重復(fù)和冗余數(shù)據(jù)的累積。這對樣品的分析是有害的。例如，如果輸入數(shù)據(jù)，則多次輸入同一實體將導(dǎo)致重復(fù)數(shù)據(jù)。（3）模糊。實驗?zāi)Ｐ突驅(qū)嶋H系統(tǒng)設(shè)計必定會存在一些漏洞和缺陷，從而使其物理特性不清楚或混亂。（4）丟失。發(fā)送或記錄數(shù)據(jù)時發(fā)生錯誤，并且數(shù)據(jù)丟失。由于數(shù)據(jù)集的復(fù)雜性，數(shù)據(jù)的準確性和有效性極大地影響了挖掘?qū)W習(xí)的準確性和有效性。因此，對數(shù)據(jù)進行預(yù)處理成為一項重要的預(yù)分析任務(wù)。有很多預(yù)處理數(shù)據(jù)的方法，包括清除數(shù)據(jù)，選擇數(shù)據(jù)和轉(zhuǎn)換數(shù)據(jù)。

2.數(shù)據(jù)清洗

由于各種問題，實際收集的數(shù)據(jù)無法直接用于價值分析。這些不確定的數(shù)據(jù)會嚴重影響大數(shù)據(jù)數(shù)據(jù)分析的準確性，并且在關(guān)鍵情況下會失去分析結(jié)果的實際意義。出于某些目的需要進行預(yù)處理。數(shù)據(jù)清理主要處理不合規(guī)的數(shù)據(jù)，例如重復(fù)數(shù)據(jù)項，噪聲數(shù)據(jù)項和丟失的數(shù)據(jù)項。數(shù)據(jù)重復(fù)會導(dǎo)致數(shù)據(jù)挖掘模型發(fā)生變化，應(yīng)予以消除，但是檢測重復(fù)數(shù)據(jù)的有效方法包括使用基于排序/合并原理的基本鄰接排序算法。在實際的生產(chǎn)和生活中，數(shù)據(jù)不可避免地會有很多漏洞。這是在現(xiàn)實世界中生成的數(shù)據(jù)集的特征，只有某些算法才能補償該錯誤。一般的缺失值預(yù)處理方法為：（1）直接刪除空白數(shù)據(jù)項。該方法的優(yōu)點是明顯，高效且技術(shù)含量較低。但是，對于樣本量不夠大的數(shù)據(jù)集，會出現(xiàn)較大的偏差。（2）使用填充技術(shù)來填充缺失值。由于直接刪除空值可能會對數(shù)據(jù)造成不可挽回的損害，因此我們使用填充算法來完成數(shù)據(jù)，但不容易產(chǎn)生偏差。統(tǒng)計方法：標準正態(tài)分布表明，可以使用數(shù)據(jù)的算術(shù)平均值代替空缺值。這是最簡單，最常用的方法。分類法：面對大數(shù)據(jù)集時，您可以先對其分類，然后再分析和檢查小數(shù)據(jù)集。分類方法對于樣本訓(xùn)練具有很好的容忍性，但往往會過度學(xué)習(xí)。我們將需要設(shè)置更多的測試樣本，并使用更多的算法進行檢測和挖掘，因此在此不再贅述。

3.數(shù)據(jù)選樣

數(shù)據(jù)選擇分為簡單隨機選擇和分層樣本選擇。這是數(shù)學(xué)中的典型統(tǒng)計問題。其中，簡單隨機樣本選擇不包括替換樣本選擇和替換樣本選擇。簡單的隨機樣本選擇算法易于實現(xiàn)?？梢越Y(jié)合使用排列和概率知識以及中學(xué)編程知識來進行操作。通過分層樣本選擇獲得的數(shù)據(jù)子集適用于數(shù)據(jù)挖掘。

4.數(shù)據(jù)變換

數(shù)據(jù)轉(zhuǎn)換的目的是將數(shù)據(jù)轉(zhuǎn)換為特定挖掘所需的格式。通常需要將其與實際數(shù)據(jù)挖掘算法結(jié)合起來以執(zhí)行特定的數(shù)據(jù)轉(zhuǎn)換。通常，它可以分為簡單功能轉(zhuǎn)換和統(tǒng)一標準轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換的重點是將難以表達和計算的原始不規(guī)則性轉(zhuǎn)換為規(guī)范化的可分析數(shù)據(jù)，從而消除了由于收集和存儲數(shù)據(jù)而造成的缺陷。嘗試消除數(shù)據(jù)轉(zhuǎn)換的基礎(chǔ)是簡單的功能轉(zhuǎn)換，它通過特定的數(shù)學(xué)排列方式對數(shù)據(jù)進行排列，以采用曲線擬合方法。更復(fù)雜的算法也可以使用不同的復(fù)雜算法，例如Z分數(shù)歸一化算法，以使數(shù)據(jù)轉(zhuǎn)換更加準確和科學(xué)。此外，在使用數(shù)據(jù)之前，您需要合并數(shù)據(jù)，合并配置有不同數(shù)據(jù)源的數(shù)據(jù)集以刪除冗余數(shù)據(jù)，將兩個或多個上述數(shù)據(jù)集合并到同一數(shù)據(jù)集中。一種處理不正確的空位值的清潔技術(shù)，以使所獲取的數(shù)據(jù)集更加科學(xué)和準確。

結(jié)束語

目前大多數(shù)技術(shù)都是基于某些特定數(shù)學(xué)類型的典型問題。通過本文的分析可以看出，實際收集到的數(shù)據(jù)受外部環(huán)境的影響很大，因此數(shù)據(jù)是變化的，難以保證數(shù)據(jù)的質(zhì)量。同時，由于不同行業(yè)對數(shù)據(jù)的要求不同，有必要結(jié)合具體應(yīng)用采用科學(xué)合理的數(shù)據(jù)預(yù)處理方法。因此，通過對數(shù)據(jù)的預(yù)處理，可以去除數(shù)據(jù)中的冗余或者錯誤的數(shù)據(jù)，得到更有價值的數(shù)據(jù)。

參考文獻：

[1]孔欽,葉長青,孫赟.大數(shù)據(jù)下數(shù)據(jù)預(yù)處理方法