數(shù)據(jù)科學(xué)的統(tǒng)計(jì)學(xué)內(nèi)涵 - 圖文-

1、 統(tǒng) 計(jì) 研 究 年 月 計(jì) 和假設(shè) 檢 驗(yàn) ） ， 然 而 數(shù) 據(jù) 收 集 方 式 的 改 變 直 接 淡 化 了樣本 的意義 。比如基 于瀏覽 和偏 好數(shù)據(jù) 構(gòu)建 的 格式具有 彈性和適應(yīng)性 （ 非 固定 格式 ） 。下表 列 出 了關(guān) 系型數(shù)據(jù)庫(kù)管理 系統(tǒng) （ ） 與 的 推薦 算法 ， 誠(chéng)然 改進(jìn)算 法可 以改 善推 薦效果 ， 但 是增 加數(shù) 據(jù) 同樣 可 以達(dá) 到 相 同 的 目的 ， 甚至效 果更好。 即所 謂 的“ 大量 的數(shù) 據(jù) 勝 于 好 的算 法 ” 這 與 統(tǒng) 計(jì) 學(xué) 的關(guān) 鍵定 律 （ 大數(shù)定 律 和 中心極 限定 理 ） 是一 致 的。 同樣 ， 在 大數(shù) 據(jù)分 析

2、 中 ， 可 以用 數(shù) 量 來 產(chǎn)生 質(zhì) 量 ， 而 區(qū)別 。事實(shí)上 ， 有些 開始 借鑒 的 一 些思路（ 如 和 ） ， 而 基 于 的 高 級(jí) 查 詢 語(yǔ) 言 （ 如 和 ） 也 使 更 接 近傳 統(tǒng) 的數(shù) 據(jù)庫(kù) 編 程 ， 二 者 的差 異 將 變得 越來 越模糊 ” 。 表 關(guān) 系型 數(shù) 據(jù) 庫(kù) 管理 系統(tǒng) （ ） 與 的 比較 不再 需要 用樣 本來 推 斷總 體 。事 實(shí) 上 ， 在某 些 場(chǎng) 合 （ 比如社會(huì) 網(wǎng)絡(luò)數(shù)據(jù) ） ， 抽樣 本身 是 困難 的。 數(shù) 據(jù)導(dǎo) 向 的、 基 于算 法 的數(shù) 據(jù) 分 析方 法 成 為計(jì) 算 機(jī)時(shí)代 統(tǒng)計(jì) 學(xué)發(fā) 展無法 回避 的一個(gè) 重要 趨勢(shì)

3、 。算 數(shù) 據(jù)量 訪 問形 式 交 互 式 和 批 處 理 批 處 理 法 模型 不僅對(duì) 數(shù)據(jù) 分 布 結(jié) 構(gòu)有 更 少 的限 制性 假 定 ， 而 且在計(jì) 算效 率上 有很 大 的優(yōu) 勢(shì) 。特別 是一些 積極 的開源 軟件 的支撐 ， 以及 天生 與計(jì)算 機(jī) 的相容 性 ， 使 算 法模 型越來 越受 到學(xué) 界 的廣泛重 視 。 大 數(shù)據(jù) 分 析 首先 涉 及 到存 儲(chǔ) 、 傳 輸?shù)?大 數(shù) 據(jù)管 更 新頻 次 結(jié) 構(gòu)模 式 結(jié) 構(gòu) 化 程 度 完 整 性 多次 讀 寫 靜 態(tài) 模 式 結(jié) 構(gòu) 化 的數(shù) 據(jù) 集 高 一次寫入 ， 多 次 讀 取 動(dòng) 態(tài) 模 式 半 結(jié) 構(gòu) 和 非 結(jié) 構(gòu) 數(shù)

4、 據(jù) 集 低 橫 向 擴(kuò) 展 非 線 性 線 性 來源 ： 根 據(jù) （ ） 整理 。 理 方 面的 問題 。僅 從 數(shù) 量 上 來 看 ， 信息爆炸、 數(shù) 據(jù) 過剩 、 數(shù)據(jù) 泛濫 、 數(shù)據(jù)墳?zāi)埂?豐 富 的數(shù) 據(jù) 貧 乏 的知 識(shí) 這些 詞組表 達(dá) 的主 要是 我 們 匱 乏 的 、 捉襟 見 大數(shù) 據(jù)分析 的可行性 問題指 的是 ， 數(shù) 據(jù)量 可能大 到 已經(jīng)超過 了 目前 的存儲(chǔ)能力 ， 或 者盡管 沒有 大到無 法存儲(chǔ) ， 但是如 果算 法對(duì) 內(nèi)存 和 處 理器 要求 很 高 ， 那 么數(shù)據(jù)相 對(duì)也 就 “ 大” 了 。換 句話 說 ， 可行 性 問題 主要是 ， 數(shù)據(jù) 量太 大 了

5、， 或 者算 法 的復(fù) 雜度 太 高 。大 肘 的存 儲(chǔ)能 力 ， 同時(shí) ， 存儲(chǔ) 數(shù) 據(jù) 中有 利用 價(jià)值 的部分 卻 少 之又少 或塵封 窖藏 難 以被發(fā) 現(xiàn) 。這 除 了對(duì) 開采 工 具 的渴求 ， 當(dāng)時(shí) 的情 緒 主要 還 是 遷怨 于 盲 目的記 錄， 把 過多 精力 放在 捕 捉 和存 儲(chǔ) 外 在 信 息 。在 這 種 數(shù)據(jù)分析 的有 效性問題指 的是 ， 盡 管 目前 的硬 件條件 允許 ， 但是耗 時(shí)太久 ， 無 法在 可容 忍 的或 者說 可 以接 受的時(shí) 間范 圍 內(nèi)完成 。 目前 對(duì)有 效性 的解 決 辦 法是 情 況下 ， 開采 有用 的知識(shí) 等價(jià) 于拋棄 無用 的數(shù)

6、據(jù) 。 然而， 大數(shù)據(jù) 時(shí)代 的思路 改變 了， 開始 變本 加 厲 采用并行處理 。注意到 ， 高性能計(jì) 算和 網(wǎng)格計(jì) 算也是 并行處理 ， 但是 對(duì) 于大數(shù) 據(jù) 而言 ， 由于很 多節(jié) 點(diǎn) 需要 訪問大量數(shù)據(jù) ， 因此很 多計(jì)算節(jié) 點(diǎn)會(huì) 因?yàn)?網(wǎng)絡(luò) 帶寬 的 限制而不得 不空 閑等 待 。而 會(huì) 盡量 在計(jì) 算節(jié)點(diǎn)上存儲(chǔ) 數(shù)據(jù) ， 以實(shí)現(xiàn)數(shù) 據(jù) 的本地 快速訪 問 。因 此， 數(shù)據(jù)本地化 是 的核心特征 。 巨細(xì)靡 遺地記 錄一切 可以記錄 的數(shù)據(jù) 。因?yàn)?： 數(shù) 據(jù) 再 怎么拋棄還 是會(huì) 越來 越 多 。我們 不 能通 過刪 減 數(shù) 據(jù) 來適應(yīng) 自己的無 能 ， 為 自己不愿 做 出改

7、變 找借 口， 而是應(yīng)該 面對(duì)現(xiàn) 實(shí) ， 提高處理海量 數(shù)據(jù) 的能力 。 退 一 步， 該刪 除哪些數(shù) 據(jù)呢？ 當(dāng)前無 用的數(shù) 據(jù)將來 也無 大數(shù)據(jù) 存儲(chǔ) 目前廣 泛應(yīng) 用 的是 （ 用 嗎 ？顯然刪 除數(shù)據(jù)的成本要大 于存 儲(chǔ)的成本 。 五、 結(jié) 論 首先 ， 數(shù) 據(jù)科 學(xué) 不 能 簡(jiǎn)單 地 理 解 為統(tǒng) 計(jì) 學(xué) 的重 命名 ， 二者 所 指 “ 數(shù)據(jù)” 并 非同一概念， 前 者 更 為 寬 ） 、 （ ） 等 基 于計(jì)算 機(jī)群 組 的文件 系統(tǒng) ， 它 可 以 通過 簡(jiǎn) 單 增 加計(jì) 算 機(jī)來 無 限地?cái)U(kuò) 充 存 儲(chǔ) 能力 。值 得 注 意 的是 ， 分 布 式文 件系統(tǒng) 存儲(chǔ) 的數(shù) 據(jù)僅

8、僅 是整個(gè) 架 構(gòu) 中最 基礎(chǔ) 的 泛， 不 僅包 括結(jié) 構(gòu)型 數(shù)據(jù) ， 而且 還包 括文本 、 圖像 、 視 頻、 音頻、 網(wǎng)絡(luò) 志 等 非結(jié) 構(gòu) 型 和 半 結(jié) 構(gòu) 型數(shù) 據(jù) ； 同 時(shí)， 數(shù)量 級(jí) 也 是 后 者 難 以企 及 的 （ 以上 ） 。但 是 數(shù)據(jù) 科學(xué) 的理論 基 礎(chǔ) 是 統(tǒng)計(jì) 學(xué) ， 數(shù)據(jù) 科 學(xué) 可 以看作 是統(tǒng)計(jì) 學(xué) 在研 究 范 圍 （ 對(duì)象 ） 和分 析 方 法 上 不 斷擴(kuò) 展 的結(jié)果 ， 特別 是數(shù) 據(jù)導(dǎo) 向 的、 基于算 法 的數(shù) 據(jù)分析 方法 越來 越受 到學(xué)界 的廣 泛重 視 。 描述 ， 是為其他部件 服務(wù)的 （ 比如 ） ， 并 不 能直接 用 于

9、統(tǒng)計(jì) 分 析 。而 這類 分 布 式 存 儲(chǔ) 系統(tǒng) 可 以 實(shí) 現(xiàn)高 級(jí) 查詢 語(yǔ) 言， 比如 的 和 ， 的 ， 還有 、 等 。 與 傳 統(tǒng) 的 關(guān) 系 型 數(shù) 據(jù) 庫(kù) 管 理 系 統(tǒng) （ ） 不 同的是 ， 數(shù)據(jù) 庫(kù) 對(duì)現(xiàn) 實(shí) 中的數(shù) 據(jù) 第二 ， 從某 種程 度上來 講 ， 大數(shù) 據(jù)考 驗(yàn) 的并不是 第 卷 第 期 魏瑾瑞 蔣萍 ： 數(shù) 據(jù) 科 學(xué) 的 統(tǒng) 計(jì) 學(xué) 內(nèi) 涵 統(tǒng) 計(jì)學(xué) 的方 法論 ， 而是 計(jì) 算 機(jī) 科 學(xué) 技 術(shù) 和 算 法 的適 應(yīng) 性 。譬 如 大數(shù) 據(jù) 的存儲(chǔ) 、 管 理 以及分 析架 構(gòu) ， 這些 ， ， ： ， ， 都是 技術(shù) 上 的應(yīng) 對(duì) ， 核 心 的數(shù)

10、 據(jù) 分 析 邏輯 并 沒 有 實(shí) 質(zhì)性 的改變 。 因此 ， 大 數(shù) 據(jù) 分 析 的關(guān) 鍵 是 計(jì) 算 機(jī) 技 術(shù) 如 何更 新 升級(jí) 以適 應(yīng) 這 種 變 革 ， 以便 可 以像 從 前 一 朱 揚(yáng) 勇 ，熊 贅 數(shù) 據(jù) 學(xué) 與 數(shù) 據(jù) 科 學(xué) 發(fā) 展 現(xiàn) 狀 ： 一 樣 滿 足統(tǒng) 計(jì)分 析 的需要 。 第三， 大 數(shù)據(jù) 問題 很 大程度 上來 自于商業(yè) 領(lǐng) 域 ， 受 商 業(yè)利 益驅(qū) 動(dòng) ， 因此 數(shù)據(jù) 科學(xué) 還被 普遍 定 義為 ， 將 數(shù) 據(jù) 轉(zhuǎn)化 為有 價(jià)值 的 商業(yè)信 息 的完 整過 程 。這種 強(qiáng) 調(diào) 應(yīng)用 維度 的觀點(diǎn) 無 可 厚 非 ， 因?yàn)?此 處 是 數(shù) 據(jù) 產(chǎn) 生 的

11、土壤 ， 符 合數(shù) 據(jù)科 學(xué)數(shù) 據(jù)導(dǎo) 向的理念 。不過 ， 早 在 世 紀(jì) 年 代 中 期 ， 已故 圖靈 獎(jiǎng)得 主格 雷 （ 鄭 京 平 ，王 全 眾 官方 統(tǒng) 計(jì) 應(yīng) 如 何 面 對(duì) 的挑 戰(zhàn) 統(tǒng) 計(jì)研 究， （ ） ： ， （ ） ： ： ， （ ） ： ） 就 已經(jīng)意 識(shí) 到， 數(shù) 據(jù) 庫(kù) 技 術(shù) 的下 一 個(gè) “ 大 數(shù) 據(jù)” 挑 戰(zhàn)將 會(huì) 來 自科 學(xué) 領(lǐng) 域 而 非 商 業(yè) 領(lǐng) 域 （ 科 學(xué) 研 ， （ ）： ， ， ， ， （ ） ： 究 領(lǐng)域 成為 產(chǎn)生 大 數(shù) 據(jù) 的重 要 土 壤 ） 。他 提 出科 學(xué) 研 究 的“ 第 四范式 ” 是數(shù)據(jù) ， 不 同 于實(shí) 驗(yàn) 、 理

12、論 、 和計(jì) 算這三種 范式 ， 在該 范式下 ， 需要 “ 將 計(jì) 算 用 于 數(shù) 據(jù)， 而非 將 數(shù) 據(jù) 用 于 計(jì) 算 ” 。這 種 觀 點(diǎn) 實(shí) 際 上 將 數(shù) 據(jù)從 計(jì)算 科 學(xué) 中單獨(dú) 區(qū)別 開 了 。 ： ， （ ） ： ， ， ， ， 第 四， 數(shù) 據(jù)科 學(xué) 范 式 對(duì) 統(tǒng)計(jì) 分 析 過 程 的各 個(gè) 環(huán) 節(jié)都 提 出 了挑戰(zhàn) ， 集 中表 現(xiàn) 在 數(shù)據(jù) 收集 和數(shù) 據(jù) 分 析 這兩 個(gè)方 面 。數(shù)據(jù) 收 集不再 是 刻意 的 、 經(jīng)過設(shè) 計(jì) 的 ， ， 一 ： 一 而更 多 的是用 戶使 用 電子數(shù) 碼 產(chǎn) 品的副 產(chǎn) 品或用 戶 自行 產(chǎn) 生的 內(nèi)容 ， 這 種 改 變 的

13、直接 影 響是 淡 化 了樣 ， ， （ ）： 本 的意義 ， 同時(shí)增 進(jìn) 了數(shù)據(jù) 的 客觀性 。事實(shí) 上 ， 在 某 些場(chǎng) 合 （ 比如 社 會(huì) 網(wǎng)絡(luò) 數(shù) 據(jù) ） ， 抽 樣 本 身 是 困難 的 。 數(shù)據(jù) 的存 儲(chǔ) 和分析 也不 再一 味地 依賴 于 高性 能計(jì) 算 機(jī)， 而是轉(zhuǎn) 向 由中低 端設(shè) 備構(gòu) 成 的大 規(guī) 模 群 組 并 行 處理 ， 采用 橫 向擴(kuò)展 的方式 。 王 珊 ，等 架 構(gòu) 大 數(shù) 據(jù) ： 挑戰(zhàn)、 現(xiàn)狀 與展望 計(jì)算機(jī) 學(xué)報(bào)， （ ） ： ： ， ， ， ， ： 一 第五， 目前 關(guān) 于 大 數(shù)據(jù) 和 數(shù) 據(jù) 科學(xué) 的討 論 多 集 中于軟硬 件架 構(gòu) （ 視 角

14、） 和 商業(yè) 領(lǐng) 域 （ 應(yīng) 用 視 角） ， 統(tǒng)計(jì) 學(xué) 的視 角 似 乎 被 邊 緣 化 了 ， 比如 覆 蓋 面 、 代 表性 等 問題 。統(tǒng) 計(jì) 學(xué) 以數(shù) 據(jù) 為 研究 對(duì) 象 ， 它 對(duì) 大 作 者 簡(jiǎn) 介 數(shù) 據(jù)分 析 的影 響也 是 顯 而 易 見 的 ， 特 別 是 天然 的 或 潛 在 的平衡 或相 關(guān) 關(guān) 系 不 僅 約束 了數(shù) 據(jù) 質(zhì) 量 ， 而且 為統(tǒng)計(jì) 推 斷和 預(yù)測(cè) 開辟 了新 的視 野 。 參 考 文 獻(xiàn) ： （ ） ： 魏瑾 瑞 ， 男， 年 生 ， 河北武安人 ， 年 畢 業(yè) 于 廈 門 大學(xué)經(jīng)濟(jì)學(xué)院統(tǒng)計(jì) 系， 獲經(jīng) 濟(jì)學(xué)博 士學(xué)位 ， 現(xiàn) 為 東北 財(cái) 經(jīng) 大