審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf課件_第1頁(yè)
審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf課件_第2頁(yè)
審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf課件_第3頁(yè)
審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf課件_第4頁(yè)
審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf課件_第5頁(yè)
已閱讀5頁(yè),還剩162頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、審計(jì)數(shù)據(jù)采集與分析技術(shù)概要-wxf2022/7/24審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf計(jì)算機(jī)審計(jì)的含義一般認(rèn)為,計(jì)算機(jī)審計(jì)有3層含義:面向數(shù)據(jù)的審計(jì)面向現(xiàn)行信息系統(tǒng)的審計(jì)對(duì)信息系統(tǒng)生命周期的審計(jì)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf面向數(shù)據(jù)的計(jì)算機(jī)審計(jì)流程審前調(diào)查:電子數(shù)據(jù)的組織、處理和存儲(chǔ)數(shù)據(jù)采集:審計(jì)接口、數(shù)據(jù)庫(kù)訪問(wèn)技術(shù)、數(shù)據(jù)采集技術(shù)數(shù)據(jù)清理、轉(zhuǎn)換、驗(yàn)證、建立中間表數(shù)據(jù)分析:數(shù)據(jù)分析技術(shù)、SQL、審計(jì)軟件審計(jì)取證審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf一、審前調(diào)查及電子數(shù)據(jù)的組織、處理和存儲(chǔ)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法 對(duì)組織結(jié)構(gòu)調(diào)查管理體制在管理集中度高的單位,系統(tǒng)相應(yīng)是集中式的

2、;數(shù)據(jù)由下級(jí)部門(mén)錄入并上傳,下級(jí)部門(mén)可能了解數(shù)據(jù)結(jié)構(gòu),也可能根本不知道數(shù)據(jù)結(jié)構(gòu);在上傳前可能進(jìn)行具體的數(shù)據(jù)處理,也可能不進(jìn)行任何處理,只上傳原始數(shù)據(jù);通過(guò)對(duì)管理體制的調(diào)查,可以為以后確定索取哪些技術(shù)資料、數(shù)據(jù),以及索取的方式方法等提供依據(jù);部門(mén)設(shè)置情況 部門(mén)的具體職能 部門(mén)內(nèi)計(jì)算機(jī)信息系統(tǒng)的情況并非所有的業(yè)務(wù)都一定運(yùn)用計(jì)算機(jī)信息系統(tǒng) 選擇重點(diǎn)部門(mén)進(jìn)行部門(mén)內(nèi)計(jì)算機(jī)信息系統(tǒng)情況的調(diào)查審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法對(duì)計(jì)算機(jī)信息系統(tǒng)的調(diào)查 對(duì)計(jì)算機(jī)信息系統(tǒng)概況的調(diào)查 硬件設(shè)備 系統(tǒng)軟件 系統(tǒng)技術(shù)文檔資料 系統(tǒng)的主要功能 系統(tǒng)的業(yè)務(wù)處理流程 對(duì)數(shù)據(jù)庫(kù)及數(shù)據(jù)的調(diào)查 數(shù)據(jù)庫(kù)相關(guān)技術(shù)情況

3、系統(tǒng)設(shè)計(jì)說(shuō)明書(shū)數(shù)據(jù)庫(kù)詳細(xì)設(shè)計(jì)說(shuō)明書(shū),基本包含以下內(nèi)容:總數(shù)據(jù)流圖和具體業(yè)務(wù)數(shù)據(jù)流圖、軟件結(jié)構(gòu)圖設(shè)計(jì)數(shù)據(jù)庫(kù)表間關(guān)系圖表結(jié)構(gòu)描述數(shù)據(jù)庫(kù)SQL文件(含表、視圖、觸發(fā)器、存儲(chǔ)過(guò)程等)用戶使用手冊(cè)系統(tǒng)對(duì)業(yè)務(wù)處理的流程審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審前調(diào)查的內(nèi)容和方法提出數(shù)據(jù)需求確定所需數(shù)據(jù)內(nèi)容 確定數(shù)據(jù)獲取的具體方式 提出書(shū)面數(shù)據(jù)需求 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf電子數(shù)據(jù)的組織、處理和存儲(chǔ)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf電子數(shù)據(jù)處理的特點(diǎn)存儲(chǔ)介質(zhì)改變(紙張磁性、光電介質(zhì))基于一定的數(shù)據(jù)處理平臺(tái),有一定的數(shù)據(jù)模型(層次、網(wǎng)狀和關(guān)系模型,利用DBMS存儲(chǔ)和管理數(shù)據(jù),會(huì)計(jì)

4、信息組織與手工系統(tǒng)不同)數(shù)據(jù)表示編碼化(各種編碼)帶來(lái)系統(tǒng)控制和數(shù)據(jù)安全性的新問(wèn)題(傳統(tǒng)的控制點(diǎn)正在發(fā)生變化,信息系統(tǒng)的控制與安全性問(wèn)題日漸突出)審計(jì)線索改變(修改數(shù)據(jù)文件可以不留下痕跡,可以利用諸如系統(tǒng)日志和數(shù)據(jù)庫(kù)日志等系統(tǒng)控制手段發(fā)現(xiàn)一些線索)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf如何表示數(shù)據(jù)數(shù)據(jù)模型數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界數(shù)據(jù)特征的抽象它提供模型化數(shù)據(jù)和信息的工具審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)模型的2個(gè)層次在信息世界中,使用概念模型(用于信息世界建模,語(yǔ)義表達(dá)能力強(qiáng))E-R模型是一種常用的概念模型,它用來(lái)描述實(shí)體以及實(shí)體之間的聯(lián)系E-R模型的要素實(shí)體:客觀存在并可以相互區(qū)分的事物,用方框表示

5、屬性:實(shí)體的特征或性質(zhì),用橢圓表示聯(lián)系:實(shí)體之間的聯(lián)系,用菱形表示在計(jì)算機(jī)世界中,使用具體DBMS支持的數(shù)據(jù)模型(用于機(jī)器世界,有嚴(yán)格的形式化定義)關(guān)系模型層次模型網(wǎng)狀模型審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)模型的3個(gè)要素?cái)?shù)據(jù)結(jié)構(gòu)描述模型的靜態(tài)特征是刻畫(huà)數(shù)據(jù)模型最重要的方面數(shù)據(jù)操作描述模型的動(dòng)態(tài)特性數(shù)據(jù)檢索數(shù)據(jù)更新(增加、刪除、修改)約束條件一組完整性規(guī)則的集合實(shí)體完整性引用(參照)完整性用戶定義的完整性審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型關(guān)系模型是目前最常用的一種數(shù)據(jù)模型關(guān)系數(shù)據(jù)庫(kù)采用關(guān)系模型作為數(shù)據(jù)的組織方式關(guān)系模型建立在嚴(yán)格的關(guān)系代數(shù)基礎(chǔ)之上關(guān)系模型概念單一實(shí)體以及實(shí)體之間的聯(lián)系都用

6、關(guān)系來(lái)表示。關(guān)系之間的聯(lián)系則是通過(guò)相容(來(lái)自同一個(gè)域)的屬性來(lái)表示。關(guān)系必須是規(guī)范化的關(guān)系最基本的要求是每一個(gè)分量是一個(gè)不可分的數(shù)據(jù)項(xiàng),亦即不允許表中還有表 (滿足第一范式,1NF)關(guān)系數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)語(yǔ)言SQL是一種非過(guò)程化語(yǔ)言,使用方便審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的術(shù)語(yǔ)關(guān)系一張二維表,每一列都不可再分表中的行、列次序并不重要元組二維表中的每一行,相當(dāng)于一條記錄屬性二維表中的每一列,屬性有名稱與類(lèi)型。屬性不可再分,不允許重復(fù)主鍵由表中的屬性或?qū)傩越M組成,用于唯一確定一條記錄域?qū)傩缘娜≈捣秶P(guān)系模式記錄結(jié)構(gòu)的描述,對(duì)應(yīng)關(guān)系表的表頭審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的數(shù)據(jù)運(yùn)算傳統(tǒng)的

7、集合運(yùn)算并(UNION)交(INTERSECTION)差(MINUS)笛卡兒積專(zhuān)門(mén)的關(guān)系運(yùn)算選擇(SELECTION)投影(PROJECT)連接(JOIN)連接的含義:相容屬性之間的關(guān)系連接的類(lèi)型(內(nèi)連接、外連接、自然連接)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf關(guān)系模型的完整性約束條件實(shí)體完整性(Entity Integrity)關(guān)鍵字屬性的組成部分不能為空值參照完整性(Referential Integrity)參照表中的外關(guān)鍵字要么取空值,要么取被參照表中的某一主關(guān)鍵字的值用戶定義完整性(User-Defined Integrity )具體應(yīng)用環(huán)境的完整性約束,反映了某一具體應(yīng)用所涉及的數(shù)據(jù)應(yīng)滿

8、足的語(yǔ)義要求審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)文件”的含義“數(shù)據(jù)文件”這個(gè)概念具有非常豐富的內(nèi)涵,它泛指各種用來(lái)存儲(chǔ)數(shù)據(jù)的文件。在數(shù)據(jù)庫(kù)技術(shù)誕生之前,它指的是存放數(shù)據(jù)的文件本身。數(shù)據(jù)庫(kù)技術(shù)誕生后,數(shù)據(jù)由DBMS管理,數(shù)據(jù)文件是存放物理數(shù)據(jù)庫(kù)的載體。不同的DBMS存儲(chǔ)數(shù)據(jù)的方式是不同的。FoxPro一個(gè)邏輯上的表對(duì)應(yīng)一個(gè)“庫(kù)文件”(.dbf)Access所有的數(shù)據(jù)庫(kù)對(duì)象放在一個(gè)數(shù)據(jù)庫(kù)文件中(.mdb)IBM DB2一張表的數(shù)據(jù)可能分別放在不同的數(shù)據(jù)文件中除了DBMS產(chǎn)生和維護(hù)的數(shù)據(jù)文件之外,還有很多應(yīng)用程序管理的數(shù)據(jù)文件,如各種臨時(shí)文件、數(shù)據(jù)交換文件等。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)

9、庫(kù)的規(guī)范化設(shè)計(jì)方法運(yùn)用軟件工程的思想與方法,根據(jù)數(shù)據(jù)庫(kù)設(shè)計(jì)的特點(diǎn)提出了各種設(shè)計(jì)準(zhǔn)則和設(shè)計(jì)規(guī)程;邏輯數(shù)據(jù)庫(kù)設(shè)計(jì)與物理數(shù)據(jù)庫(kù)設(shè)計(jì)是關(guān)鍵與核心;對(duì)設(shè)計(jì)質(zhì)量的控制是以大量的書(shū)面文檔和數(shù)據(jù)字典為基礎(chǔ)的;目前出現(xiàn)了許多可視化的規(guī)范化輔助設(shè)計(jì)軟件;還沒(méi)有支持?jǐn)?shù)據(jù)庫(kù)設(shè)計(jì)全過(guò)程的輔助工具 。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf生命周期法的6個(gè)階段需求分析概念結(jié)構(gòu)設(shè)計(jì)邏輯結(jié)構(gòu)設(shè)計(jì)物理數(shù)據(jù)庫(kù)設(shè)計(jì)數(shù)據(jù)庫(kù)實(shí)施運(yùn)行維護(hù) 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf需求分析需求分析的重點(diǎn)是獲得兩方面的需求:(1)信息需求定義未來(lái)信息系統(tǒng)使用的全部信息,了解各項(xiàng)數(shù)據(jù)間的本質(zhì)聯(lián)系,描述數(shù)據(jù)的內(nèi)容和結(jié)構(gòu)以及它們之間的聯(lián)系等。(2)處理需求定義未

10、來(lái)信息系統(tǒng)數(shù)據(jù)處理的功能及功能與數(shù)據(jù)之間的聯(lián)系。同時(shí)考慮性能、安全性和完整性約束。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf自頂向下的結(jié)構(gòu)化分析方法自頂向下的結(jié)構(gòu)化分析方法(Structured Analysis, SA)是需求分析階段的一種常用方法。它的核心思想是:自頂向下逐層分解,直到每一項(xiàng)功能都可以被容易地實(shí)現(xiàn)為止。SA方法中要用到數(shù)據(jù)流程圖(Data Flow Diagram, DFD)來(lái)描述數(shù)據(jù)的處理過(guò)程。數(shù)據(jù)流圖是從“數(shù)據(jù)”和“處理”兩方面來(lái)表達(dá)數(shù)據(jù)處理過(guò)程的一種圖形化的表示方法。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)流程圖(DFD)以儲(chǔ)戶取款業(yè)務(wù)為例審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)字典

11、數(shù)據(jù)字典(Data Dictionary,DD)是在系統(tǒng)設(shè)計(jì)過(guò)程中對(duì)各類(lèi)基本要素進(jìn)行描述的集合。它是描述系統(tǒng)邏輯模型的重要工具。數(shù)據(jù)字典的組成部分:數(shù)據(jù)項(xiàng)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)流數(shù)據(jù)存儲(chǔ)處理過(guò)程其中數(shù)據(jù)項(xiàng)是數(shù)據(jù)的最小組成單位,若干個(gè)數(shù)據(jù)項(xiàng)可以組成一個(gè)數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)字典通過(guò)對(duì)數(shù)據(jù)項(xiàng)和數(shù)據(jù)結(jié)構(gòu)的定義來(lái)描述數(shù)據(jù)流和數(shù)據(jù)存儲(chǔ)的內(nèi)容。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)項(xiàng)”舉例銷(xiāo)售業(yè)務(wù)中有很多數(shù)據(jù)項(xiàng),其中“科目代碼”數(shù)據(jù)項(xiàng)可以描述如下:數(shù)據(jù)項(xiàng)編號(hào):Item001數(shù)據(jù)項(xiàng)名稱:KMDM 數(shù)據(jù)項(xiàng)含義說(shuō)明:唯一標(biāo)識(shí)每個(gè)科目別名:科目代碼數(shù)據(jù)類(lèi)型:字符型數(shù)據(jù)長(zhǎng)度:9取值范圍:100000000至999999999取值含

12、義:前3位是一級(jí)科目,后面每2位是一個(gè)科目級(jí)別與其他數(shù)據(jù)項(xiàng)的邏輯關(guān)系:審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf“數(shù)據(jù)流”舉例數(shù)據(jù)流“工資結(jié)算單”可以描述如下:數(shù)據(jù)流編號(hào):Flow001數(shù)據(jù)流名稱:GZJSD說(shuō)明:財(cái)務(wù)部門(mén)計(jì)算的工資結(jié)算單數(shù)據(jù)流來(lái)源:財(cái)務(wù)部門(mén)數(shù)據(jù)流去向:職工組成(數(shù)據(jù)結(jié)構(gòu)):職工號(hào)姓名性別基本工資出勤工日缺勤工日病假事假工傷假應(yīng)扣工資副食補(bǔ)貼物價(jià)補(bǔ)貼房租水電儲(chǔ)蓄其他實(shí)發(fā)工資平均流量:1500/月(單位職工人數(shù))高峰期流量:低谷期流量:審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf“處理過(guò)程”舉例處理過(guò)程“登記日記賬”可描述如下:處理過(guò)程編號(hào):Proc001處理過(guò)程名稱:DJRJZ輸入數(shù)據(jù)流:記賬憑證輸

13、出數(shù)據(jù)流:現(xiàn)金及銀行存款日記賬處理說(shuō)明:根據(jù)收款憑證、付款憑證逐筆順序登記現(xiàn)金日記賬和銀行存款日記賬處理要求:每月處理多次,每次處理時(shí)間小于15分鐘審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)庫(kù)表結(jié)構(gòu)定義字段名稱字段含義字段類(lèi)型字段屬性Prj_Code項(xiàng)目編號(hào)字符型關(guān)鍵字Prj_Name項(xiàng)目名稱字符型非空Prj_Attr項(xiàng)目性質(zhì)字符型非空Audit_Chief審計(jì)組長(zhǎng)字符型非空Main_Staff主審字符型非空Strategy審計(jì)方案字符型非空Start_Date進(jìn)點(diǎn)日期日期時(shí)間型非空Time_Period工作周期數(shù)值型非空審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf概念結(jié)構(gòu)設(shè)計(jì)的策略自頂向下:首先定義全局概念結(jié)

14、構(gòu)的框架,再做逐次細(xì)化。自底向上:首先定義每一局部應(yīng)用的概念結(jié)構(gòu),然后按一定的規(guī)則把它們集成起來(lái),得到全局概念結(jié)構(gòu)。由里向外:首先定義最重要的那些核心結(jié)構(gòu),再逐漸向外擴(kuò)充?;旌喜呗裕喊炎皂斚蛳潞妥缘紫蛏辖Y(jié)合起來(lái)的方法。它先自頂向下設(shè)計(jì)一個(gè)概念結(jié)構(gòu)的框架。然后以它為骨架再自底向上設(shè)計(jì)局部概念結(jié)構(gòu),并把它們集成起來(lái)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf概念結(jié)構(gòu)設(shè)計(jì)的E-R方法 E-R方法用E-R圖來(lái)描述現(xiàn)實(shí)世界的概念模型。將現(xiàn)實(shí)世界抽象為實(shí)體以及實(shí)體之間聯(lián)系。E-R圖的元素包括:方框:表示實(shí)體型(Entity),并在框內(nèi)寫(xiě)上實(shí)體的名稱;橢圓:表示實(shí)體的屬性(Attribute),并用無(wú)向邊將實(shí)體與其屬

15、性連接起來(lái);菱形:表示實(shí)體間的聯(lián)系(Relationship),菱形內(nèi)寫(xiě)上聯(lián)系的名稱,用無(wú)向邊將菱形分別與相關(guān)的實(shí)體相連,在無(wú)向邊的旁邊標(biāo)明聯(lián)系的類(lèi)型。若聯(lián)系也有屬性,則把屬性橢圓和聯(lián)系菱形也用無(wú)向邊連接起來(lái)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfE-R模型中的三種聯(lián)系一對(duì)一的聯(lián)系(1 :1)一個(gè)班級(jí)對(duì)應(yīng)一個(gè)班主任一對(duì)多的聯(lián)系(1 :n)一個(gè)班級(jí)可以有多名學(xué)生,一個(gè)學(xué)生只能屬于一個(gè)班級(jí)多對(duì)多的聯(lián)系(m :n)一個(gè)學(xué)生可以學(xué)多門(mén)課程,一門(mén)課程可以有多名學(xué)生審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfE-R模型中的三種聯(lián)系審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfE-R圖審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf用E-R方法進(jìn)行概念結(jié)

16、構(gòu)設(shè)計(jì)的簡(jiǎn)要步驟設(shè)計(jì)局部E-R模型將局部E-R模型集成為全局E-R模型屬性沖突命名沖突結(jié)構(gòu)沖突對(duì)全局E-R模型進(jìn)行優(yōu)化審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf邏輯結(jié)構(gòu)設(shè)計(jì)的步驟形成初始關(guān)系數(shù)據(jù)庫(kù)模式關(guān)系模式規(guī)范化和優(yōu)化外模式設(shè)計(jì)提供了數(shù)據(jù)的邏輯獨(dú)立性 能適應(yīng)用戶對(duì)系統(tǒng)的不同需求 具有一定的安全保密作用 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf索引設(shè)計(jì)符合建立索引的條件:主關(guān)鍵字及外關(guān)鍵字上一般都應(yīng)建立索引,以加快實(shí)體間連接速度,有助于引用完整性檢查以及唯一性檢查。用戶經(jīng)常訪問(wèn)的字段上應(yīng)建立索引。以讀操作為主的關(guān)系表盡可能多地建立索引。對(duì)等值連接查詢而言,如果滿足條件的元組數(shù)量小則可以考慮在有關(guān)屬性上建立索引。

17、有些查詢可從索引中直接得到結(jié)果,不必訪問(wèn)數(shù)據(jù)塊,此種查詢可建索引,如查詢某屬性的MIN,MAX,AVG,SUM,COUNT等函數(shù)值可沿該屬性索引的順序集掃描直接求得結(jié)果。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf聚簇設(shè)計(jì)聚簇是將有關(guān)的數(shù)據(jù)記錄存放在一個(gè)物理塊或同一柱面內(nèi)以提高查詢效率。聚簇一般至少定義在一個(gè)屬性之上,不僅適用于單個(gè)關(guān)系,也適用于多個(gè)關(guān)系。聚簇功能可以大大提高按聚簇屬性進(jìn)行查詢的效率,但對(duì)于與聚簇屬性無(wú)關(guān)的訪問(wèn)則效果不佳。在特定的情況下可以考慮建立聚簇。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf二、審計(jì)接口審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf什么是審計(jì)接口定義: 審計(jì)接口是從被審計(jì)信息系統(tǒng)向?qū)徲?jì)應(yīng)用系

18、統(tǒng)傳送審計(jì)信息的規(guī)范和程序。接口包含兩方面內(nèi)容:傳送數(shù)據(jù)的格式和規(guī)范完成傳送作業(yè)的程序數(shù)據(jù)傳遞的方式:系統(tǒng)內(nèi)部多采用參數(shù)或共享數(shù)據(jù)來(lái)完成系統(tǒng)與系統(tǒng)之間傳遞信息需要開(kāi)發(fā)專(zhuān)用的數(shù)據(jù)接口審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的分類(lèi)按照不同的標(biāo)準(zhǔn),可以將審計(jì)接口劃分為不同的類(lèi)型。按接口的用途劃分,可以分為通用接口和專(zhuān)用接口;按接口與源系統(tǒng)和目標(biāo)系統(tǒng)的耦合程度劃分,可以分為強(qiáng)耦合接口、弱耦合接口和一般耦合接口;按接口中數(shù)據(jù)傳輸?shù)念l率來(lái)劃分,可以分為實(shí)時(shí)接口與周期性接口。 其他的分類(lèi)方法審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的分層模型接口可以分為3層邏輯層:表示信息含義的語(yǔ)言,對(duì)信息的含義進(jìn)行定義和描

19、述 ;傳輸層:載運(yùn)信息語(yǔ)言的方式,選擇最合適的方式完成源系統(tǒng)到目標(biāo)系統(tǒng)之間的信息傳輸 ;控制層:控制信息交換過(guò)程的規(guī)程,保證信息傳輸?shù)倪m時(shí)性、正確性和有效性 。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的分層模型審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的邏輯層又稱為接口標(biāo)準(zhǔn)GB/T19581-2004信息技術(shù) 會(huì)計(jì)核算軟件數(shù)據(jù)接口中國(guó)軟件行業(yè)協(xié)會(huì)98-001標(biāo)準(zhǔn)上海市地方標(biāo)準(zhǔn)國(guó)家電子政務(wù)標(biāo)準(zhǔn)描述接口標(biāo)準(zhǔn)的語(yǔ)法必須沒(méi)有二義性審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層的實(shí)現(xiàn)形式被審計(jì)單位信息系統(tǒng)和審計(jì)系統(tǒng)之間采用數(shù)據(jù)庫(kù)連接件(如ODBC)通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)直接相連。被審計(jì)單位信息系統(tǒng)和審計(jì)應(yīng)用系統(tǒng)采用交換

20、文件傳輸數(shù)據(jù)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層實(shí)例一審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf傳輸層實(shí)例二審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf接口的控制層數(shù)據(jù)驗(yàn)證核對(duì)總記錄數(shù)、總金額檢查借貸是否平衡順序碼斷號(hào)、重號(hào)驗(yàn)證檢查勾稽關(guān)系審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的開(kāi)發(fā)、管理和使用策略審計(jì)接口開(kāi)發(fā)的根本性要求:數(shù)據(jù)經(jīng)過(guò)一系列的傳輸后,審計(jì)系統(tǒng)得到的數(shù)據(jù)與信息系統(tǒng)中的原始數(shù)據(jù)是一致的,沒(méi)有發(fā)生變異。審計(jì)接口的開(kāi)發(fā)需要被審計(jì)單位和審計(jì)部門(mén)雙方共同參加。編程實(shí)現(xiàn)后,要由雙方共同進(jìn)行確認(rèn)測(cè)試,確認(rèn)接口功能的正確性,并對(duì)接口開(kāi)發(fā)工作進(jìn)行評(píng)審認(rèn)定。審計(jì)接口開(kāi)發(fā)工作滯后時(shí),可以在審計(jì)人員監(jiān)督下,由被審計(jì)單位技

21、術(shù)人員當(dāng)場(chǎng)編程,從系統(tǒng)中獲取所需審計(jì)數(shù)據(jù),轉(zhuǎn)換成數(shù)據(jù)文件,交由審計(jì)系統(tǒng)讀入進(jìn)行處理。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)接口的開(kāi)發(fā)、管理和使用策略審計(jì)接口開(kāi)發(fā)完成后,不能隨意更改審計(jì)接口在使用時(shí),首先由雙方人員對(duì)要使用的審計(jì)接口進(jìn)行核查要對(duì)通過(guò)接口采集的數(shù)據(jù)的完整性進(jìn)行確認(rèn)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf三、審計(jì)數(shù)據(jù)采集審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf異構(gòu)數(shù)據(jù)庫(kù)互訪問(wèn)技術(shù)(1)Microsoft ODBC Open Database Connectivity (2)Borland IDAPIIntegrated Database Application Interface(3)Microsof

22、t UDAUniversal Data Access審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfODBCODBC是由Microsoft公司制訂的數(shù)據(jù)庫(kù)系統(tǒng)互連標(biāo)準(zhǔn)。它為客戶端應(yīng)用系統(tǒng)與數(shù)據(jù)庫(kù)服務(wù)器之間的連接提供了一種開(kāi)放的、標(biāo)準(zhǔn)的接口,使得支持ODBC的系統(tǒng)間能夠?qū)崿F(xiàn)互連,具有一定的可移植性。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfODBC的總體結(jié)構(gòu)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfODBC驅(qū)動(dòng)程序基于文件的驅(qū)動(dòng)程序既處理ODBC調(diào)用也處理SQL語(yǔ)句依據(jù)其訪問(wèn)數(shù)據(jù)的存取方式還可以分為兩種直接存取數(shù)據(jù)采用客戶機(jī)/服務(wù)器模式基于DBMS的驅(qū)動(dòng)程序只處理ODBC調(diào)用把SQL語(yǔ)句的處理交給數(shù)據(jù)庫(kù)引擎通過(guò)單獨(dú)的引擎訪問(wèn)物理數(shù)

23、據(jù)既可以和數(shù)據(jù)源存儲(chǔ)在同一個(gè)機(jī)器上,也可以分別存儲(chǔ)在網(wǎng)絡(luò)中的不同機(jī)器上,甚至可以通過(guò)網(wǎng)關(guān)訪問(wèn)。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfODBC數(shù)據(jù)源機(jī)器數(shù)據(jù)源存儲(chǔ)在由用戶定義名字的系統(tǒng)上可以分為用戶數(shù)據(jù)源和系統(tǒng)數(shù)據(jù)源文件數(shù)據(jù)源存儲(chǔ)于一個(gè)文件中允許連接信息由一個(gè)用戶重復(fù)使用或者由幾個(gè)用戶共享驅(qū)動(dòng)程序管理器用.dsn文件中的信息連接數(shù)據(jù)源這個(gè)文件可以像其他任何文件一樣操作一個(gè)文件數(shù)據(jù)源沒(méi)有數(shù)據(jù)源名,并且它不注冊(cè)到任何用戶或機(jī)器上審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfODBC的使用1創(chuàng)建ODBC數(shù)據(jù)源不同的驅(qū)動(dòng)程序提供的ODBC數(shù)據(jù)源配置界面不同2使用ODBC獲取數(shù)據(jù)在審計(jì)軟件中使用在DBMS中使用在Excel

24、等軟件中使用審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfIDAPIIDAPI是由Borland公司為首發(fā)布的一個(gè)異構(gòu)數(shù)據(jù)庫(kù)訪問(wèn)接口。它是一個(gè)強(qiáng)大的數(shù)據(jù)庫(kù)引擎,基于驅(qū)動(dòng)程序的體系結(jié)構(gòu)和面向?qū)ο蟮脑O(shè)計(jì)方法為各種數(shù)據(jù)庫(kù)的訪問(wèn)提供了一致的接口,擴(kuò)展和定制起來(lái)很容易。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfBDE基于驅(qū)動(dòng)程序的體系結(jié)構(gòu)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfUDAMicrosoft 的UDA為關(guān)系型或非關(guān)系型數(shù)據(jù)訪問(wèn)提供了一致的訪問(wèn)接口。這個(gè)一致的接口使得應(yīng)用程序能夠通過(guò)它來(lái)訪問(wèn)各種各樣的數(shù)據(jù)。同時(shí),UDA的多層結(jié)構(gòu)和擴(kuò)展能力使得它具有極強(qiáng)的生命力。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfUDA的層次模型 審計(jì)數(shù)據(jù)采集與分

25、析技術(shù)概要wxfUDA的兩層軟件接口OLE DB系統(tǒng)級(jí)的編程接口,定義了一組接口,封裝了各種數(shù)據(jù)系統(tǒng)的訪問(wèn)操作;提供了一組標(biāo)準(zhǔn)的服務(wù)組件,用于提供查詢、緩存、數(shù)據(jù)更新、事務(wù)處理等操作;是新的底層接口,采用一種“通用的”數(shù)據(jù)訪問(wèn)范例,能夠處理任何類(lèi)型的數(shù)據(jù),不需考慮格式和存儲(chǔ)方法。ADO應(yīng)用層的編程接口,以O(shè)LE DB為基礎(chǔ)并對(duì)其進(jìn)行了封裝;通過(guò)OLE DB提供的接口訪問(wèn)數(shù)據(jù),適合于各種客戶機(jī)/服務(wù)器應(yīng)用系統(tǒng)和基于Web的應(yīng)用;具有更好的靈活性,使用方便,效率更高。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件與電子表格文件訪問(wèn)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件優(yōu)點(diǎn):靈活方便數(shù)據(jù)量大小基本不受限

26、制缺點(diǎn):占用較大的存儲(chǔ)空間較多的傳輸時(shí)間需要進(jìn)行類(lèi)型或字段名稱的重定義分類(lèi):分隔符形式固定寬度審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf文本文件分隔符形式的文本文件以回車(chē)換行符號(hào)作為記錄間的分隔以分隔符作為字段之間的分隔第一行可以表示字段名可以有文本識(shí)別符號(hào)固定寬度的文本文件以回車(chē)換行符號(hào)作為記錄間的分隔以起始位置和寬度來(lái)標(biāo)識(shí)字段第一行一般不表示字段名一般沒(méi)有文本識(shí)別符號(hào)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf分隔符形式的文本文件行號(hào),代碼,名稱,利率,開(kāi)始日期500,100, 90年五年期財(cái)政債券利率,8.31,01/10/1997500,200,開(kāi)發(fā)銀行債券利率(12.5%),10.41,01/10/199

27、7500,201,開(kāi)發(fā)銀行債券利率(14%),11.64,01/10/1997500,300,總行金融債券利率(11.5%),9.57,01/10/1997500,301,總行金融債券利率(11.25%),9.375,01/10/1997500,302,97年政策性金融債券利率(8.8%),7.32,03/19/1997500,1100,單位活期存款,1.2,07/01/1998500,1101,單位活期存款(協(xié)定),1.38,12/07/1998500,1200,單位活期存款,6.3,10/23/1997500,1201,同業(yè)存款,5.85,10/23/1997審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wx

28、f固定寬度的文本文件500 10090年五年期財(cái)政債券利率 8.3101/10/1997500 200開(kāi)發(fā)銀行債券利率(12.5%) 10.4101/10/1997500 201開(kāi)發(fā)銀行債券利率(14%) 11.6401/10/1997500 300總行金融債券利率(11.5%) 9.5701/10/1997500 301總行金融債券利率(11.25%) 9.37501/10/19975001100單位活期存款 1.207/01/19985001101單位活期存款(協(xié)定) 1.3812/07/19985001200單位活期存款 6.310/23/19975001201同業(yè)存款 5.8510/2

29、3/1997審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfExcel電子表格Excel 電子表格與關(guān)系數(shù)據(jù)庫(kù)的對(duì)應(yīng)關(guān)系審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf采集電子表格中的數(shù)據(jù)在訪問(wèn)Excel電子表格中的數(shù)據(jù)時(shí),要特別注意這樣兩個(gè)問(wèn)題:關(guān)系數(shù)據(jù)庫(kù)的規(guī)范化問(wèn)題。應(yīng)該保證每一列只有一個(gè)標(biāo)題,且這個(gè)標(biāo)題是最高層次的標(biāo)題。數(shù)據(jù)類(lèi)型的一致性問(wèn)題。Excel工作表中每一個(gè)單元格都可以有不同的數(shù)據(jù)類(lèi)型,因此每一列中的數(shù)據(jù)類(lèi)型可能會(huì)不一致。而關(guān)系數(shù)據(jù)庫(kù)要求表中每個(gè)字段的類(lèi)型是固定的。如果出現(xiàn)這種情況,需要首先統(tǒng)一Excel工作表中每一列的數(shù)據(jù)類(lèi)型。否則將不能訪問(wèn)數(shù)據(jù)。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf四、數(shù)據(jù)清理與轉(zhuǎn)換技術(shù)審計(jì)數(shù)

30、據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)質(zhì)量的評(píng)價(jià)指標(biāo)準(zhǔn)確性:數(shù)據(jù)值與實(shí)際值的一致程度。 完整性:需要值的屬性中無(wú)值缺失的程度。一致性:數(shù)據(jù)對(duì)一組約束的滿足程度。唯一性:數(shù)據(jù)記錄(及碼值)的唯一性。 適時(shí)性:在所要求的或指定的時(shí)間提供一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)的程度。有效性:維護(hù)的數(shù)據(jù)足夠嚴(yán)格以滿足分類(lèi)準(zhǔn)則的接受要求。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf為什么要進(jìn)行數(shù)據(jù)清理 值缺失限制了審計(jì)人員的數(shù)據(jù)分析工作;數(shù)據(jù)表中的空值直接影響了數(shù)據(jù)分析結(jié)果的準(zhǔn)確性;大量的冗余數(shù)據(jù)降低了數(shù)據(jù)分析的效率;數(shù)據(jù)值域定義的不完整性給數(shù)據(jù)審計(jì)工作帶來(lái)障礙。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)清理的主要工作確認(rèn)輸入數(shù)據(jù)消除錯(cuò)誤的空值(NU

31、LL)保證數(shù)據(jù)值落入定義域消除冗余數(shù)據(jù)解決數(shù)據(jù)中的沖突(不一致)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)清理的基本技術(shù)解決不完整數(shù)據(jù)(即值缺失)的方法:大多數(shù)情況下,缺失的值必須手工填入;某些缺失值可以從自身數(shù)據(jù)源或其它數(shù)據(jù)源推導(dǎo)出來(lái)。錯(cuò)誤值的檢測(cè)及解決方法:用統(tǒng)計(jì)分析的方法識(shí)別可能的錯(cuò)誤值或異常值,如偏差分析、識(shí)別不遵守分布或回歸方程的值;使用簡(jiǎn)單規(guī)則庫(kù)(常識(shí)性規(guī)則、業(yè)務(wù)特定規(guī)則等)檢查數(shù)據(jù)值;使用不同屬性間的約束;使用外部數(shù)據(jù)。不一致性的檢測(cè)及解決方法:定義完整性約束用于檢測(cè)不一致性;通過(guò)分析數(shù)據(jù)發(fā)現(xiàn)聯(lián)系。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf值缺失的解決方法 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf空值的

32、處理 在SQL Server的查詢分析器(SQL Query Analyzer)中執(zhí)行下列SQL語(yǔ)句用“0”替換某些字段的空值 :UPDATE 清理數(shù)據(jù)表 SET zj=0 WHERE zj IS NULL UPDATE 清理數(shù)據(jù)表 SET kl=0 WHERE kl IS NULLUPDATE 清理數(shù)據(jù)表 SET mj=0 WHERE mj IS NULL 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf消除冗余數(shù)據(jù) 清理憑證數(shù)據(jù)表中科目代碼以“s”開(kāi)頭的現(xiàn)金流量輔助信息冗余記錄:DELETE FROM 清理數(shù)據(jù)表 WHERE kmdh LIKE s%審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf錯(cuò)誤數(shù)據(jù)的處理辦法審計(jì)人

33、員采集數(shù)據(jù)后,在下圖所示的固定資產(chǎn)表中發(fā)現(xiàn)資產(chǎn)原值字段存在負(fù)值的情況,這與會(huì)計(jì)處理的常規(guī)不符。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf錯(cuò)誤數(shù)據(jù)的處理辦法在確認(rèn)負(fù)的資產(chǎn)原值是錯(cuò)誤數(shù)據(jù)后,審計(jì)人員可以在SQL Server的查詢分析器中執(zhí)行SQL語(yǔ)句:UPDATE 固定資產(chǎn)表 SET 資產(chǎn)原值=ABS(資產(chǎn)原值) WHERE 資產(chǎn)原值0改正資產(chǎn)原值的錯(cuò)誤取值。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf為什么要進(jìn)行數(shù)據(jù)轉(zhuǎn)換被審計(jì)單位信息系統(tǒng)的多樣性帶來(lái)了數(shù)據(jù)的不一致性;被審計(jì)系統(tǒng)的安全性措施給審計(jì)工作帶來(lái)障礙 ;審計(jì)目的的不同決定了審計(jì)數(shù)據(jù)的范圍和要求不同; 數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)分析、處理的前提 。審計(jì)數(shù)據(jù)采集與分析技術(shù)

34、概要wxf數(shù)據(jù)不一致性的表現(xiàn)同一字段在不同的應(yīng)用中具有不同的數(shù)據(jù)類(lèi)型同一字段在不同的應(yīng)用中具有不同的名稱同名字段,不同含義同一信息,在不同的應(yīng)用中有不同的格式同一信息,在不同的應(yīng)用中有不同的表達(dá)方式審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)轉(zhuǎn)換的基本類(lèi)型1簡(jiǎn)單變換(1)數(shù)據(jù)類(lèi)型轉(zhuǎn)換(2)日期/時(shí)間格式的轉(zhuǎn)換(3)代碼轉(zhuǎn)換(4)值域轉(zhuǎn)換2清潔和刷洗(1)有效值檢查(2)復(fù)雜的重新格式化審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf簡(jiǎn)單變換它是數(shù)據(jù)轉(zhuǎn)換中最簡(jiǎn)單的形式它是所有數(shù)據(jù)轉(zhuǎn)換的基本構(gòu)成單元它一次改變一個(gè)字段的屬性它不考慮該屬性的背景或與它相關(guān)的其他字段的信息審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf簡(jiǎn)單變換數(shù)據(jù)類(lèi)型轉(zhuǎn)換最

35、常見(jiàn)的簡(jiǎn)單變換是轉(zhuǎn)換一個(gè)數(shù)據(jù)元的類(lèi)型。它是將一種類(lèi)型的數(shù)據(jù)轉(zhuǎn)換成另一種類(lèi)型的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換的前提是類(lèi)型相容。類(lèi)型相容指的是一種類(lèi)型數(shù)據(jù)的值域可以通過(guò)常用的轉(zhuǎn)換函數(shù)映射到另一種類(lèi)型的值域上。這種映射不會(huì)丟失數(shù)據(jù)的精確度。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf簡(jiǎn)單變換日期時(shí)間格式轉(zhuǎn)換大多數(shù)被審計(jì)單位系統(tǒng)都采用許多不同的日期和時(shí)間格式。在審計(jì)軟件中幾乎都要進(jìn)行日期和時(shí)間格式的轉(zhuǎn)換,將它轉(zhuǎn)換成審計(jì)軟件處理所需的統(tǒng)一格式??梢酝ㄟ^(guò)手工程序編碼來(lái)完成轉(zhuǎn)換,把一個(gè)日期或時(shí)間字段拆成幾個(gè)子部分,然后再將它們拼成想要的格式和字段。大多數(shù)審計(jì)軟件中的數(shù)據(jù)導(dǎo)入和轉(zhuǎn)換工具都提供了日期和時(shí)間格式之間轉(zhuǎn)換的設(shè)置。 審計(jì)數(shù)據(jù)采集

36、與分析技術(shù)概要wxf簡(jiǎn)單變換代碼轉(zhuǎn)換在業(yè)務(wù)數(shù)據(jù)庫(kù)中建立代碼是為了節(jié)省數(shù)據(jù)庫(kù)存儲(chǔ)空間和提高計(jì)算機(jī)處理效率。這些代碼一般是由系統(tǒng)管理員設(shè)置,由應(yīng)用程序維護(hù)的。這給審計(jì)軟件處理帶來(lái)了很大的不便。如果審計(jì)軟件中采用了代碼設(shè)計(jì),而被審計(jì)單位的代碼能夠滿足審計(jì)軟件需要的,可以將被審計(jì)單位的代碼表轉(zhuǎn)換到審計(jì)軟件的代碼表上來(lái)。如果審計(jì)單位的代碼不能滿足審計(jì)軟件的需要,就必須根據(jù)審計(jì)軟件的要求對(duì)它重新編碼。如果審計(jì)軟件不采用代碼設(shè)計(jì),就必須將被審計(jì)單位數(shù)據(jù)中的代碼值轉(zhuǎn)換為經(jīng)過(guò)解碼的、易于理解的相應(yīng)值。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf簡(jiǎn)單變換值域轉(zhuǎn)換值域轉(zhuǎn)換是將一個(gè)字段的全部或部分取值映射到另一個(gè)字段的全部或部分

37、取值上去。例如,在被審計(jì)單位的系統(tǒng)中,某一項(xiàng)數(shù)據(jù)的取值分為10個(gè)級(jí)別(09),而在審計(jì)軟件中,該項(xiàng)數(shù)據(jù)的取值僅僅分為5個(gè)級(jí)別(AE),這就需要將具有10個(gè)級(jí)別的值域映射到具有5個(gè)級(jí)別的值域上去。代碼轉(zhuǎn)換可以看成是一類(lèi)特殊的值域轉(zhuǎn)換。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf清潔和刷洗清潔和刷洗指的是比簡(jiǎn)單變換更復(fù)雜的一種數(shù)據(jù)變換。在這種變換中,要檢查的是字段或字段組的實(shí)際內(nèi)容而不僅是存儲(chǔ)格式。一種清潔和刷洗是檢查數(shù)據(jù)字段中的有效值。這可以通過(guò)范圍檢驗(yàn)、枚舉清單和相關(guān)檢驗(yàn)來(lái)完成。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)轉(zhuǎn)換的一般方法專(zhuān)用工具數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換工具審計(jì)軟件的數(shù)據(jù)轉(zhuǎn)換工具SQL語(yǔ)言類(lèi)型轉(zhuǎn)換值域

38、轉(zhuǎn)換程序編碼審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf必須運(yùn)用程序編碼的場(chǎng)合對(duì)非關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換對(duì)復(fù)雜的數(shù)據(jù)文件中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換的要求固定而使用頻繁時(shí)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf五、審計(jì)數(shù)據(jù)驗(yàn)證審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf不同階段的數(shù)據(jù)驗(yàn)證 數(shù)據(jù)采集階段 檢查被審計(jì)單位提供資料的完整性,保證數(shù)據(jù)采集工作準(zhǔn)確有效地進(jìn)行,同時(shí)對(duì)采集到的數(shù)據(jù)進(jìn)行確認(rèn),排除遺漏和失誤。數(shù)據(jù)清理階段確認(rèn)數(shù)據(jù)清理工作沒(méi)有損害數(shù)據(jù)整體的完整性和正確性。 數(shù)據(jù)轉(zhuǎn)換階段 數(shù)據(jù)轉(zhuǎn)換中,審計(jì)人員會(huì)將原始電子數(shù)據(jù)中表名、字段名、記錄值代碼以及表表關(guān)聯(lián)的經(jīng)濟(jì)含義明確標(biāo)識(shí)出來(lái),這需要進(jìn)行大量的查詢、替換修改、插入數(shù)據(jù)、

39、更新數(shù)據(jù)、刪除數(shù)據(jù)等操作,每一步轉(zhuǎn)換工作都有可能影響到數(shù)據(jù)的完整性和正確性,所以在這一階段進(jìn)行數(shù)據(jù)驗(yàn)證確有必要。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)驗(yàn)證的技術(shù)和方法 數(shù)據(jù)采集階段核對(duì)總記錄數(shù)、總金額,檢查借貸是否平衡,順序碼斷號(hào)、重號(hào)驗(yàn)證等。數(shù)據(jù)清理階段核對(duì)總金額、保持借貸平衡等。數(shù)據(jù)轉(zhuǎn)換階段核對(duì)總金額、勾稽關(guān)系,數(shù)據(jù)結(jié)構(gòu)確認(rèn)等。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf六、審計(jì)數(shù)據(jù)分析審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)數(shù)據(jù)分析的具體操作核對(duì):將具有內(nèi)在聯(lián)系的數(shù)據(jù),按照勾稽關(guān)系進(jìn)行相互核對(duì),達(dá)到驗(yàn)證被審計(jì)單位業(yè)務(wù)處理是否正確,有無(wú)人為違規(guī)調(diào)整等目的。檢查:按照政策或法律法規(guī),對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行檢查,達(dá)到確

40、定業(yè)務(wù)處理是否合法、合規(guī)的目的。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf審計(jì)數(shù)據(jù)分析的具體操作復(fù)算:對(duì)某一類(lèi)業(yè)務(wù)數(shù)據(jù),按照與被審計(jì)單位相同或相似的處理方法重新計(jì)算,驗(yàn)證被審計(jì)單位提供的數(shù)據(jù)是否真實(shí)與正確,達(dá)到判斷被審計(jì)單位業(yè)務(wù)處理是否正確、完整的目的。判斷:根據(jù)審計(jì)人員經(jīng)驗(yàn),分析業(yè)務(wù)數(shù)據(jù)的某些特征,再根據(jù)這些特征對(duì)可能是問(wèn)題的情況給出一個(gè)參考性結(jié)論,達(dá)到搜索審計(jì)線索的目的。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf分析模型的演變隨著用戶對(duì)數(shù)據(jù)分析的深度和靈活程度要求越來(lái)越高,數(shù)據(jù)分析漸漸從靜態(tài)數(shù)值的相互比較轉(zhuǎn)變到從多個(gè)數(shù)據(jù)源中綜合數(shù)據(jù),從多個(gè)角度觀察數(shù)據(jù)的復(fù)雜、動(dòng)態(tài)的分析。根據(jù)處理數(shù)據(jù)的范圍、用戶分析人員的交互

41、需要、多維分析需求及現(xiàn)有工具的支持等因素,可以將數(shù)據(jù)分析分為4種模型,這4種數(shù)據(jù)分析模型一種比一種深入,從描述基本事實(shí)到尋找原因,從代入變量值進(jìn)行預(yù)測(cè)到尋找關(guān)鍵變量。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf四種數(shù)據(jù)分析模型由E.F.Codd提出的四種數(shù)據(jù)分析模型:絕對(duì)模型(Categorical Model) 解釋模型(Exegetical Model) 思考模型(Contemplative Model) 公式模型(Formulaic Model) 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf絕對(duì)模型(Categorical Model)它屬于靜態(tài)數(shù)據(jù)分析它通過(guò)比較歷史數(shù)據(jù)值或行為來(lái)描述過(guò)去發(fā)生的事實(shí)查詢比較簡(jiǎn)單

42、,僅是值的比較綜合路徑是原有數(shù)據(jù)庫(kù)設(shè)計(jì)時(shí)定義好的,用戶交互少支持工具廣泛(包括一般的查詢表格工具)。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf解釋模型(Exegetical Model) 主要還是靜態(tài)數(shù)據(jù)分析用戶分析人員利用系統(tǒng)已有的多層次的綜合路徑層層細(xì)化,找出事實(shí)發(fā)生的原因如果分析人員感興趣的數(shù)據(jù)不能通過(guò)已有路徑進(jìn)行綜合,則需要臨時(shí)建立多維視圖。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf思考模型(Contemplative Model) 它屬于動(dòng)態(tài)數(shù)據(jù)分析它旨在說(shuō)明在一維或多維上引入一組具體變量或參數(shù)后會(huì)發(fā)生什么需要較高層次的數(shù)據(jù)分析人員介入分析人員在引入確定的變量或公式關(guān)系時(shí),須創(chuàng)建大量的綜合路徑這類(lèi)模

43、型的支持工具相當(dāng)少,大多只提供單一維上的數(shù)據(jù)子集處理。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf公式模型(Formulaic Model) 公式模型是動(dòng)態(tài)性最高的一類(lèi)模型,用于表示在多個(gè)維上,需要引入哪些變量或參數(shù),以及引入后所產(chǎn)生的結(jié)果。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf舉例一家百貨公司在建立了自己的數(shù)據(jù)倉(cāng)庫(kù)之后,希望構(gòu)造一個(gè)OLAP系統(tǒng)輔助決策。決策者最關(guān)心的一個(gè)問(wèn)題是“如何最大限度地?cái)U(kuò)大商品的銷(xiāo)售量?”因而他希望盡可能地找出與銷(xiāo)售量相關(guān)的因素,從而可采取相應(yīng)的促銷(xiāo)手段。但是,他能獲得多大的幫助卻要取決于采用何種分析模型。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf絕對(duì)模型絕對(duì)模型只能對(duì)歷史數(shù)據(jù)進(jìn)行比較,利用

44、回歸分析等一些分析方法得出趨勢(shì)信息。回答諸如“某種商品今年的銷(xiāo)售情況與以往相比有怎樣的變化?今后的趨勢(shì)怎樣”此類(lèi)問(wèn)題。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf解釋模型解釋模型能夠在當(dāng)前多維視圖的基礎(chǔ)上找出事件發(fā)生的原因。例如該公司按時(shí)間、地區(qū)、商品及銷(xiāo)售渠道建立了多維數(shù)據(jù)庫(kù),假設(shè)今年的銷(xiāo)售量有所下滑,那么解釋模型應(yīng)能夠找出原因,即這次下滑與時(shí)間、地區(qū)、商品及銷(xiāo)售渠道四者中何種因素有關(guān)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf思考模型思考模型可以在決策者的參與下,找出關(guān)鍵變量。例如該公司決策者為了了解某商品的銷(xiāo)售是否與顧客的年齡有關(guān),引入新的變量年齡,即在當(dāng)前的多維視圖上增加了顧客的年齡維。解釋模型就能分析出年

45、齡的引入是否必要,即商品的銷(xiāo)售與顧客的年齡有關(guān)或無(wú)關(guān)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf公式模型公式模型自動(dòng)完成上述變量的引入工作,從而最終找出與銷(xiāo)量有關(guān)的全部因素,并給出引入后的結(jié)果。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf3種類(lèi)型的數(shù)據(jù)分析方法與工具查詢型分析(Query) 以MIS為代表的查詢工具,可以進(jìn)行日常事務(wù)操作驗(yàn)證型分析(Verification)以O(shè)LAP為代表的驗(yàn)證工具 ,可以深入了解事務(wù)并作出結(jié)論性、總結(jié)性分析發(fā)掘型分析(Discovery)以DM為代表的挖掘工具 ,可以作出預(yù)測(cè)性分析審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析(Query)主要指用戶對(duì)數(shù)據(jù)庫(kù)中的記錄進(jìn)行訪問(wèn)查詢;關(guān)系

46、數(shù)據(jù)庫(kù)管理系統(tǒng)是目前數(shù)據(jù)庫(kù)管理系統(tǒng)的主流,查詢型分析主要的對(duì)象就是關(guān)系數(shù)據(jù)庫(kù)中的二維表。要進(jìn)行查詢型分析,必須先對(duì)目標(biāo)系統(tǒng)的數(shù)據(jù)模型有所了解??梢圆捎肧QL等語(yǔ)言來(lái)交互描述查詢要求;采用SQL可以十分靈活地進(jìn)行交互式查詢,但要求用戶掌握SQL語(yǔ)言,并對(duì)訪問(wèn)的數(shù)據(jù)庫(kù)的結(jié)構(gòu)有所了解;審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)相關(guān)法律法規(guī)建立模型根據(jù)交通部規(guī)定,國(guó)產(chǎn)車(chē)車(chē)輛購(gòu)置附加費(fèi)應(yīng)按發(fā)票價(jià)的10%計(jì)征;后來(lái)為杜絕因一輛車(chē)開(kāi)具多張票據(jù)而造成少征車(chē)購(gòu)費(fèi)的現(xiàn)象,交通部又頒布了車(chē)購(gòu)費(fèi)最低征收額標(biāo)準(zhǔn),明確只要發(fā)票價(jià)的10%小于最低征收額的,就按最低征收額征收車(chē)購(gòu)費(fèi)。車(chē)購(gòu)費(fèi)的的數(shù)據(jù)模型:應(yīng)征金

47、額MAX 發(fā)票價(jià)0.1,最低征收額 違規(guī)金額abs(應(yīng)征金額實(shí)際征收額 )審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)系統(tǒng)數(shù)據(jù)之間的勾稽關(guān)系建立模型如資產(chǎn)負(fù)債表的資產(chǎn)合計(jì)應(yīng)等于負(fù)債與所有者權(quán)益之和; 借款金額應(yīng)等于借款收回?cái)?shù)、借款余額、核銷(xiāo)金額之和等。根據(jù)不同系統(tǒng)數(shù)據(jù)之間的關(guān)系建立模型如金融審計(jì)中,在信貸管理系統(tǒng)與會(huì)計(jì)核算系統(tǒng)之間通過(guò)借據(jù)號(hào)碼建立數(shù)據(jù)模型,分析信貸管理系統(tǒng)中數(shù)據(jù)的準(zhǔn)確性。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)審計(jì)業(yè)務(wù)流程建立模型根據(jù)信貸業(yè)務(wù)流程,借款人在信貸部門(mén)辦理相關(guān)審批手續(xù)后,才可以在會(huì)計(jì)柜臺(tái)進(jìn)行會(huì)計(jì)核算處理。據(jù)此可以建立模型,檢查是否存在

48、核算在前,審批在后的貸款業(yè)務(wù)。根據(jù)以往審計(jì)經(jīng)驗(yàn)建立模型如在銀行承兌匯票業(yè)務(wù)的審計(jì)過(guò)程中,如果發(fā)現(xiàn)有單個(gè)客戶的頻繁或同一時(shí)段連續(xù)大額的業(yè)務(wù)記錄時(shí),就應(yīng)特別關(guān)注,核實(shí)是否存在滾動(dòng)辦理、無(wú)貿(mào)易背景辦理等問(wèn)題。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf查詢型分析中的數(shù)據(jù)建模根據(jù)自然規(guī)律建立模型如對(duì)日期類(lèi)型的字段進(jìn)行檢查時(shí),小月只有30天,一年只有12個(gè)月等,人的年齡不可能小于0等。根據(jù)相關(guān)分析指標(biāo)建立模型如財(cái)務(wù)審計(jì)中的賬齡分析、比較分析(趨勢(shì)分析)、比率分析、因素分析、敏感度分析、回歸分析等。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf驗(yàn)證型分析指用戶先提出自己的假設(shè),然后利用各種工具通過(guò)反復(fù)的、遞歸的檢索查詢以驗(yàn)證或否

49、定自己的假設(shè)。從用戶的觀點(diǎn)來(lái)看,他們是在從數(shù)據(jù)中發(fā)現(xiàn)事實(shí)。多維分析工具進(jìn)行的就是典型的驗(yàn)證型分析。它通過(guò)對(duì)信息的多種可能的觀察角度進(jìn)行快速,一致和交互性的存取,從而能夠?qū)?shù)據(jù)進(jìn)行深入地分析和觀察。驗(yàn)證型分析(Verification)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf發(fā)掘型分析(Discovery)發(fā)掘型分析是指用戶從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式,預(yù)測(cè)趨勢(shì)和行為的一種數(shù)據(jù)分析方法。發(fā)掘型數(shù)據(jù)分析工具主要指數(shù)據(jù)挖掘(Data Mining)軟件工具。發(fā)掘型分析能挖掘數(shù)據(jù)間潛在的模式,發(fā)現(xiàn)用戶可能忽略的信息,并為審計(jì)業(yè)務(wù)人員做出前瞻性的、基于知識(shí)的決策做出貢獻(xiàn)。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf三種分析方

50、法的特點(diǎn)比較查詢型分析、驗(yàn)證型分析和發(fā)掘型分析結(jié)合在一起構(gòu)成了面向數(shù)據(jù)的計(jì)算機(jī)審計(jì)的數(shù)據(jù)分析,它們各自有著不同的側(cè)重點(diǎn),因此適用范圍和針對(duì)的用戶也各不相同。從數(shù)據(jù)分析的深度來(lái)看:查詢型分析基本上是在已知數(shù)據(jù)結(jié)構(gòu)的情況下對(duì)細(xì)節(jié)信息的存取,數(shù)據(jù)分析的成分很少驗(yàn)證型分析處于較淺的層次發(fā)掘型分析是較深層次的數(shù)據(jù)分析。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf三種分析方法涉及的分析模型查詢型分析基本上不涉及數(shù)據(jù)分析模型;驗(yàn)證型分析主要實(shí)現(xiàn)了絕對(duì)模型、解釋模型和思考模型;發(fā)掘型分析則實(shí)現(xiàn)了公式模型。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf操作型處理和分析型處理近年來(lái),人們逐漸認(rèn)識(shí)到計(jì)算機(jī)系統(tǒng)中存在著兩類(lèi)不同的處理:操作型處

51、理(OLTP)和分析型處理(OLAP)。操作型處理也叫事務(wù)處理,是指對(duì)數(shù)據(jù)庫(kù)聯(lián)機(jī)地進(jìn)行日常操作,通常是對(duì)一個(gè)或一組記錄的查詢和修改,主要是為特定的應(yīng)用服務(wù)。人們關(guān)心的是響應(yīng)時(shí)間、數(shù)據(jù)的安全性和完整性。分析型處理用于管理人員的決策分析,經(jīng)常要訪問(wèn)大量的歷史數(shù)據(jù)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfOLTP與OLAP的比較表OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù)綜合性或提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新,但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應(yīng)用,事務(wù)驅(qū)動(dòng)面向分析,分析驅(qū)動(dòng)面向操作人員,支持日常操作面向決策人員,支持管理需求審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf分析型處理涉

52、及的技術(shù)數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)聯(lián)機(jī)分析處理(Online Analytical Processing,OLAP)數(shù)據(jù)挖掘(Data Mining)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf什么是數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)始人Inmon對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是:數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、穩(wěn)定的、不同時(shí)間的數(shù)據(jù)集合,用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)的特征 與聯(lián)機(jī)事務(wù)處理領(lǐng)域的數(shù)據(jù)庫(kù)技術(shù)相比,數(shù)據(jù)倉(cāng)庫(kù)具有以下特征: 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是面向主題的 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集成的 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是穩(wěn)定(不可更新)的 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是隨時(shí)間變化的 審計(jì)數(shù)據(jù)采集與分析技術(shù)

53、概要wxf面向主題數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)以面向主題方式組織。主題是某一分析領(lǐng)域所涉及的分析對(duì)象。面向主題的數(shù)據(jù)組織方式就是在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)作一個(gè)完整、一致的描述,能有效地刻畫(huà)出分析對(duì)象所涉及的各項(xiàng)數(shù)據(jù)及數(shù)據(jù)間的聯(lián)系。這種數(shù)據(jù)組織方式更能適合于較高層次的數(shù)據(jù)分析,便于發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)涵的模式和規(guī)律。它是按照數(shù)據(jù)分析的意圖來(lái)組織數(shù)據(jù)的一種方式。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf集成的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是從原有的、分散的事務(wù)處理系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)中抽取得來(lái)。數(shù)據(jù)倉(cāng)庫(kù)中每一主題對(duì)應(yīng)的源數(shù)據(jù)在原有的各分散數(shù)據(jù)庫(kù)中有很多重復(fù)和不一致的地方。事務(wù)處理系統(tǒng)中的操作型數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前,必須經(jīng)過(guò)統(tǒng)一和綜合,演變?yōu)榉?/p>

54、析型數(shù)據(jù)。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf集成數(shù)據(jù)抽取這是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中最復(fù)雜的一步,需要完成以下工作:統(tǒng)一源數(shù)據(jù)中所有矛盾之處,如字段的同名異義、異名同義、單位不統(tǒng)一、長(zhǎng)度不一致等;對(duì)源數(shù)據(jù)進(jìn)行綜合和計(jì)算,生成面向主題分析用的高層、綜合的數(shù)據(jù),便于綜合統(tǒng)計(jì)分析。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf穩(wěn)定(不可更新)的數(shù)據(jù)倉(cāng)庫(kù)中存放的是供分析決策用的歷史數(shù)據(jù),涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一般不進(jìn)行數(shù)據(jù)的增、刪、改操作,業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)經(jīng)集成后進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)極少或根本不再更新。如果對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行了修改,就失去了統(tǒng)計(jì)分析正確性的基礎(chǔ)數(shù)據(jù)的真實(shí)性。由于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量往往很大,因此數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要

55、采用各種復(fù)雜的索引技術(shù),以提高數(shù)據(jù)查詢的性能,數(shù)據(jù)更新之后重建索引的代價(jià)很高。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf隨時(shí)間變化的不可更新是對(duì)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用而言,即用戶在進(jìn)行分析處理時(shí)不進(jìn)行數(shù)據(jù)更新操作。數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)是隨時(shí)間變化的,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需要不斷獲取聯(lián)機(jī)事務(wù)處理系統(tǒng)不同時(shí)點(diǎn)的數(shù)據(jù),經(jīng)集成后追加到數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的碼(主鍵)都包含時(shí)間項(xiàng),以表明數(shù)據(jù)的歷史時(shí)期,并可在時(shí)間維度上對(duì)數(shù)據(jù)進(jìn)行分析;數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)也有時(shí)間期限,在新數(shù)據(jù)不斷進(jìn)入的同時(shí),過(guò)期的數(shù)據(jù)也要?jiǎng)h除。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的八個(gè)組成部分?jǐn)?shù)據(jù)源 數(shù)據(jù)抽取、

56、轉(zhuǎn)換、裝載和刷新工具 數(shù)據(jù)建模工具 監(jiān)控和管理工具 元數(shù)據(jù)倉(cāng)儲(chǔ) 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的目標(biāo)數(shù)據(jù)庫(kù) OLAP服務(wù)器 前端數(shù)據(jù)訪問(wèn)和分析工具 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的一般應(yīng)用過(guò)程從業(yè)務(wù)處理信息系統(tǒng)等外部數(shù)據(jù)源獲取數(shù)據(jù),經(jīng)加工整理后進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)根據(jù)數(shù)據(jù)分析挖掘的需求特性對(duì)數(shù)據(jù)進(jìn)行建模和組織,用戶利用各種前端數(shù)據(jù)分析和挖掘工具,通過(guò)OLAP服務(wù)器,對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)作各種查詢、分析、挖掘工作審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在數(shù)據(jù)審計(jì)中的應(yīng)用審計(jì)數(shù)據(jù)的采集和獲取審計(jì)數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中的組織和存儲(chǔ) 審計(jì)數(shù)據(jù)的訪問(wèn)和分析 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf聯(lián)機(jī)分析處理(OLAP)

57、OLAP是一類(lèi)軟件技術(shù),它使用戶能夠從多種角度(維)對(duì)原始數(shù)據(jù)進(jìn)行分析;通過(guò)快速、一致、交互地存取來(lái)獲得對(duì)原始數(shù)據(jù)的深入了解。OLAP的目標(biāo)是滿足決策支持或多維查詢和報(bào)表的需求,它的技術(shù)核心是“維”這個(gè)概念,因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。OLTP強(qiáng)調(diào)的是更新數(shù)據(jù)庫(kù)向數(shù)據(jù)庫(kù)中添加信息,而OLAP就是從數(shù)據(jù)庫(kù)中獲取信息、利用信息。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf數(shù)據(jù)倉(cāng)庫(kù)與OLAP的關(guān)系建立數(shù)據(jù)倉(cāng)庫(kù)的目的是為了支持?jǐn)?shù)據(jù)分析和決策制定過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)是面向分析目標(biāo)的、經(jīng)過(guò)提煉、加工后的數(shù)據(jù)集合,這種數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為OLAP的實(shí)施提供了理想的環(huán)境;OLAP作為一種多維查詢和分析

58、工具,是數(shù)據(jù)倉(cāng)庫(kù)功能的自然擴(kuò)展,也是數(shù)據(jù)倉(cāng)庫(kù)中的大容量數(shù)據(jù)得以有效利用的重要保障。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfOLAP的關(guān)鍵特性(1)快速性快速性是OLAP的一項(xiàng)重要特性; 如果用戶不能得到系統(tǒng)的及時(shí)響應(yīng)就會(huì)變得不耐煩,因而可能失去分析主線索,影響分析質(zhì)量;對(duì)于大量的數(shù)據(jù)分析要達(dá)到這個(gè)速度并不容易,因此就更需要一些技術(shù)上的支持,如專(zhuān)門(mén)的數(shù)據(jù)存儲(chǔ)格式、大量的事先運(yùn)算、特別的系統(tǒng)設(shè)計(jì)等。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxfOLAP的關(guān)鍵特性(2)可分析性 OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。用戶可以在OLAP平臺(tái)上進(jìn)行數(shù)據(jù)分析,也可以連接到其他外部分析工具上,如時(shí)間序列分析工具

59、、數(shù)據(jù)挖掘等。(3)多維性多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)分析的多維視圖和分析。多維分析是分析數(shù)據(jù)最有效的方法之一,是OLAP的靈魂。(4)信息性不論數(shù)據(jù)量有多大,也不管數(shù)據(jù)存儲(chǔ)在何處,OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息,并且管理大容量信息。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf驗(yàn)證型分析與多維分析多維分析的基本概念 變量 維 多維視圖 多維分析的基本操作 切片(Slice)和切塊(Dice) 鉆?。―rill) 旋轉(zhuǎn)(Pivot) 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf變量 變量是一個(gè)數(shù)值型的度量指標(biāo),如“銷(xiāo)售額”,“單價(jià)”,“人數(shù)”等,說(shuō)明某一數(shù)據(jù)的實(shí)際意義。用戶在開(kāi)始驗(yàn)證型分析之前,對(duì)變量的

60、數(shù)據(jù)含義已經(jīng)確定,并且對(duì)分析中可能出現(xiàn)的結(jié)果有了預(yù)期。例如,用戶預(yù)期本年度的銷(xiāo)售額比去年的銷(xiāo)售額增長(zhǎng)了30。在分析的過(guò)程中,用戶就會(huì)去比較本年度的銷(xiāo)售額和去年的銷(xiāo)售額,此即“驗(yàn)證型分析”的含義。 審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf維維是人們觀察數(shù)據(jù)的特定角度;維是相同類(lèi)型數(shù)據(jù)的集合;維有自己固有的屬性,如層次結(jié)構(gòu)、排序、計(jì)算邏輯;例如,每個(gè)網(wǎng)點(diǎn)、每段時(shí)間、每種商品都是某一維的一個(gè)成員。每個(gè)銷(xiāo)售事實(shí)由一個(gè)特定的網(wǎng)點(diǎn)、特定的時(shí)間和特定的商品組成。審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf多維分析的基本操作 切片(Slice)切塊(Dice) 旋轉(zhuǎn)(Pivot)審計(jì)數(shù)據(jù)采集與分析技術(shù)概要wxf發(fā)掘分析什么是數(shù)據(jù)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論