數(shù)據(jù)脫敏到文件和文件導(dǎo)入數(shù)據(jù)庫(kù)的實(shí)現(xiàn)

1、.wd我司案號(hào)委托日期專利類型技 術(shù) 交 底 書創(chuàng)造或?qū)嵱眯滦蛯＠暾?qǐng)專用技術(shù)交底書名稱：數(shù)據(jù)脫敏到文件和文件導(dǎo)入數(shù)據(jù)庫(kù)的實(shí)現(xiàn)創(chuàng)造人名單：技術(shù)交底書撰寫人：吳陽(yáng)撰寫人聯(lián)系方式：E-mail：wuyang固定 ：手機(jī)造人所屬工程組:研發(fā)中心-數(shù)據(jù)管控產(chǎn)品線本申請(qǐng)涉及的方案是否已在產(chǎn)品上應(yīng)用可選:否是 (產(chǎn)品名稱) 本申請(qǐng)涉及的方案是否即將在產(chǎn)品上應(yīng)用:否是 (產(chǎn)品名稱) (預(yù)計(jì)的應(yīng)用時(shí)間) 交底書撰寫本卷須知：1、專利法予以保護(hù)的是技術(shù)方案不是功能，因此需要給出實(shí)現(xiàn)某種功能的具體技術(shù)方案，不能僅僅闡述功能；2、為了獲得一個(gè)較大的保護(hù)范圍，在能夠?qū)崿F(xiàn)最 基本的創(chuàng)造目的的前

2、提條件下，創(chuàng)造人應(yīng)該在當(dāng)前實(shí)施的最優(yōu)技術(shù)方案根基上發(fā)散思維，給出盡可能多的替代方案；3、同一個(gè)技術(shù)術(shù)語(yǔ)在整個(gè)交底書里只用一個(gè)詞來(lái)表達(dá)，不要用多個(gè)詞來(lái)表達(dá)。4、代理人和知識(shí)產(chǎn)權(quán)專員不是技術(shù)專家，當(dāng)他們咨詢時(shí)，創(chuàng)造人需要耐心講解；如果代理人或知識(shí)產(chǎn)權(quán)專員要求補(bǔ)充必要的資料，創(chuàng)造人應(yīng)當(dāng)及時(shí)補(bǔ)充。一、縮略語(yǔ)和關(guān)鍵術(shù)語(yǔ)定義下文出現(xiàn)的英文縮寫術(shù)語(yǔ)在此提供對(duì)應(yīng)的英文全稱和中文譯文，或中文專業(yè)術(shù)語(yǔ)的詳細(xì)解釋敏感數(shù)據(jù)，指不為群眾知悉，具有實(shí)際和潛在利用價(jià)值，喪失、不當(dāng)使用或未經(jīng)授權(quán)訪問(wèn)對(duì)社會(huì)、企業(yè)或個(gè)人造成危害的信息，如個(gè)人隱私信息、業(yè)務(wù)經(jīng)營(yíng)信息、財(cái)務(wù)信息、人事信息、IT運(yùn)維信息等。數(shù)據(jù)脫敏，指對(duì)某些敏感信息通

3、過(guò)脫敏規(guī)那么進(jìn)展數(shù)據(jù)的變形，實(shí)現(xiàn)敏感數(shù)據(jù)的可靠保護(hù)。脫敏數(shù)據(jù)，指敏感數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)脫敏處理后，不再包含某些敏感信息的數(shù)據(jù)。數(shù)據(jù)遷移，指將數(shù)據(jù)從一個(gè)載體遷移到另一個(gè)載體，比方：從數(shù)據(jù)庫(kù)A遷移到數(shù)據(jù)庫(kù)B，從文件A遷移到數(shù)據(jù)庫(kù)A，從數(shù)據(jù)庫(kù)A遷移到文件A等。XML，即可擴(kuò)展標(biāo)記語(yǔ)言(Extensible Markup Language)。標(biāo)記是指計(jì)算機(jī)所能理解的信息符號(hào)，通過(guò)此種標(biāo)記，計(jì)算機(jī)之間可以處理包含各種信息的文章等。如何定義這些標(biāo)記，既可以選擇國(guó)際通用的標(biāo)記語(yǔ)言，比方HTML，也可以使用像XML這樣由相關(guān)人士自由決定的標(biāo)記語(yǔ)言，這就是語(yǔ)言的可擴(kuò)展性。XML是從SGML中簡(jiǎn)化修改出來(lái)的。文件的導(dǎo)出

4、，即將源數(shù)據(jù)庫(kù)中脫敏后的數(shù)據(jù)導(dǎo)入到指定格式的文件中。文件的導(dǎo)入，即將excel文件經(jīng)過(guò)脫敏操作過(guò)后導(dǎo)入到目標(biāo)數(shù)據(jù)庫(kù)中。二、背景技術(shù)以及與本申請(qǐng)相關(guān)的現(xiàn)有技術(shù)1、背景技術(shù)即幫助理解本專利技術(shù)內(nèi)容的公知常識(shí)，您基于什么樣的背景創(chuàng)造的該專利：隨著信息技術(shù)的開展與大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)流通成為釋放數(shù)據(jù)紅利與價(jià)值的主要手段和途徑，敏感數(shù)據(jù)在流通中缺乏有效管控，處于高風(fēng)險(xiǎn)狀態(tài)。近年來(lái)，敏感數(shù)據(jù)泄漏事件屢見不鮮。敏感數(shù)據(jù)泄漏帶來(lái)的不僅僅是經(jīng)濟(jì)損失，同時(shí)損害了金融機(jī)構(gòu)和政府部門等權(quán)威機(jī)構(gòu)的公信力，嚴(yán)重破壞了社會(huì)信用體系，影響了相關(guān)產(chǎn)業(yè)與全社會(huì)安康和諧開展。在這樣的時(shí)代背景下，防止敏感數(shù)據(jù)的泄漏成為了十分重要的

5、問(wèn)題，因此我們開發(fā)了數(shù)據(jù)脫敏網(wǎng)關(guān)。數(shù)據(jù)脫敏網(wǎng)關(guān)就是針對(duì)敏感數(shù)據(jù)進(jìn)展數(shù)據(jù)脫敏，保證數(shù)據(jù)在做數(shù)據(jù)遷移的和使用時(shí)的安全性和保密性。數(shù)據(jù)脫敏網(wǎng)關(guān)主要實(shí)現(xiàn)了敏感數(shù)據(jù)在數(shù)據(jù)庫(kù)之間的脫敏和遷移，針對(duì)客戶的需求，又參加了數(shù)據(jù)庫(kù)到文件支持的文件格式有csv，excel，json，xml，txt的脫敏，和文件暫時(shí)只支持07版以前的excel，或者excel壓縮打包后的zip包到數(shù)據(jù)庫(kù)的脫敏。2、與本專利最接近的現(xiàn)有技術(shù)現(xiàn)有技術(shù)就是已經(jīng)有的技術(shù)，如果該現(xiàn)有技術(shù)的缺點(diǎn)正是本創(chuàng)造能夠消除的，那么為相關(guān)現(xiàn)有技術(shù)，否那么為非相關(guān)現(xiàn)有技術(shù)；相關(guān)現(xiàn)有技術(shù)中，與本專利共同的技術(shù)特征最多的，可視為最接近現(xiàn)有技術(shù)最接近現(xiàn)有技術(shù)是數(shù)據(jù)

6、脫敏網(wǎng)關(guān)中的數(shù)據(jù)遷移管理模塊，實(shí)現(xiàn)了數(shù)據(jù)庫(kù)之間的脫敏遷移。2.1現(xiàn)有技術(shù)的實(shí)現(xiàn)方案給出現(xiàn)有技術(shù)的系統(tǒng)圖、流程圖，結(jié)合附圖說(shuō)明現(xiàn)有技術(shù)的實(shí)現(xiàn)過(guò)程數(shù)據(jù)遷移管理模塊作為數(shù)據(jù)脫敏網(wǎng)關(guān)的核心功能，其下又分為三個(gè)子模塊： 策略管理，任務(wù)管理，任務(wù)日志管理，集成在數(shù)據(jù)脫敏網(wǎng)關(guān)中。如以以下圖：策略管理：實(shí)現(xiàn)了相關(guān)脫敏策略的增刪改查操作。任務(wù)管理：實(shí)現(xiàn)了相關(guān)脫敏任務(wù)的增刪改查操作，改子模塊是脫敏遷移管理的核心功能，整個(gè)的數(shù)據(jù)脫敏遷移都是在這里實(shí)現(xiàn)，目前實(shí)現(xiàn)了數(shù)據(jù)庫(kù)到數(shù)據(jù)的脫敏遷移，數(shù)據(jù)到csv文件的脫敏遷移。任務(wù)日志管理：簡(jiǎn)單的任務(wù)日志查看功能。數(shù)據(jù)庫(kù)脫敏遷移流程圖2.2現(xiàn)有技術(shù)的缺點(diǎn)一定是采用本專利申請(qǐng)技術(shù)方

7、案后能夠消除的缺點(diǎn)，缺點(diǎn)可以是多個(gè)現(xiàn)有數(shù)據(jù)遷移管理模塊中，只是針對(duì)了數(shù)據(jù)庫(kù)之間的脫敏遷移，在文件excel方面功能還不夠完善，只存在簡(jiǎn)單的csv文件的導(dǎo)出功能，在遇到客戶需要其他文件格式的時(shí)候，比方excel，xml，json等文件格式的時(shí)候沒(méi)有良好的支持。三、本申請(qǐng)所解決的技術(shù)問(wèn)題針對(duì)上述2.2點(diǎn)提出的缺點(diǎn)，引出創(chuàng)造動(dòng)機(jī)，闡述本專利要解決的技術(shù)問(wèn)題在數(shù)據(jù)脫敏中，脫敏后的數(shù)據(jù)存放在一個(gè)ListMap集合中，其中每一個(gè)Map都對(duì)應(yīng)數(shù)據(jù)庫(kù)里面的一個(gè)數(shù)據(jù)，string為其列名，object為其值。難點(diǎn)在于怎樣將數(shù)據(jù)按照每個(gè)文件對(duì)應(yīng)的格式轉(zhuǎn)換寫入到文件當(dāng)中，而且在excel文件存在不同版本的區(qū)別，07

8、版以前的excel每一個(gè)sheet只支持65535行的數(shù)據(jù)量，而07版本以后支持100萬(wàn)+行的數(shù)據(jù)量，map中的健對(duì)應(yīng)excel的表頭列名。xml的數(shù)據(jù)也有固定的格式要求，下文會(huì)貼出例子；而json數(shù)據(jù)在Java里面有現(xiàn)有的方法實(shí)現(xiàn)，就不做詳細(xì)的闡述了。XML數(shù)據(jù)格式：value1value2.value1value2.備注：每一個(gè)node對(duì)應(yīng)數(shù)據(jù)中的每一行數(shù)據(jù)，label對(duì)應(yīng)數(shù)據(jù)庫(kù)中的字段名，value對(duì)應(yīng)其值。四、本申請(qǐng)技術(shù)方案的詳細(xì)闡述創(chuàng)造內(nèi)容，重點(diǎn)介紹1、本申請(qǐng)的總體技術(shù)實(shí)現(xiàn)主要是代碼方面的實(shí)現(xiàn)?？偟臉?gòu)思流程圖：備注：因?yàn)檫@里是針對(duì)已經(jīng)脫敏的ListMap數(shù)據(jù)進(jìn)展文件格式的輸出，這里就

9、不做脫敏的實(shí)現(xiàn)，只做文件輸出的實(shí)現(xiàn)。后文中會(huì)用到一個(gè)公共的Document對(duì)象轉(zhuǎn)String的方法：publicstatic String doctoString(Document document) String str = ; try / 使用輸出流來(lái)進(jìn)展轉(zhuǎn)化ByteArrayOutputStream out = newByteArrayOutputStream(); / 使用UTF-8編碼OutputFormat format = newOutputFormat( , true, UTF-8); XMLWriter writer = newXMLWriter(out, format);

10、writer.write(document); str = out.toString(UTF-8); catch (Exception ex) ex.printStackTrace(); returnstr; 1 ListMap轉(zhuǎn)xml文件格式的實(shí)現(xiàn)前文已經(jīng)寫出了xml文件格式的 基本，下文就不在做詳細(xì)的贅述了：引用的包：org.dom4j。根據(jù)xml文件的 基本格式看出，在做具體實(shí)現(xiàn)的時(shí)候，我是把list里面的數(shù)據(jù)放在nodes標(biāo)簽里面的，其子標(biāo)簽node那么對(duì)應(yīng)數(shù)據(jù)庫(kù)里面的每一行數(shù)據(jù)，數(shù)據(jù)庫(kù)對(duì)應(yīng)的字段名那么是key標(biāo)簽里面的label屬性。這里的重點(diǎn)就是找出最簡(jiǎn)單的方法將數(shù)據(jù)庫(kù)里面的字段名

11、寫入到label里面，在這里我們只需要遍歷list0中的數(shù)據(jù)就能得出數(shù)據(jù)庫(kù)中的字段名了，實(shí)現(xiàn)代碼如下：publicstatic String listtoXml(List list) throws Exception /初始化一個(gè)document對(duì)象，用來(lái)添加XML內(nèi)容Document document = DocumentHelper.createDocument();/初始化一個(gè)Element對(duì)象，其表示XML文檔中的元素，元素可包含屬性，其他元素或文本，如果元素含有文本，那么在文本節(jié)點(diǎn)中表示該文本，文本永遠(yuǎn)存儲(chǔ)在文本節(jié)點(diǎn)中。此時(shí)創(chuàng)立了一個(gè)父節(jié)點(diǎn)nodes，用于記錄list里面的所有數(shù)據(jù)。

12、Element nodesElement = document.addElement(nodes); inti = 0;/遍歷listfor (Object o : list) /初始化Element對(duì)象，創(chuàng)立nodes節(jié)點(diǎn)的子節(jié)點(diǎn)node，用于記錄每一行數(shù)據(jù)。Element nodeElement = nodesElement.addElement(node); if (o instanceof Map) /遍歷mapfor (Object obj : (Map) o).keySet() /初始化Element對(duì)象，創(chuàng)立node節(jié)點(diǎn)的子節(jié)點(diǎn)key，用于記錄每一格的具體數(shù)據(jù)。Element k

13、eyElement = nodeElement.addElement(key); /key節(jié)點(diǎn)的label屬性，即map的健，對(duì)應(yīng)數(shù)據(jù)庫(kù)的字段名。keyElement.addAttribute(label, String.valueOf(obj); /key節(jié)點(diǎn)的具體內(nèi)容，即map的值，對(duì)應(yīng)數(shù)據(jù)庫(kù)的值。keyElement.setText(String.valueOf(Map) o).get(obj); else Element keyElement = nodeElement.addElement(key); keyElement.addAttribute(label, String.val

14、ueOf(i); keyElement.setText(String.valueOf(o); i+; /將Document對(duì)象轉(zhuǎn)為字符串返回，在轉(zhuǎn)字符串的時(shí)候設(shè)定了具體的編碼，xml為UTF8的編碼。returndoctoString(document); 到此就將一個(gè)ListMap轉(zhuǎn)換為了xml文件的格式了，這個(gè)list就是數(shù)據(jù)脫敏網(wǎng)關(guān)中的脫敏數(shù)據(jù)，余下的操作就是將上面返回的字符串輸出到文件中，文件的輸出就是一個(gè)簡(jiǎn)單的I/O操作就不再做詳細(xì)的贅述了，值得注意的是在創(chuàng)立文件的時(shí)候是以xml為后綴的。2. ListMap轉(zhuǎn)excel文件格式的實(shí)現(xiàn)區(qū)別excel 07版以前和以后兩個(gè)版本：07版本

15、以前的每一個(gè)工作簿sheet數(shù)據(jù)量限制為256列*65536行，07版本以后的限制為16384列*1048576行，在這里可以看出07版本的excel文件存儲(chǔ)的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于較早版本的，所以建議盡量使用07版本以后的.不過(guò)考慮到很多PC上面可能沒(méi)有較新的excel我會(huì)給出兩個(gè)版本的具體實(shí)現(xiàn)。而且兩個(gè)版本的excel在文件后綴名上也存在不同，07版本以前為.xls，07版本以后為.xlsx，在創(chuàng)立文件的時(shí)候需要值得注意。07版本以前引用的包：org.apache.poi.hssf.usermodel。/* *創(chuàng)立excel表頭 * param sheet * paramkeysStr */pri

16、vatestaticvoidbuildTitleOld(HSSFSheet sheet, String keysStr) if (sheet.getLastRowNum() = 0) HSSFCell cell = null;HSSFRow row = sheet.createRow(sheet.getLastRowNum();for (int j = 0; j keysStr.length; j+) cell = row.createCell(j);cell.setCellValue(keysStrj);/* excel 版本2007以下 sheet上限65535* param ListMa

17、p* return*/publicstaticHSSFWorkbooklisttoExcleOld(ListMap list)HSSFWorkbook workbook = newHSSFWorkbook();/獲取數(shù)據(jù)庫(kù)中的字段名。String keysStr = list.get(0).keySet().toArray(new String );HSSFSheet sheet = workbook.getSheetAt(workbook.getNumberOfSheets() - 1);HSSFRow row = null;HSSFCell cell = null;introwNum =

18、sheet.getLastRowNum();buildTitleOld(sheet, keysStr);for (inti = 0; i 65535) sheet = workbook.createSheet();buildTitleOld(sheet, keysStr);rowNum = 0;row = sheet.createRow(+rowNum);for (int j = 0; j keysStr.length; j+) cell = row.createCell(j);String key = keysStrj;Object obj = list.get(i).get(key);St

19、ring str = ;if (obj != null) str = obj.toString();cell.setCellValue(str);row = null;cell = null;return workbook;07版本以前引用的包：org.apache.poi.xssf.usermodel。/* *創(chuàng)立excel表頭 * param sheet * paramkeysStr */privatestaticvoidbuildTitleNew(XSSFSheet sheet, String keysStr) if (sheet.getLastRowNum() = 0) XSSFCel

20、l cell = null;XSSFRow row = sheet.createRow(sheet.getLastRowNum();for (int j = 0; j keysStr.length; j+) cell = row.createCell(j);cell.setCellValue(keysStrj);/* list to excel 版本2007以上 sheet行數(shù)上線100萬(wàn)+* param ListMap* return*/publicstaticXSSFWorkbooklisttoExcleNew(ListMap list)XSSFWorkbook workbook = ne

21、wXSSFWorkbook();String keysStr = list.get(0).keySet().toArray(new String );XSSFSheet sheet = workbook.getSheetAt(workbook.getNumberOfSheets() - 1);XSSFRow row = null;XSSFCell cell = null;introwNum = sheet.getLastRowNum();buildTitleNew(sheet, keysStr);for (inti = 0; i 1048575) sheet = workbook.create

22、Sheet();buildTitleNew(sheet, keysStr);rowNum = 0;row = sheet.createRow(+rowNum);for (int j = 0; j keysStr.length; j+) cell = row.createCell(j);String key = keysStrj;Object obj = list.get(i).get(key);String str = ;if (obj != null) str = obj.toString();cell.setCellValue(str);row = null;cell = null;ret

23、urn workbook;以上就是兩種excel文件格式的具體實(shí)現(xiàn)。07版以后的擴(kuò)展名都是.xlsx，是用新的基于XML的壓縮文件格式取代了其目前專有的默認(rèn)文件格式，在傳統(tǒng)的文件名擴(kuò)展名后面添加了字母x即.docx取代.doc、.xlsx取代.xls，等等，使其占用空間更小，可以向下兼容xls。在做I/O輸出的時(shí)候需要區(qū)別兩個(gè)版本的excel文件，并修改對(duì)應(yīng)的后綴名。3. 文件excel文件.xls或者其對(duì)應(yīng)的zip包導(dǎo)入到數(shù)據(jù)庫(kù)：在文件導(dǎo)入數(shù)據(jù)庫(kù)的時(shí)候這里考慮了兩張情況，數(shù)據(jù)表建表與否。情況一，數(shù)據(jù)庫(kù)表已經(jīng)建好，且表名對(duì)應(yīng)文件名，字段名對(duì)應(yīng)文件表頭，就可以實(shí)現(xiàn)文件的直接導(dǎo)入，流程圖如下：這里

24、就不再詳細(xì)的貼出相關(guān)代碼， 說(shuō)明幾個(gè)值得注意的地方：1 在寫入數(shù)據(jù)之前，需要讀取數(shù)據(jù)庫(kù)中對(duì)應(yīng)表的字段名，作為全局變量使用，以便匹配list里面對(duì)應(yīng)的數(shù)據(jù)；2 如果是ZIP包，里面可能存在多個(gè)文件的情況，在處理多個(gè)文件的時(shí)候，需要對(duì)文件進(jìn)展遍歷并且和數(shù)據(jù)庫(kù)里面的數(shù)據(jù)表一一對(duì)應(yīng)，對(duì)沒(méi)有建表的文件拋出異常，其余文件正常導(dǎo)入。情況二，數(shù)據(jù)庫(kù)未建表，但是上傳的文件為ZIP包，且里面包含了一個(gè)SQL文件夾，流程圖如下：在執(zhí)行SQL文件的時(shí)候，sql語(yǔ)句必須符合語(yǔ)法規(guī)那么，要不然會(huì)導(dǎo)致建表失敗，可以批量的進(jìn)展建表操作和文件的導(dǎo)入，目前支持informix數(shù)據(jù)庫(kù)和oracle數(shù)據(jù)表。在處理所有數(shù)據(jù)的時(shí)候都是采

25、用批處理，在一定程度上提高了數(shù)據(jù)的處理速度。以下是一些比較重要的方法實(shí)現(xiàn)：/*獲取數(shù)據(jù)表的字段信息*/publicstatic MapgetTableInfo(Connection conn, StringtableName)MapcolInfo = newHashMap();Stringsimpleselect = select * from +tableName;ResultSetrs;try rs = conn.prepareStatement(simpleselect).executeQuery();ResultSetMetaDatadbMeta = rs.getMetaData();

26、for (inti = 1; i= dbMeta.getColumnCount(); i+) if (ROWNUM.equals(dbMeta.getColumnName(i)continue;/ 保存列名和codeStringcolName = dbMeta.getColumnName(i).toLowerCase();intjavacode = dbMeta.getColumnType(i);colInfo.put(colName, javacode); catch (SQLExceptione) e.printStackTrace();ImportWorker.err = 查詢數(shù)據(jù)表信息異常;returncolInfo;2、本申請(qǐng)的具體實(shí)施例將上述總體技術(shù)方案放到一個(gè)具體的應(yīng)用