全媒體資源庫

圖1-41所示圖1-SEQ圖1-\*ARABIC41新聞收藏界面創(chuàng)意收藏收藏的創(chuàng)意圖片可以在這里展示。歷史資料管理為報社建立歷史資料庫，可存儲的大量不常用數(shù)據(jù)和各種資料數(shù)據(jù)，和其他資源。全文檢索對報社的數(shù)字資源（包括圖片資源）的全范圍搜索，除常規(guī)的按日期查看、按分類查看外，實現(xiàn)關(guān)鍵字全文檢索。提供全文檢索功能：要提供對XXX全媒體數(shù)字資源服務(wù)平臺的全文搜索。實現(xiàn)豐富智能的搜索手段，包括：任意短語和長句的檢索、支持多種檢索表達式、組合檢索、二次檢索等。實現(xiàn)檢索結(jié)果的多種排序方式，如按作者、時間、所屬分類等。數(shù)據(jù)存儲管理報社的信息數(shù)據(jù)量大、內(nèi)容數(shù)據(jù)類型復(fù)雜、數(shù)據(jù)安全性可靠性要求高，我們的系統(tǒng)能夠采用多數(shù)據(jù)庫的分布式管理模式，把歷史數(shù)據(jù)、工作數(shù)據(jù)、臨時數(shù)據(jù)、核心數(shù)據(jù)等能夠分開管理和處理。全媒體數(shù)字資源服務(wù)平臺可按照資源的分類、時間、對應(yīng)的不同處理部門對數(shù)據(jù)進行區(qū)別管理，并通過定期的備份歸檔機制將不同年份的數(shù)據(jù)分區(qū)存儲。系統(tǒng)要集中管理所有的資源文件。資源數(shù)據(jù)按照統(tǒng)一制定的分類體系進行標注和存儲。這些數(shù)據(jù)分布存儲于不同的數(shù)據(jù)區(qū)域，相關(guān)內(nèi)容必須存儲于數(shù)據(jù)庫中。數(shù)據(jù)庫可建立用戶權(quán)限管理機制。對于圖片的縮略圖查看、原圖查看、原圖使用，對于文字的原文查看、原文使用，都有相應(yīng)的用戶權(quán)限設(shè)置。系統(tǒng)提供業(yè)務(wù)平臺對全媒體數(shù)字資源服務(wù)平臺的訪問接口，使業(yè)務(wù)平臺能夠調(diào)用加工整理后的內(nèi)容資料。在業(yè)務(wù)平臺中能夠輸入條件在內(nèi)容庫中進行檢索，并能夠快捷的獲得結(jié)果，在業(yè)務(wù)系統(tǒng)中使用。我們系統(tǒng)的數(shù)據(jù)庫存儲方案遵循以下原則： 不同類型的業(yè)務(wù)數(shù)據(jù)分開存儲； 生產(chǎn)數(shù)據(jù)和資料數(shù)據(jù)分開存儲； 生產(chǎn)數(shù)據(jù)根據(jù)部門等處理用戶的不同分開存儲； 資料數(shù)據(jù)根據(jù)分類和時間的不同分開存儲； 不同年份的數(shù)據(jù)可以考慮采用分區(qū)存儲；便于存儲容量的擴充保證數(shù)據(jù)訪問的效率；系統(tǒng)管理機構(gòu)、用戶和角色管理可以管理系統(tǒng)的用戶，用戶可以分成不同的角色，如管理員用戶主要進行系統(tǒng)管理，系統(tǒng)維護人員主要負責數(shù)據(jù)的維護，普通用戶，主要是通過訪問系統(tǒng)，獲取所有的資料信息。應(yīng)用權(quán)限管理用戶的授權(quán)是可以在不同粗細粒度上進行。權(quán)限設(shè)定可做到庫級、字段級和分類級的控制，對一個使用者而言，可做到只看到權(quán)限范圍內(nèi)的部分文章對象，這些對象的字段/內(nèi)容可設(shè)置成禁止閱讀、以及敏感文章可自動隱藏等功能；對于圖片的縮略圖查看、原圖查看、原圖使用，對于文字的摘要查看、原文查看、原文使用，都有相應(yīng)的權(quán)限設(shè)置。這樣兩個權(quán)限不同的使用者，同樣的操作得到不同的頁面。權(quán)限控制可以提供基于用戶/角色、基于IP、基于操作等多種方式選擇。面對應(yīng)用系統(tǒng)的擴展，其授權(quán)也可作相應(yīng)的擴展。實現(xiàn)需要交換的共享的內(nèi)容的操作權(quán)限管理，實現(xiàn)哪些用戶可以進行讀取、哪些用戶可以進行修改、哪些可以進行刪除、哪些可以完成添加等功能。稿件類型管理稿件類型管理主要稿件管理元數(shù)據(jù)，實現(xiàn)數(shù)據(jù)類型的擴展。庫管理系統(tǒng)主要完成數(shù)據(jù)庫的創(chuàng)建和結(jié)構(gòu)的定義。數(shù)據(jù)庫的大小不受單個硬盤的限制。全媒體資源服務(wù)平臺系統(tǒng)采用多數(shù)據(jù)庫的分布式管理方式，把歷史數(shù)據(jù)、工作數(shù)據(jù)、臨時數(shù)據(jù)、核心數(shù)據(jù)等進行分開管理和處理。通過庫管理實現(xiàn)：不同類型的業(yè)務(wù)數(shù)據(jù)分開存儲到不同的庫中；生產(chǎn)數(shù)據(jù)和資料數(shù)據(jù)分開存儲到不同的庫中；生產(chǎn)數(shù)據(jù)根據(jù)部門等處理用戶的不同分開存儲到不同的庫中；資料數(shù)據(jù)根據(jù)分類和時間的不同分開存儲到不同的庫中；系統(tǒng)通過定期的備份歸檔機制將不同年份的數(shù)據(jù)采用分區(qū)存儲；便于存儲容量的擴充保證數(shù)據(jù)訪問的效率；跨地域的生產(chǎn)數(shù)據(jù)通過數(shù)據(jù)復(fù)制等技術(shù)實現(xiàn)分布式存儲管理；資料數(shù)據(jù)要根據(jù)訪問頻率進行分級存儲，并通過緩存機制實現(xiàn)部分數(shù)據(jù)快速訪問；業(yè)務(wù)流程管理對錄入編輯的工作流程進行管理，方便支持流程的擴展和修改。文件存儲管理支持文件數(shù)據(jù)的分布式海量存儲，通過文件存儲管理，還可以把文件存儲設(shè)備擴展到新的服務(wù)器上，實現(xiàn)按照資源的處理階段劃分存儲區(qū)域，也支持針對不同的站點劃分不同的存儲區(qū)域，即實現(xiàn)不同級別的站點分開存儲。支持文件數(shù)據(jù)多種格式存儲。即將一個文檔存成另外一種格式，不同于它原來的格式或用法。系統(tǒng)實現(xiàn)關(guān)鍵應(yīng)用級文件數(shù)據(jù)備份功能，通過在應(yīng)用中記錄應(yīng)用系統(tǒng)使用者的操作，實時的把操作結(jié)果保存為兩份的功能。通過把備份時間設(shè)成報社非工作時間，保證備份操作的效率。分類管理支持多種分類類型，支持分類的擴展，支持分類碼轉(zhuǎn)換，采用《GB/T20093-2006中文新聞信息分類與代碼》作為分類標準。數(shù)據(jù)源管理系統(tǒng)支持多個數(shù)據(jù)源，支持與多個關(guān)系數(shù)據(jù)庫做連接。日志管理系統(tǒng)提供全面詳盡的日志信息記錄功能，對系統(tǒng)中用戶的一些日常操作記錄，稿件加工的操作記錄，稿件下載都進行統(tǒng)一管理。系統(tǒng)能夠記錄用戶的登錄時間、退出時間、進入系統(tǒng)后對哪些內(nèi)容進行了操作，操作時間、操作類型等，都進行全面的記錄。對日志可以進行瀏覽、查詢和歸檔。提供圖表方式的統(tǒng)計數(shù)據(jù)，可生成統(tǒng)計基本報表；系統(tǒng)能夠提供各項運行指標，包括各個庫表的空間大小、記錄數(shù)目、增長速度等等，方便系統(tǒng)管理員維護管理，對系統(tǒng)的日常工作情況進行監(jiān)控管理。后臺服務(wù)任務(wù)管理根據(jù)應(yīng)用子系統(tǒng)的需要，配置一些后臺運行的服務(wù)，支持添加，啟動，關(guān)閉，刪除功能。系統(tǒng)錯誤跟蹤管理可以跟蹤系統(tǒng)中發(fā)現(xiàn)的錯誤，及時定位錯誤位置，便于快速排出故障。與相關(guān)業(yè)務(wù)系統(tǒng)的銜接全媒體資源服務(wù)平臺庫系統(tǒng)支持與報社全媒體新聞生產(chǎn)系統(tǒng)無縫對接，采編系統(tǒng)里的業(yè)務(wù)數(shù)據(jù)設(shè)定期限后可自動歸檔到全媒體資源服務(wù)平臺庫系統(tǒng)中進行存儲。全媒體資源服務(wù)平臺庫系統(tǒng)內(nèi)的文字、圖片內(nèi)容可直接再簽回到報社采編系統(tǒng)中進行后續(xù)的加工應(yīng)用。系統(tǒng)具有對外銷售增值的業(yè)務(wù)接口，方便報社后續(xù)的圖片資料、內(nèi)容資產(chǎn)的網(wǎng)絡(luò)銷售。

硬件系統(tǒng)方案服務(wù)器系統(tǒng)服務(wù)器系統(tǒng)是報社業(yè)務(wù)系統(tǒng)賴以運行的支撐平臺，其安全性、穩(wěn)定性、高效性和可靠性是業(yè)務(wù)系統(tǒng)的基礎(chǔ)和保障。結(jié)合方正電子的集成經(jīng)驗，本著從應(yīng)用出發(fā)，適用、實用的原則，總結(jié)了以下關(guān)鍵業(yè)務(wù)服務(wù)器的選型經(jīng)驗和思路，以供最終選型時參考。服務(wù)器的可靠性和可用性是首要的需求，其次是數(shù)據(jù)處理能力和安全性，然后是可擴展性和可管理性。服務(wù)器選型五個原則1)高性能原則保證所選型的服務(wù)器，不僅能夠滿足運營系統(tǒng)的運行和業(yè)務(wù)處理的需要，而且能夠滿足一定時期的業(yè)務(wù)量增長的需要。同時，選擇高性能價格比的服務(wù)器。2)可靠性原則可靠性原則是所有選擇設(shè)備和系統(tǒng)中首要考慮的，尤其是在大型的、有大量處理要求的、需要長期運行的系統(tǒng)。考慮服務(wù)器系統(tǒng)的可靠性，不僅要考慮服務(wù)器單個節(jié)點的可靠性或穩(wěn)定性，而且要考慮服務(wù)器與相關(guān)輔助系統(tǒng)之間連接的整體可靠性，在必要時，還應(yīng)考慮對關(guān)鍵服務(wù)器采用集群技術(shù)，如：雙機熱備份或集群并行訪問技術(shù)，甚至采用可能的完全容錯機。比如，要保證系統(tǒng)(硬件和操作系統(tǒng))在99.98%的時間內(nèi)都能夠正常運作(包括維修時間)，則故障停機時間六個月不得超過0.5個小時。服務(wù)器需7×24小時連續(xù)運行，因而要求其具有很高的安全可靠性。服務(wù)器如出現(xiàn)CPU損壞或其它機械故障，都能在20分鐘內(nèi)由備用的CPU和機器自動代替工作，無須人員操作，保證數(shù)據(jù)完整。3)可擴展性原則保證所選型的服務(wù)器具有優(yōu)秀的可擴展性原則。因為服務(wù)器是所有系統(tǒng)處理的核心，要求具有大數(shù)據(jù)吞吐速率，包括：I/O速率和網(wǎng)絡(luò)通訊速率，而且服務(wù)器需要能夠處理一定時期的業(yè)務(wù)發(fā)展所帶來的數(shù)據(jù)量，需要服務(wù)器能夠在相應(yīng)時間對其自身根據(jù)業(yè)務(wù)發(fā)展的需要進行相應(yīng)的升級，如：CPU型號升級、內(nèi)存擴大、硬盤擴大、更換網(wǎng)卡、增加終端數(shù)目、掛接磁盤陣列或與其他服務(wù)器組成對集中數(shù)據(jù)的并發(fā)訪問的集群系統(tǒng)等。這都需要所選購的服務(wù)器在整體上具有一個良好的可擴充余地。一般會采用集群方式來增加可靠性，其中掛接的磁盤存儲系統(tǒng)，根據(jù)數(shù)據(jù)量和投資考慮，可以采用DAS、NAS或SAN等實現(xiàn)技術(shù)。4)安全性原則服務(wù)器處理的大都是相關(guān)系統(tǒng)的核心數(shù)據(jù)，其上存放和運行著關(guān)鍵的交易和重要的數(shù)據(jù)。這些交易和數(shù)據(jù)對于擁有者來說是一筆重要的資產(chǎn)，他們的安全性就非常敏感。服務(wù)器的安全性與系統(tǒng)的整體安全性密不可分，如：網(wǎng)絡(luò)系統(tǒng)的安全、數(shù)據(jù)加密、密碼體制等。服務(wù)器需要在其自身，包括軟硬件，都應(yīng)該從安全的角度上設(shè)計考慮，在借助于外界的安全設(shè)施保障下，更要保證本身的高安全性。5)可管理性原則服務(wù)器既是核心又是系統(tǒng)整體中的一個節(jié)點部分，就像網(wǎng)絡(luò)系統(tǒng)需要進行管理維護一樣，也需要對服務(wù)器進行有效的管理。這需要服務(wù)器的軟硬件對標準的管理系統(tǒng)支持，尤其是其上的操作系統(tǒng)，也包括一些重要的系統(tǒng)部件。為保證報社編采業(yè)務(wù)以及整個文字處理和出版流程的順利運作，無論是全媒體新聞生產(chǎn)、全媒體資源庫、通訊員投稿、文件服務(wù)等等都離不開服務(wù)器系統(tǒng)。作為承擔系統(tǒng)數(shù)據(jù)存儲、加工、轉(zhuǎn)換及綜合處理的系統(tǒng)中心平臺--系統(tǒng)服務(wù)器，是否能很好的承擔此核心任務(wù)是系統(tǒng)成功的重要基礎(chǔ)。服務(wù)器是報業(yè)業(yè)務(wù)系統(tǒng)基礎(chǔ)建設(shè)的核心。因此，對于服務(wù)器的選型，首先需對其業(yè)務(wù)系統(tǒng)的業(yè)務(wù)類型、業(yè)務(wù)復(fù)雜度等方面做系統(tǒng)的需求分析，其后根據(jù)需求在數(shù)據(jù)容量、數(shù)據(jù)處理的強度等方面進行估算，并兼顧服務(wù)器的可靠性、擴展性、安全性、可管理性等方面綜合考慮，完成最終的產(chǎn)品選型。數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫服務(wù)器將承載關(guān)系型數(shù)據(jù)庫系統(tǒng)，用于管理和存儲采編、圖片生產(chǎn)系統(tǒng)核心管理數(shù)據(jù)、原數(shù)據(jù)等小對象（比如稿件、簡圖等）結(jié)構(gòu)化數(shù)據(jù)，相當于應(yīng)用系統(tǒng)的管理中樞，同時也是業(yè)務(wù)系統(tǒng)賴以運行的基礎(chǔ)。所有客戶端子系統(tǒng)都要與其建立直接的實時連接。因此，數(shù)據(jù)庫系統(tǒng)的穩(wěn)定性要求非常高。數(shù)據(jù)庫系統(tǒng)對服務(wù)器的處理器、內(nèi)存的要求較高，但對數(shù)據(jù)存儲及存儲容量的要求一般，屬于計算密集、敏感型應(yīng)用。機集群系統(tǒng)架構(gòu)為提高全媒體資源平臺及服務(wù)器操作系統(tǒng)安全、穩(wěn)定運行。我們建議使用高可用模塊來做服務(wù)器的雙機熱備，保障整體系統(tǒng)7*24小時平穩(wěn)運行。雙機高可用方案主要有兩種架構(gòu)方式：共享磁盤系統(tǒng)高可用各服務(wù)器之間共享磁盤陣列設(shè)備。當活動服務(wù)器發(fā)生故障時，待機服務(wù)器將使用共享磁盤上的數(shù)據(jù)來繼承業(yè)務(wù)。通過使用共享磁盤，覆蓋數(shù)據(jù)量可達到數(shù)TB級。鏡像磁盤系統(tǒng)通過私網(wǎng)對高可用服務(wù)器上的數(shù)據(jù)磁盤進行鏡像化。當活動服務(wù)器發(fā)生故障時，待機服務(wù)器使用鏡像盤上的數(shù)據(jù)來繼承業(yè)務(wù)。由于數(shù)據(jù)的鏡像化是以I/O為單位進行的，因此，從上層應(yīng)用程序來看，與共享磁盤效果是相同的。但是數(shù)據(jù)量上僅適合于數(shù)據(jù)容量為數(shù)十GB以內(nèi)的系統(tǒng)。根據(jù)全媒體資源平臺存儲數(shù)據(jù)量，我們建議采用共享磁盤系統(tǒng)的雙機高可用。當某臺服務(wù)器發(fā)生故障時，通過高可用模塊的支持，另一臺服務(wù)器會檢測到故障，并自動切換故障服務(wù)器承載的應(yīng)用，接管共享存儲中的數(shù)據(jù)，保障全媒體新聞生產(chǎn)系統(tǒng)流程不間斷。服務(wù)器推薦選型根據(jù)以上性能分析，本次方案我們推薦全媒體資源平臺各采用兩臺DELLR720服務(wù)器做雙機集群，每臺配置雙路六核處理器，32GB內(nèi)存，2塊300GB10krpmSFFSAS硬盤承載全媒體新聞生產(chǎn)系統(tǒng)。DELLPowerEdgeR720雙路2U機架式DellPowerEdgeR720服務(wù)器樹立了功能靈活性方面的新標準，配備高度可擴展的內(nèi)存、I/O容量和靈活的網(wǎng)絡(luò)選項，可以輕松運行復(fù)雜的工作負載。DellPowerEdgeR720機架式服務(wù)器是一款配有高度可擴展的內(nèi)存（最多可擴展到768GB）與超強I/O能力的通用平臺，能夠輕松運行大中型企業(yè)的各種應(yīng)用程序以及虛擬化環(huán)境。借助英特爾至強E5處理器和對雙RAID控制器的支持，R720可以穩(wěn)健地處理要求極為苛刻的工作負載，如數(shù)據(jù)倉庫、電子商務(wù)、虛擬桌面基礎(chǔ)架構(gòu)(VDI)、數(shù)據(jù)庫和作為數(shù)據(jù)節(jié)點的高性能計算(HPC)。存儲系統(tǒng)存儲管理層目前包括三種存儲架構(gòu)，即DAS、NAS和SAN。其中，DAS即直接連接存儲，存儲設(shè)備直接與數(shù)據(jù)存儲需求者連接，系統(tǒng)對磁盤BLOCK請求直接發(fā)送到存儲設(shè)備。DAS存儲設(shè)備通常是具備雙RAID控制器的中低端磁盤陣列柜且無單故障點。DAS存儲方式的主要優(yōu)勢是高性價比，通常適用于數(shù)據(jù)存儲需要不大且無共享數(shù)據(jù)存儲需求的環(huán)境。NAS即網(wǎng)絡(luò)附屬存儲，是一種基于以太網(wǎng)的專用文件存儲和共享設(shè)備。NAS存儲設(shè)備通常由機頭（負責存儲設(shè)備和文件管理服務(wù)）和磁盤箱（存儲設(shè)備）兩部分組成。高端NAS系統(tǒng)機頭會采用冗余配置，以保證NAS核心系統(tǒng)無單故障點。NAS存儲方式的主要優(yōu)勢是文件共享、備份和容災(zāi)，通常適用于對文件、圖片等大對象數(shù)據(jù)有存儲需求的環(huán)境。另外，目前很多NAS廠商提供SAN、NAS混合型一體化產(chǎn)品。SAN即存儲區(qū)域網(wǎng)絡(luò)，是一種通過專用交