討論建立BEPC數(shù)據(jù)存儲(chǔ)管理系統(tǒng)模型的系統(tǒng)結(jié)構(gòu)和基本方法

1、討論建立BEPC數(shù)據(jù)存儲(chǔ)管理系統(tǒng)模型的系統(tǒng)結(jié)構(gòu)和基本方法    Abstract  In this article we will introduce the system structure of a model built for BEPC data manage-ment and storage as well as the basic methods on how  to establish the system. Additionally the analysisof the data structure, the data

2、 process, the selection of experimental program, the image manipulationand the key techniques will be discussed in detail. The model implements the setup of the system envi-ronment and all those functions of data loading, database creating, data accessing and data figuring. Key words:BEPC; PHP;

3、 ORACLE; LINUX; WEB   摘要:著重討論了建立BEPC數(shù)據(jù)存儲(chǔ)管理系統(tǒng)模型的系統(tǒng)結(jié)構(gòu)和基本方法。從BEPC數(shù)據(jù)結(jié)構(gòu)分析、數(shù)據(jù)采集、數(shù)據(jù)處理過(guò)程、系統(tǒng)結(jié)構(gòu)設(shè)計(jì)、實(shí)驗(yàn)方案選擇、關(guān)鍵技術(shù)以及圖像處理等方面詳細(xì)PHP論文介紹了系統(tǒng)模型的實(shí)現(xiàn)過(guò)程。完成了從系統(tǒng)實(shí)驗(yàn)軟硬件平臺(tái)的建立到數(shù)據(jù)裝入、數(shù)據(jù)庫(kù)建立、數(shù)據(jù)存取以及數(shù)據(jù)圖形處理等功能。 關(guān)鍵詞:BEPC; PHP; ORACLE; LINUX; WEB  0 引言利用計(jì)算機(jī)領(lǐng)域的先進(jìn)技術(shù),替代目前人工干預(yù)處理數(shù)據(jù)的落后方式,建立一個(gè)適合高能所的計(jì)算與數(shù)據(jù)存儲(chǔ)管理環(huán)境勢(shì)在必行。但使用什么樣的存儲(chǔ)系統(tǒng)

4、,采取何種管理方案對(duì)大批量的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行有效地存儲(chǔ)管理,國(guó)內(nèi)外都在進(jìn)行積極的探索,嘗試使用不同的方案,實(shí)現(xiàn)實(shí)驗(yàn)數(shù)據(jù)安全有效的存儲(chǔ)、方便快速地查詢以及正確可靠地分析。本文將對(duì)建立基于WEB的BEPC數(shù)據(jù)存儲(chǔ)管理系統(tǒng)的方案設(shè)計(jì)進(jìn)行討論,描述系統(tǒng)模型,并介紹具體實(shí)現(xiàn)方法。1 BEPC需求BEPC獲取子系統(tǒng)由相應(yīng)的光學(xué)平臺(tái)、光學(xué)元件、電子元件和傳輸線路所組成。BEPC的數(shù)據(jù)就是通過(guò)大量的光敏元件等探測(cè)頭精確地探測(cè)出BEPC的實(shí)驗(yàn)情況,并通過(guò)相應(yīng)的電子線路將探測(cè)到的信號(hào)最終轉(zhuǎn)化為數(shù)據(jù)信號(hào)。升級(jí)后的BEPC(BEPCII)亮度將從5×1030提高到1×1033cm-2s-1,控制系統(tǒng)無(wú)

5、論在硬件環(huán)境還是軟件環(huán)境上都有較大的改變,目前在系統(tǒng)結(jié)構(gòu)建立尚未完成之前需要將原BEPC束測(cè)參數(shù)移植到ORACLE數(shù)據(jù)庫(kù)中,并初步實(shí)現(xiàn)以下功能:1)數(shù)據(jù)采集:將束測(cè)系統(tǒng)中前端計(jì)算機(jī)上的實(shí)時(shí)I/O數(shù)據(jù)收集并加載到ORACLE數(shù)據(jù)庫(kù)形成歷史數(shù)據(jù)庫(kù)。2)歷史數(shù)據(jù)查詢:可以在用戶界面上選擇不同數(shù)據(jù)表的不同參數(shù)列,進(jìn)行任意時(shí)間段查詢條件的選擇,以表格方式顯示所有查到的數(shù)據(jù)值,對(duì)束測(cè)參數(shù)的歷史數(shù)據(jù)查詢不設(shè)置用戶權(quán)限。3)數(shù)據(jù)圖形顯示:用戶可以選定繪圖顏色及繪制方式(如點(diǎn)圖、線圖)以及成圖方式(如將多組數(shù)據(jù)曲線置于同一坐標(biāo)系內(nèi)或分別作圖、雙線坐標(biāo)),坐標(biāo)軸要隨著數(shù)值區(qū)間的不同而變動(dòng),并標(biāo)注坐標(biāo)、數(shù)據(jù)當(dāng)前值、

6、最大值、最小值、平均值標(biāo)注。4)BEPC實(shí)時(shí)狀態(tài)圖形顯示:顯示實(shí)時(shí)數(shù)據(jù)當(dāng)前值,數(shù)據(jù)圖形(I _ DCCT, LUM _AVG, LIFE_ DCCT)采用雙線坐標(biāo),其中LIFE_ DCCT僅做標(biāo)記,不需坐標(biāo)標(biāo)注。5)對(duì)特定數(shù)據(jù)提供用戶認(rèn)證的功能,確保數(shù)據(jù)的安全訪問(wèn)和修改。6)年機(jī)時(shí)統(tǒng)計(jì)、故障統(tǒng)計(jì)。2 系統(tǒng)總體設(shè)計(jì)本系統(tǒng)是專門針對(duì)BES&BEPC的數(shù)據(jù)存儲(chǔ)管理設(shè)計(jì)的信息系統(tǒng)。因此從數(shù)據(jù)來(lái)源、數(shù)據(jù)結(jié)構(gòu)、以及實(shí)現(xiàn)方法上都有它的專一性和特殊性。主要目的是采用現(xiàn)代化的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、處理和分析,方便物理用戶查詢,盡量減少人工的干預(yù)及繁雜重復(fù)的工作,使物理用戶將主要精力投入實(shí)際的科學(xué)研究

7、上。系統(tǒng)的設(shè)計(jì)目標(biāo)是:1)在客戶端為用戶提供友好易用的界面。使物理用戶可以隨時(shí)通過(guò)WEB界面方便、直觀地了解BES&BEPC運(yùn)行狀態(tài),提取需要的數(shù)據(jù)。2)所有的數(shù)據(jù)處理功能都由數(shù)據(jù)庫(kù)服務(wù)器和WEB服務(wù)器完成,采用應(yīng)用程序構(gòu)件化和抽象公共服務(wù)等方式,保證應(yīng)用程序快速運(yùn)行,支持多個(gè)并發(fā)用戶的訪問(wèn)。3)建立數(shù)據(jù)結(jié)構(gòu),將原始數(shù)據(jù)自動(dòng)采集到數(shù)據(jù)庫(kù)中,分類存儲(chǔ),并提供有效的備份手段。4)對(duì)數(shù)據(jù)進(jìn)行完整性檢測(cè),支持多個(gè)并發(fā)用戶的訪問(wèn),確保數(shù)據(jù)安全以及數(shù)據(jù)快速有效的訪問(wèn);接收用戶的請(qǐng)求,實(shí)現(xiàn)WWW服務(wù)器與數(shù)據(jù)庫(kù)的連接,提交數(shù)據(jù)請(qǐng)求,實(shí)現(xiàn)數(shù)據(jù)查詢、統(tǒng)計(jì)、圖形處理功能。5)實(shí)現(xiàn)用戶認(rèn)證,提供用戶帳號(hào)的建立

8、和權(quán)限訪問(wèn),提供加密機(jī)制。系統(tǒng)的設(shè)計(jì)采用基于WEB的三層體系結(jié)構(gòu),將WWW與數(shù)據(jù)庫(kù)存儲(chǔ)管理系統(tǒng)結(jié)合,開(kāi)發(fā)基于WEB的分布式存儲(chǔ)管理應(yīng)用系統(tǒng),其結(jié)構(gòu)如圖1。其中WWW服務(wù)器采用LINUX環(huán)境下的Apache服務(wù)器,數(shù)據(jù)庫(kù)選用ORACLE8i的LINUX版。存儲(chǔ)管理系統(tǒng)的工作過(guò)程是:首先,用戶在瀏覽器上完成HTML文本中表格信息輸入(如輸入數(shù)據(jù),選擇查詢的對(duì)象和方式等客戶端操作), JavaScript根據(jù)用戶輸入的信息糾錯(cuò)并產(chǎn)生HTML文本,提交PHP服務(wù)器程序處理;然后,PHP程序再將用戶數(shù)據(jù)請(qǐng)求轉(zhuǎn)換成SQL語(yǔ)句提交數(shù)據(jù)庫(kù)服務(wù)器處理;最后,數(shù)據(jù)庫(kù)服務(wù)器將查詢結(jié)果送回WWW服務(wù)器,經(jīng)PHP解釋器

9、加工處理成HTML后,返回給客戶端瀏覽器。3        系統(tǒng)關(guān)鍵技術(shù)及功能實(shí)現(xiàn)3.1 表存儲(chǔ)管理BEPC束測(cè)數(shù)據(jù)則是根據(jù)動(dòng)態(tài)數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方式以及BEPC束測(cè)參數(shù)的分類,將數(shù)據(jù)分為10個(gè)類別表存放,每個(gè)表包含近40個(gè)字段,詳細(xì)記錄各束測(cè)參數(shù),包括束流強(qiáng)度、注入率、數(shù)流位置測(cè)量數(shù)據(jù)、數(shù)流尺寸和串長(zhǎng)、束流能量、磁體能量、加速腔壓值、真空值等。采集程序就會(huì)以類表的模板自動(dòng)創(chuàng)建新表。表名由類表名+年+月組成。ORACLE不是把表和索引直接連接到存儲(chǔ)它們的數(shù)據(jù)文件,而是把表和索引段直接連到表空間。表空間和數(shù)據(jù)庫(kù)文件在邏

10、輯上是等同的。但表空間的數(shù)據(jù)實(shí)際存儲(chǔ)在一個(gè)或更多的文件中。在ORACLE數(shù)據(jù)庫(kù)中管理存儲(chǔ)空間,需要為創(chuàng)建的表空間指定存儲(chǔ)選項(xiàng),也需要為表空間中創(chuàng)建的對(duì)象指定存儲(chǔ)選項(xiàng)。本系統(tǒng)數(shù)據(jù)存儲(chǔ)的特點(diǎn)是,數(shù)據(jù)由采集程序自動(dòng)裝入數(shù)據(jù)庫(kù),因而隨著時(shí)間的推移存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)是不斷膨脹的。正常情況下,為表空間創(chuàng)建初始數(shù)據(jù)文件時(shí),數(shù)據(jù)文件的容量是固定的。為表空間添加更多的空間需要?jiǎng)?chuàng)建更多的數(shù)據(jù)文件,因此本系統(tǒng)在表空間的創(chuàng)建和配置時(shí),指定“AUTOEXTEND ON”選項(xiàng)來(lái)允許ORACLE系統(tǒng)創(chuàng)建容量可以自動(dòng)擴(kuò)展的數(shù)據(jù)文件,這樣在表空間被數(shù)據(jù)填滿時(shí),只要物理磁盤空間允許,就可以直接添加存儲(chǔ)空間。3.2 系統(tǒng)存儲(chǔ)空間

11、的估計(jì)本系統(tǒng)采用基于樣本的數(shù)據(jù)估測(cè)法來(lái)做空間估計(jì),其基本方法是選用一個(gè)具有代表性的表,從中選出一定數(shù)量的行作為樣本,分析這些行的空間需求,然后把它的值乘以總行數(shù)。用ANALYZE命令確定表實(shí)際使用的空間,其具體方法如下:1)選擇樣本表R_BI_200202(此表共包含5209行數(shù)據(jù)),分析表實(shí)際使用的空間:SQL > ANALYZE TABLE R_BI_200202 COMPUTE STATISTICS;Table ana-lyzed.2)獲取分析結(jié)果:SQL > SELECT blocks, avg_row_lenFROM user_tables WHERE table_nam

12、e= R_BI_200202; 以上分析結(jié)果表明R_BI_200202表中每行的平均長(zhǎng)度是292字節(jié),它用217個(gè)塊容納了5209個(gè)記錄。因此計(jì)算每個(gè)表存儲(chǔ)一個(gè)月需要的存儲(chǔ)塊可以用公式:表的月需存儲(chǔ)塊=(樣本數(shù)據(jù)存儲(chǔ)塊數(shù)×月數(shù)據(jù)行數(shù))/樣本行數(shù)來(lái)計(jì)算。需要的存儲(chǔ)容量由以下公式計(jì)算:表月需存儲(chǔ)容量=行平均字節(jié)數(shù)×月數(shù)據(jù)行數(shù)其中表R_BI_200202一個(gè)月的數(shù)據(jù)量平均是43080行,以此來(lái)估計(jì),可以保守地認(rèn)為表R_BI_200202每月需要約1795個(gè)塊來(lái)存儲(chǔ)12579 360字節(jié)數(shù)據(jù)。依照以上樣本估測(cè)方法,對(duì)BEPC十類束測(cè)參數(shù)表進(jìn)行統(tǒng)計(jì),對(duì)部分BEPC束測(cè)參數(shù)進(jìn)行統(tǒng)計(jì)的結(jié)

13、果表明,年需存儲(chǔ)塊數(shù)為364152,可以存儲(chǔ)約2.5G的數(shù)據(jù)量。3.3 數(shù)據(jù)處理功能數(shù)據(jù)處理模塊主要完成以下功能:1) 提供歷史數(shù)據(jù)參數(shù)列表及交互查詢表單,它包括如下功能:參數(shù)選擇:根據(jù)束測(cè)參數(shù)的分類將其所屬的參數(shù)動(dòng)態(tài)顯示在多文本選擇框中,用戶可以選擇不同表中的不同參數(shù),將其加入到被選框中作為查詢條件在表格沒(méi)有提交之前被選框中的內(nèi)容可以任意添加和刪除。時(shí)間段輸入:在查詢表單中可以輸入任意合理的時(shí)間段范圍,在用戶輸入后,自動(dòng)判別時(shí)間的合法性,過(guò)濾非法字符和時(shí)間值,同時(shí)在沒(méi)有時(shí)間值輸入的情況下,提供缺省值。參數(shù)顯示屬性:用戶界面提供各種參數(shù)顯示屬性,如提供選擇鈕,指示查詢參數(shù)列表方式;又

14、如為歷史數(shù)據(jù)作圖指定參數(shù)顏色、繪制方式以及坐標(biāo)方式等。2) BEPC歷史數(shù)據(jù)查詢BEPC歷史數(shù)據(jù)查詢是用PHP語(yǔ)言編寫的服務(wù)器端程序,它的主要功能是接收用戶請(qǐng)求,將用戶對(duì)數(shù)據(jù)庫(kù)的請(qǐng)求轉(zhuǎn)化成SQL語(yǔ)句,建立與數(shù)據(jù)庫(kù)的連接,從數(shù)據(jù)庫(kù)獲取查詢結(jié)果,然后再根據(jù)用戶的要求生成HTML格式的頁(yè)面,返回給用戶。其結(jié)果見(jiàn)圖2。3) BEPC歷史數(shù)據(jù)圖形顯示根據(jù)用戶的要求,本系統(tǒng)在顯示歷史數(shù)據(jù)列表的基礎(chǔ)上,還提供圖形顯示方式,圖形方式不但可以使用戶以更直觀地了解各系統(tǒng)的束測(cè)參數(shù)情況,還可以將不同參數(shù)曲線在同一坐標(biāo)系內(nèi)進(jìn)行比對(duì),找出各參數(shù)之間的連帶關(guān)系,便于束測(cè)系統(tǒng)的調(diào)整和監(jiān)視。其結(jié)果見(jiàn)圖2。

15、對(duì)于BEPC束測(cè)參數(shù),根據(jù)用戶的需求可以實(shí)現(xiàn)以下功能:    根據(jù)用戶選定的繪制方式和各參數(shù)的圖形繪制顏色,繪制點(diǎn)圖、曲線圖。 不同表的不同參數(shù)可以繪制在同一張圖內(nèi)?？梢詫⒍鄠€(gè)參數(shù)分別作圖,也可以選擇多個(gè)參數(shù)曲線共用同一坐標(biāo)系,并采用雙坐標(biāo)的方式。動(dòng)態(tài)坐標(biāo):坐標(biāo)軸隨著數(shù)值區(qū)間的不同而變動(dòng),使數(shù)據(jù)始終處于可視范圍區(qū)內(nèi)。對(duì)每一條參數(shù)曲線進(jìn)行標(biāo)注,包括坐標(biāo)、當(dāng)前值、最大值、最小值、平均值等。4) BEPC實(shí)時(shí)狀態(tài)圖形顯示實(shí)時(shí)狀態(tài)圖形采用雙線坐標(biāo)的方式,顯示幾個(gè)BEPC主要束測(cè)參數(shù)的數(shù)據(jù)走勢(shì)。這些數(shù)據(jù)包括:I_DCCT、LUM_AVG和LIFE_DC-CT。其中,I_DCCT是I_E+和I_E-這兩組數(shù)據(jù)的和,顯示出流強(qiáng)總的大小。用戶從I_DCCT的圖像中看到I_DCCT的變化趨勢(shì),就可以了解目前I_DCCT的一般的衰減情況。根據(jù)I_DCCT的圖像和I_DCCT的實(shí)時(shí)數(shù)值,可以科學(xué)地安排實(shí)驗(yàn)的進(jìn)度和方法;LIFE_DCCT曲線描述了電子的壽命范圍和變化情況,而LUM_AVG則表示BEPC運(yùn)行的對(duì)撞情況,其中LIFE_DCCT為