面向地基廣角相機(jī)陣星表數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與驗(yàn)證(2),天文學(xué)論文

面向地基廣角相機(jī)陣星表數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與驗(yàn)證(2),天文學(xué)論文如此圖1所示，GWAC相機(jī)陣將整個(gè)觀測天區(qū)劃分為40塊，每塊子天區(qū)由一個(gè)CCD負(fù)責(zé)采集數(shù)據(jù)，且所有CCD每15s同步地產(chǎn)生一次數(shù)據(jù)。采集到的原始數(shù)據(jù)為圖像，并經(jīng)過預(yù)處理、點(diǎn)源提取〔把光學(xué)影像轉(zhuǎn)化為數(shù)字信號，構(gòu)成星表數(shù)據(jù)〕和星表天測定標(biāo)〔將一個(gè)星表中的星亮度校準(zhǔn)到天文領(lǐng)域通用的標(biāo)準(zhǔn)下〕等天文處理經(jīng)過，轉(zhuǎn)換為每顆星一行記錄的星表數(shù)據(jù)。該星表數(shù)據(jù)對天文科研數(shù)據(jù)而言，最重要的2個(gè)屬性是星的亮度和相對應(yīng)的時(shí)間戳。根據(jù)瞬時(shí)星亮度或變化規(guī)律的異常能夠分析該星的異變，而該異變現(xiàn)象能夠用于探知宇宙的變化和對已有物理模型的驗(yàn)證。根據(jù)長期星亮度的變化規(guī)律可繪制該星的光變曲線，以用于分析星的長時(shí)標(biāo)的變化周期，如發(fā)現(xiàn)漂泊行星。從實(shí)時(shí)角度來看，持續(xù)產(chǎn)生的星表數(shù)據(jù)主要有下面3個(gè)特征：1〕多鏡頭并行輸出。固然每個(gè)CCD最終產(chǎn)生的星表數(shù)據(jù)量不大，但是40個(gè)CCD每隔15s就會產(chǎn)生規(guī)模龐大的數(shù)據(jù)量。這些數(shù)據(jù)需要及時(shí)存儲便于查詢。2〕實(shí)時(shí)瞬變源發(fā)現(xiàn)。異常天文現(xiàn)象稍縱即逝，為了給天文科研人員留出足夠的時(shí)間觀測異常星，要求整個(gè)數(shù)據(jù)處理系統(tǒng)能夠?qū)崟r(shí)捕獲異常星變化，并給予報(bào)警。3〕秒級查詢。天文科研人員往往需要對瞬變源或疑似瞬變源的最近歷史數(shù)據(jù)快速查詢，以便綜合分析該天文現(xiàn)象。上述需求對后臺的天文數(shù)據(jù)處理系統(tǒng)提出了宏大的挑戰(zhàn)，要求系統(tǒng)能夠快速響應(yīng)，尤其對于當(dāng)晚的星表數(shù)據(jù)而言要求能夠做到快存快取。從持久化角度來看，GWAC所有的歷史數(shù)據(jù)都要進(jìn)行持久化操作，以便離線狀態(tài)下對星表數(shù)據(jù)進(jìn)行光變曲線規(guī)律的分析和一定的數(shù)據(jù)挖掘工作。固然為離線經(jīng)過，但也要求查詢經(jīng)過要在合理的時(shí)間范圍給予響應(yīng)。對GWAC數(shù)據(jù)管理系統(tǒng)的要求可總結(jié)為：1〕高數(shù)據(jù)吞吐能力，所有相機(jī)陣15s內(nèi)產(chǎn)生的觀測星表可用于查詢的延遲時(shí)間控制在15s以內(nèi)；2〕在數(shù)據(jù)高速采集下能夠完成實(shí)時(shí)分析，面對持續(xù)不斷的高密度海量星表的快速關(guān)聯(lián)計(jì)算能力，即每個(gè)CCD每15s產(chǎn)生的星表數(shù)據(jù)與模板星表相關(guān)聯(lián)〔穿插認(rèn)證：將觀測的目的星映射到模板星表的已經(jīng)知道星的經(jīng)過〕構(gòu)成光變曲線；3〕每個(gè)觀測夜的2TB星表最晚完成持久化時(shí)間保證在下一個(gè)觀測夜開場前；4〕從長期存儲的角度而言，管理系統(tǒng)需要有極強(qiáng)的海量數(shù)據(jù)管理能力，至少要能知足6PB數(shù)據(jù)的存儲和離線查詢能力。1.3天文數(shù)據(jù)管理系統(tǒng)的相關(guān)工作目前國內(nèi)外天文數(shù)據(jù)庫的主要功能仍集中在電子化歸檔、搜索和下載等方面，且主要?dú)v經(jīng)3個(gè)階段[7]1〕興起階段，此時(shí)的天文數(shù)據(jù)庫主要基于文件系統(tǒng)的數(shù)據(jù)存儲。較為著名的有法國特斯拉斯堡的恒星數(shù)據(jù)中心CDS〔centredeDonnesstellaires,即centerforstellardata〕的天文天體數(shù)據(jù)交互服務(wù)SIMBAD〔setofidentifications,measurements,andbibliographyforastronomicaldata〕，利用計(jì)算機(jī)管理天文數(shù)據(jù)，能夠?qū)?shù)據(jù)加以歸檔、排序和整理，并為全球星表提供穿插辨別和文獻(xiàn)目錄檢索功能。2〕關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)天文數(shù)據(jù)管理階段，以提供星表服務(wù)的VizieR和SDSS為代表。到20世紀(jì)90年代末，SIMBAD服務(wù)已經(jīng)無法知足更為復(fù)雜的查詢需求，CDS又開發(fā)了更為強(qiáng)大的VizieR系統(tǒng)。VizieR底層依靠關(guān)系數(shù)據(jù)模型，支持基于ID和位置的搜索，且沒有最大搜索半徑的要求，具有較快的響應(yīng)速度，但搜索的定制程度較低。除此之外，另一個(gè)專業(yè)的天文數(shù)據(jù)管理服務(wù)為斯隆數(shù)字巡天SDSS自主開發(fā)的數(shù)據(jù)庫。SDSS的天文數(shù)據(jù)庫Skyserver[8]是基于微軟的SQLServer定制開發(fā)的，具有快速查詢、批量下載、SQL檢索和可視化圖形界面等特點(diǎn)。這一階段的天文數(shù)據(jù)管理開場在數(shù)據(jù)庫的基礎(chǔ)上定制了各種天文數(shù)據(jù)的科學(xué)應(yīng)用，以知足天文數(shù)據(jù)特殊的檢索需求。3〕即將到來的超大天文數(shù)據(jù)庫階段，以美國大口徑全景巡天LSST和SKA〔squarekilometrearray〕為代表[2]一些新興的天文領(lǐng)域如伽瑪暴、超新星爆發(fā)對時(shí)域天文觀測的要求愈加迫切，直接導(dǎo)致天文數(shù)據(jù)量的爆發(fā)式增長。美國LSST設(shè)計(jì)每15s記錄3幅10億像素級的圖像，每晚收集的數(shù)據(jù)量大約15~30TB,每3d可巡天1次，估計(jì)2022年接受觀測任務(wù)。澳大利亞SKA計(jì)劃每秒產(chǎn)生的數(shù)據(jù)量大于12TB,一天產(chǎn)生的原始圖像為1EB,估計(jì)從2020年開場第一階段的建設(shè)。上述大型天文觀測項(xiàng)目已對當(dāng)下的數(shù)據(jù)管理框架產(chǎn)生了宏大的挑戰(zhàn)，高吞吐量、大規(guī)模存儲與快速的查找已成為了主要的問題。值得一提的是，萬萌等人[9]已對當(dāng)下的GWAC數(shù)據(jù)管理場景進(jìn)行了一定的研究工作，并提出了基于MonetDB數(shù)據(jù)庫的管理方案。已開發(fā)出的GWAC數(shù)據(jù)生成器gwac_dbgen[6]能夠模擬一個(gè)CCD連續(xù)產(chǎn)生的真實(shí)數(shù)據(jù)格式和量級。除此之外，基于該生成器的模擬數(shù)據(jù)使用SQL實(shí)現(xiàn)了MonetDB數(shù)據(jù)庫內(nèi)的穿插認(rèn)證算法以避免數(shù)據(jù)的移動。但當(dāng)累計(jì)數(shù)據(jù)規(guī)模較大時(shí)，MonetDB的擴(kuò)展性較差且入庫時(shí)間不夠穩(wěn)定。2面向GWAC的星表數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)結(jié)合GWAC天文大數(shù)據(jù)的特性和研究現(xiàn)在狀況，本文采用兩級緩存架構(gòu)和星表簇模型，建立一個(gè)高性能、可擴(kuò)展的面向GWAC的星表數(shù)據(jù)管理系統(tǒng)。該系統(tǒng)能夠?qū)嵢缃?5s內(nèi)存儲多鏡頭并行輸出的數(shù)據(jù)、瞬變源發(fā)現(xiàn)和提供秒級查詢服務(wù)，除此之外星表簇模型有利于平衡持久化時(shí)間與離線查詢效率。如此圖2所示，該系統(tǒng)中和數(shù)據(jù)管理相關(guān)的部件主要包括4個(gè)部分：一級緩存管理、二級緩存管理、數(shù)據(jù)持久化和查詢引擎。在文獻(xiàn)[9]中，所有CCD產(chǎn)生星表匯入同一個(gè)MonetDB數(shù)據(jù)庫后，再使用SQL對其進(jìn)行穿插認(rèn)證，進(jìn)而產(chǎn)生一定的性能瓶頸。本文設(shè)計(jì)的GWAC星表數(shù)據(jù)管理系統(tǒng)為分布式構(gòu)造，一級緩存為分布式節(jié)點(diǎn)的本地內(nèi)存，二級緩存為分布式分享內(nèi)存。當(dāng)某CCD客戶端發(fā)送星表數(shù)據(jù)進(jìn)入系統(tǒng)后，系統(tǒng)會在某節(jié)點(diǎn)上開創(chuàng)建立對應(yīng)客戶端的接收端接收星表數(shù)據(jù)，直接進(jìn)行穿插認(rèn)證，然后將星表數(shù)據(jù)交由瞬變源發(fā)現(xiàn)模塊進(jìn)行異常檢測，最后每個(gè)CCD對應(yīng)的接收端將星表數(shù)據(jù)寫入分布式分享內(nèi)存中，供用戶實(shí)現(xiàn)高速查詢。設(shè)計(jì)一級緩存的目的是：1〕不同CCD產(chǎn)生的星表數(shù)據(jù)是無分享的〔shared-nothing〕，因而處理就具備了并行性；2〕瞬變源的發(fā)現(xiàn)與預(yù)警需要實(shí)時(shí)檢測，因而需要獲取數(shù)據(jù)后盡快在本地處理；3〕為了保證分布式分享內(nèi)存故障后數(shù)據(jù)高可靠，需要使用本地內(nèi)存做緩存實(shí)現(xiàn)延時(shí)寫。設(shè)計(jì)二級緩存的目的是：1〕天文研究者會在某顆星異常后，快速查詢其近期的光變曲線以快速定位科學(xué)發(fā)現(xiàn)，但事先并不知道哪顆星會異常，因而需要將一個(gè)觀測夜的數(shù)據(jù)緩存入分布式分享內(nèi)存中供研究者快速查詢；2〕一級緩存容量是有限的，缺乏以承載一個(gè)CCD的整個(gè)觀測夜數(shù)據(jù)。在觀測夜結(jié)束后，將當(dāng)下觀測夜的數(shù)據(jù)持久化到硬盤。由于實(shí)際需求決定了星之間沒有過多物理關(guān)聯(lián)，