基于HEALPix海量天文數(shù)據(jù)球面可視化研究開(kāi)題報(bào)告

基于HEALPix的海量天文數(shù)據(jù)球面可視化研究報(bào)告人：XXXX導(dǎo)師：XXXX副教授學(xué)號(hào)：XXXXXXX

課題的研究背景和意義相關(guān)技術(shù)研究進(jìn)展課題研究概述進(jìn)度安排及預(yù)期結(jié)果1.課題的研究背景和意義

從20世紀(jì)90年代開(kāi)始，天文學(xué)經(jīng)歷了革命性的變化。這一變化是由前所未有的技術(shù)進(jìn)步所推動(dòng)的，即望遠(yuǎn)鏡的設(shè)計(jì)和制造技術(shù)、大尺寸探測(cè)器陣列的設(shè)計(jì)和制造技術(shù)、高性能計(jì)算技術(shù)和互聯(lián)網(wǎng)技術(shù)。如同在計(jì)算機(jī)工業(yè)中反映計(jì)算能力隨時(shí)間指數(shù)增長(zhǎng)的摩爾定律一樣，在過(guò)去幾十年中這些技術(shù)進(jìn)步使得天文學(xué)的數(shù)據(jù)收集能力也遵循著摩爾定律。1.課題的研究背景和意義歐空局2012年發(fā)射蓋亞探測(cè)器，將會(huì)測(cè)量將近10億顆恒星的位置坐標(biāo)美國(guó)1990年發(fā)射的哈勃空間望遠(yuǎn)鏡（HST）每天大約產(chǎn)生5GB的數(shù)據(jù)我國(guó)建造的大天區(qū)面積多目標(biāo)光纖光譜望遠(yuǎn)鏡（LAMOST）每天產(chǎn)生3GB的數(shù)據(jù)美國(guó)建造的大口徑綜合巡天望遠(yuǎn)鏡（LSST）每天的觀測(cè)數(shù)據(jù)預(yù)計(jì)將達(dá)到18TB的量級(jí)1.課題的研究背景和意義

隨著眾多先進(jìn)的地面與空間天文設(shè)備的投入使用，特別是大規(guī)模CCD探測(cè)器的使用，使得觀測(cè)數(shù)據(jù)量急速增長(zhǎng)。如何從如此快速增長(zhǎng)著的巨量數(shù)據(jù)中提取有價(jià)值的信息并進(jìn)行可視化從而使研究人員能夠直觀地觀察數(shù)據(jù)，將不可避免地面臨越來(lái)越復(fù)雜的數(shù)據(jù)量縮小、科學(xué)提取、數(shù)據(jù)的快速加載和高效交互性的技術(shù)難題。1.課題的研究背景和意義

除了巨大的數(shù)據(jù)量以外，我們我們還面臨著其它一些問(wèn)題，如：用來(lái)存儲(chǔ)天文數(shù)據(jù)的FITS文件的文件格式非常靈活，文件頭中WCS關(guān)鍵字內(nèi)容多種多樣；投影平面到球面的坐標(biāo)轉(zhuǎn)換算法多樣化；而且我國(guó)很多天文臺(tái)都有自己一套存儲(chǔ)格式。雖然能夠利用相關(guān)工具進(jìn)行數(shù)據(jù)共享，數(shù)據(jù)分析及可視化，但還是會(huì)導(dǎo)致很多細(xì)節(jié)上存在問(wèn)題，比如坐標(biāo)之間的轉(zhuǎn)換，用ds9打開(kāi)的FITS文件中所顯示的某一顆星的坐標(biāo)，再用Aladin打開(kāi)將會(huì)產(chǎn)生比較大的偏差。因此，這也是本課題所要研究并解決的問(wèn)題之一。1.課題的研究背景和意義HEALPix技術(shù)及以其理論為基礎(chǔ)的HiPS技術(shù)能有效的解決前述問(wèn)題。HEALPix以球面諧波理論及球形幾何學(xué)為基礎(chǔ)，可以利用簡(jiǎn)單的幾何框架及諧波分解理論將覆蓋在球面或者說(shuō)天球的海量數(shù)據(jù)進(jìn)行分層遞歸劃分網(wǎng)格，以減小數(shù)據(jù)量，同時(shí)對(duì)網(wǎng)格進(jìn)行編碼，建立索引將數(shù)據(jù)合理分布及快速分析。其中的分層技術(shù)類似于數(shù)據(jù)庫(kù)中的四叉樹(shù)狀結(jié)構(gòu)，提高了人機(jī)交互的能力。近幾年來(lái)隨著對(duì)HEALPix技術(shù)的不斷研究，以其理論為基礎(chǔ)的HiPS技術(shù)慢慢發(fā)展起來(lái)。它是一種新型的層次數(shù)據(jù)的可視化技術(shù)，對(duì)離散網(wǎng)格以圖塊（tile）的方式進(jìn)行管理，將感興趣的大型數(shù)據(jù)集進(jìn)行歸檔，實(shí)現(xiàn)數(shù)據(jù)的快速訪問(wèn)、加載，最終實(shí)現(xiàn)多分辨率海量數(shù)據(jù)分層可視化。2.相關(guān)技術(shù)研究進(jìn)展世界坐標(biāo)系統(tǒng)WCSHEALPix技術(shù)HiPS分層漸進(jìn)巡天技術(shù)坐標(biāo)轉(zhuǎn)換球面網(wǎng)格劃分、編碼、索引分層、歸檔、多分辨率可視化海量天文數(shù)據(jù)球面可視化2.1世界坐標(biāo)系統(tǒng)WCS

天文數(shù)據(jù)的存儲(chǔ)主要是FITS圖像或星表，如何從FITS文件中的元數(shù)據(jù)獲取關(guān)鍵字信息，并利用相關(guān)算法將圖像的像素坐標(biāo)轉(zhuǎn)換為實(shí)際坐標(biāo)，再將實(shí)際像素坐標(biāo)轉(zhuǎn)換為球面坐標(biāo)，是我們進(jìn)行可視化的基礎(chǔ)。左圖為像素坐標(biāo)到實(shí)際坐標(biāo)的轉(zhuǎn)換關(guān)系。2.1世界坐標(biāo)系統(tǒng)WCS

球面坐標(biāo)系在天文學(xué)中有多種，如赤道坐標(biāo)系，銀道坐標(biāo)系，黃道坐標(biāo)系，本地坐標(biāo)系等等，而且從平面到球面的坐標(biāo)轉(zhuǎn)換也存在不同的投影方式，如TAN表示Gnomonic投影，SIN表示orthographic投影等，如何利用FITS文件的關(guān)鍵字信息對(duì)其進(jìn)行平面到球面的坐標(biāo)轉(zhuǎn)換是關(guān)鍵問(wèn)題。如左圖2.2HEALPix技術(shù)

面對(duì)動(dòng)輒上T、上P量級(jí)的數(shù)據(jù)規(guī)模，如何對(duì)分布在天球上的數(shù)據(jù)進(jìn)行分析、編碼、整合從而保證在短時(shí)間內(nèi)高效的實(shí)現(xiàn)可視化的技術(shù)一直以來(lái)都是國(guó)內(nèi)外天文領(lǐng)域的研究熱點(diǎn)。解決這樣的問(wèn)題首先要滿足球面幾何劃分所要達(dá)到的三個(gè)條件：

1、數(shù)據(jù)的分層構(gòu)建。

2、球面的網(wǎng)格分區(qū)元素面積相等。

3、球面網(wǎng)格分區(qū)元素的同緯度分布。2.2HEALPix技術(shù)

面對(duì)動(dòng)輒上T、上P量級(jí)的數(shù)據(jù)規(guī)模，如何對(duì)分布在天球上的數(shù)據(jù)進(jìn)行分析、編碼、整合從而保證在短時(shí)間內(nèi)高效的實(shí)現(xiàn)可視化的技術(shù)一直以來(lái)都是國(guó)內(nèi)外天文領(lǐng)域的研究熱點(diǎn)。解決這樣的問(wèn)題首先要滿足球面幾何劃分所要達(dá)到的三個(gè)條件：

1、數(shù)據(jù)的分層構(gòu)建。

2、球面的網(wǎng)格分區(qū)元素面積相等。

3、球面網(wǎng)格分區(qū)元素的同緯度分布。HEALPix的球面網(wǎng)格劃分示意圖在相同條件下，HEALPix比其他常用模型具有顯著的存儲(chǔ)優(yōu)勢(shì)，有利于數(shù)據(jù)的快速分析，編碼等。2.2HEALPix技術(shù)

隨著HEALPix技術(shù)的廣泛應(yīng)用，從最初單純的數(shù)值分析，到海量數(shù)據(jù)的存儲(chǔ)、訪問(wèn)，尤其是對(duì)數(shù)據(jù)庫(kù)的交叉索引方面有很大研究利用價(jià)值，再到目前對(duì)海量數(shù)據(jù)可視化方面的應(yīng)用也越來(lái)越被重視，利用HEALPix為理論基礎(chǔ)的很多技術(shù)及應(yīng)用發(fā)展迅速，例如對(duì)球面全景圖像拼接技術(shù)的應(yīng)用，全球地形可視化技術(shù)的應(yīng)用，由法國(guó)斯特拉斯堡數(shù)據(jù)中心開(kāi)發(fā)的數(shù)據(jù)整合工具Aladin，可以互動(dòng)地可視化天空任何一部分圖像等等，都是基于HEALPix。HiPS技術(shù)是一種新型的可以處理海量數(shù)據(jù)的分層可視化技術(shù)，是基于HEALPix發(fā)展而來(lái)，它是由法國(guó)斯特拉斯堡數(shù)據(jù)中心開(kāi)發(fā)的，主要對(duì)大數(shù)據(jù)量，高分辨率的天文圖像，星表等數(shù)據(jù)格式進(jìn)行多分辨率分層可視化。它將球面離散網(wǎng)格用圖塊的形式進(jìn)行組織管理，將映射到這些圖塊的圖片像素利用雙線性插值算法或最近鄰域算法等進(jìn)行遞歸分層，根據(jù)分層級(jí)數(shù)的不同形成多分辨率圖像，并與之前的HEALPix對(duì)球面進(jìn)行的分層結(jié)構(gòu)利用編碼建立聯(lián)系，并最終構(gòu)建樹(shù)狀結(jié)構(gòu)文檔。2.3HiPS——分層漸進(jìn)巡天技術(shù)2015年10月，國(guó)際虛擬天文臺(tái)聯(lián)盟決定對(duì)HiPS進(jìn)行標(biāo)準(zhǔn)化，初步的HiPS標(biāo)準(zhǔn)格式及注意事項(xiàng)可以在IVOA的網(wǎng)站上進(jìn)行查詢。目前已經(jīng)有多個(gè)天文機(jī)構(gòu)對(duì)此項(xiàng)新興技術(shù)進(jìn)行研究包括CDS、CNES、NASA、ESAC、JAXA等，而且利用自己所獲取的數(shù)據(jù)或相互之間的共享數(shù)據(jù)來(lái)生成全天的宇宙星圖。CDS利用天文圖像及星表的數(shù)據(jù)所生成的宇宙星空，可以對(duì)其進(jìn)行旋轉(zhuǎn)，縮進(jìn)等操作，具有很高的互操作性。2.3HiPS——分層漸進(jìn)巡天技術(shù)擬解決的關(guān)鍵問(wèn)題課題研究?jī)?nèi)容可行性分析和創(chuàng)新點(diǎn)課題研究方案3.課題研究概述課題研究目標(biāo)

目前很多天文機(jī)構(gòu)，例如CDS，NASA等都已經(jīng)生成了基于其所獲取的巨量數(shù)據(jù)集的HIPS文件并實(shí)現(xiàn)了可視化，但對(duì)于我國(guó)目前存在種種問(wèn)題，如望遠(yuǎn)鏡所獲數(shù)據(jù)的精度不準(zhǔn)確，F(xiàn)ITS文件格式的靈活性太高等等，并沒(méi)基于自己天文大數(shù)據(jù)的宇宙星空，這也是本課題的主要目標(biāo)。3.1課題研究目標(biāo)(1)FITS文件數(shù)據(jù)提取，根據(jù)FITS文件頭提供的關(guān)鍵字等信息利用WCS對(duì)數(shù)據(jù)進(jìn)行投影平面坐標(biāo)到球面坐標(biāo)的相互轉(zhuǎn)換。(4)用C++結(jié)合相關(guān)函數(shù)庫(kù)編寫(xiě)程序。(2)HEALPix技術(shù)如何對(duì)天球進(jìn)行網(wǎng)格分區(qū)，如何對(duì)分區(qū)元素進(jìn)行編碼、索引，如何對(duì)網(wǎng)格進(jìn)行分層，如何對(duì)大數(shù)據(jù)進(jìn)行快速的數(shù)值分析等。（3）HiPS技術(shù)如何通過(guò)分層結(jié)構(gòu)顯示多分辨率星空，如何構(gòu)建像素文檔結(jié)構(gòu)，如何通過(guò)編碼，索引快速訪問(wèn)，加載數(shù)據(jù)。3.2課題研究?jī)?nèi)容（1）

FITS文件數(shù)據(jù)提取及數(shù)據(jù)坐標(biāo)轉(zhuǎn)；（2）基于HEALPix球面離散網(wǎng)格劃分，編碼索引及分層；（3）如何生成HiPS文件；（4）程序的編寫(xiě)、調(diào)試、優(yōu)化。3.3擬解決關(guān)鍵問(wèn)題2利用HEALPix原理對(duì)天球進(jìn)行網(wǎng)格劃分，編碼，由于FITS文件中的記錄了數(shù)據(jù)的天球坐標(biāo)，利用這一點(diǎn)將編碼數(shù)字與二維坐標(biāo)建立聯(lián)系達(dá)到降維的效果以降低數(shù)據(jù)量，建立分層模型，為之后HiPS的像素分層做好鋪墊。1

對(duì)FITS文件數(shù)據(jù)提取，根據(jù)FITS頭文件的相關(guān)信息利用WCS對(duì)數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換，其中的天球坐標(biāo)用銀道坐標(biāo)系，平面到球面的投影算法用TAN，如果FITS中存在其他類型都向前述兩種轉(zhuǎn)換。這是本課題最終所做軟件系統(tǒng)的基礎(chǔ)之一。3.4可行性分析和創(chuàng)新點(diǎn)3.4課題研究方案3將分布于球面的像素集合進(jìn)行遞歸分層，原理類似于數(shù)字圖像處理中的SIFT算子的金字塔模型，對(duì)像素建立索引，最終生成樹(shù)狀像素結(jié)構(gòu)文檔。4編寫(xiě)程序?qū)崿F(xiàn)上述步驟，對(duì)程序進(jìn)行優(yōu)化整合，最終能生成HiPS。3.4課題研究方案國(guó)家天文臺(tái)提供的SCUSS、LAMOST等相關(guān)巡天項(xiàng)目的海量天文數(shù)據(jù)集。(a)3.5可行性分析和創(chuàng)新點(diǎn)HEALPix理論的支持，HiPS技術(shù)的逐漸成熟及其標(biāo)準(zhǔn)化，WCS、HEALPix的相關(guān)類庫(kù)。已有的天文數(shù)據(jù)可視化工具等。(b)在程序編寫(xiě)方面，本人已對(duì)相關(guān)計(jì)算機(jī)技術(shù)，數(shù)據(jù)可視化技術(shù)，數(shù)字圖像處理以及對(duì)編程語(yǔ)言JAVA、C++、Python進(jìn)行學(xué)習(xí)。(c)對(duì)FITS文件中WCS關(guān)鍵字進(jìn)行讀取并統(tǒng)一坐標(biāo)轉(zhuǎn)換的格式，獲得精確的位置坐標(biāo)；利用HIPS技術(shù)建立基于我國(guó)天文大數(shù)據(jù)集的首個(gè)漸進(jìn)分層多分辨率的宇宙星空。研究成果將集成到中國(guó)虛擬天文臺(tái)平臺(tái)，為全球用戶提供服務(wù)。這項(xiàng)工作將填補(bǔ)國(guó)內(nèi)空白，是第一次嘗試將國(guó)內(nèi)天文觀測(cè)的海量圖像數(shù)據(jù)用HiPS的模式實(shí)現(xiàn)交互式、球幕式顯示。3.5可行性分析和創(chuàng)新點(diǎn)編寫(xiě)FITS文件的讀取及WCS的坐標(biāo)轉(zhuǎn)換算法，實(shí)現(xiàn)投影平面到球面的精確位置坐標(biāo)。深入了解HEALPix如何球面網(wǎng)格劃分，分層，編碼及索引，并進(jìn)行編程實(shí)踐。完成調(diào)研和文獻(xiàn)檢索，總結(jié)現(xiàn)有理