數(shù)據(jù)處理流程 BGI

數(shù)據(jù)處理流程計(jì)算機(jī)集群測(cè)序控制PC測(cè)序儀1.控制測(cè)序過(guò)程決定測(cè)序長(zhǎng)度、填加試劑、控制溫度、控制反應(yīng)時(shí)間、拍照2.圖像分析對(duì)測(cè)序儀拍照的圖片進(jìn)行圖像分析，得到亮點(diǎn)的光強(qiáng)度和坐標(biāo)3.basecalling由光強(qiáng)度得到堿基序列4.數(shù)據(jù)傳輸將basecalling結(jié)果（二進(jìn)制文件bcl）傳輸?shù)接?jì)算機(jī)集群的存儲(chǔ)上5.數(shù)據(jù)處理將bcl文件轉(zhuǎn)化為后續(xù)信息分析所使用的文本文件（fastq,qseq）6.index拆分7.數(shù)據(jù)質(zhì)量分析8.數(shù)據(jù)備份9.后續(xù)信息分析......圖像分析及basecalling基本原理1234CCCCGGGTTAAACycle1Cycle2Cycle3對(duì)A發(fā)出的光拍照對(duì)C發(fā)出的光拍照對(duì)G發(fā)出的光拍照對(duì)T發(fā)出的光拍照?qǐng)D像分析及basecalling基本原理1234TCCAATGCACGGCycle1Cycle2Cycle3由4個(gè)cluster得到4條序列：①ATA...②CCT...③GCG...④GAC...圖像分析對(duì)每個(gè)圖片獨(dú)立的處理圖像銳化對(duì)圖片進(jìn)行快速傅里葉變換(FFT)，在傅里葉空間乘以濾波函數(shù)后反變換識(shí)別cluster/亮點(diǎn)信噪比(亮度/背景值)大于閾值的亮點(diǎn)區(qū)域計(jì)算亮點(diǎn)光強(qiáng)度和位置坐標(biāo)在亮點(diǎn)區(qū)域，對(duì)光強(qiáng)度進(jìn)行二維插值，求出最大光強(qiáng)度，以及最大光強(qiáng)度對(duì)應(yīng)的位置坐標(biāo)將同一個(gè)tile的所有圖片中的亮點(diǎn)坐標(biāo)對(duì)齊重疊不同圖片之間存在偏移/拉伸/壓縮(offset)系統(tǒng)、穩(wěn)定的：4種光折射率不同、濾波片不同、光路不同，所以造成成像的偏移/拉伸/壓縮，可利用crosstalk，計(jì)算出偏移/拉伸/壓縮的數(shù)值(offset參數(shù))偶然、隨機(jī)的：flowcell表面不平、自動(dòng)調(diào)整焦距、機(jī)械移動(dòng)不夠精確、隨機(jī)振動(dòng)，可利用crosstalk解決CrosstalkAC光譜間有交疊，GT光譜間有交疊，所以：

堿基A的圖片中包含C發(fā)出的光堿基C的圖片中包含A發(fā)出的光堿基T的圖片中包含G發(fā)出的光不利：不能直接比較光強(qiáng)度大小而得到堿基有利：利用圖片中共同的亮點(diǎn)，將所有圖片對(duì)齊重疊，解決offset問(wèn)題ACAC光譜光譜濾波片圖像分析流程TemplateGeneration利用AC之間的crosstalk、GT之間的crosstalk，將前2個(gè)cycle的圖片，與第一個(gè)cycle的A的圖片對(duì)齊重疊，確定所有cluster的位置坐標(biāo){(x,y)}RegistrationandIntensityExtraction對(duì)于每一個(gè)cycle：將4張圖片(ACGT)中的所有亮點(diǎn)與cluster坐標(biāo){(x,y)}對(duì)應(yīng)，計(jì)算每個(gè)cluster的4種光強(qiáng)度對(duì)每個(gè)圖片獨(dú)立的處理圖像銳化、識(shí)別cluster/亮點(diǎn)、計(jì)算亮點(diǎn)光強(qiáng)度和位置坐標(biāo)TemplateGeneration利用AC之間的crosstalk、GT之間的crosstalk，將前2個(gè)cycle的圖片，與第一個(gè)cycle的A的圖片對(duì)齊重疊，確定所有cluster的位置坐標(biāo){(x,y)}ACGTAGTCCycle1Cycle21243ACycle1ACycle1CCycle1ACCACCycle2ACycle2CCycle1ACACAC123GTCycle2GCycle2TCycle1ACGTACGTCycle1GCycle1TGT12431243圖像分析結(jié)果Cluster坐標(biāo)Cycle1Cycle2Cycle3......(1053,1543)A1000A500A23......C800C900C26......G20G-18G500......T24T-12T300......(1923,1723)A-13A1000A33......C-12C800C24......G40G25G500......T700T20T300......(1032,1231)A500A50A1000......C900C40C800......G26G500G-20......T32T300T-20....................................Crosstalk固有發(fā)光能力不同，需要?dú)w一化BasecallingCrosstalk校正4種光強(qiáng)度歸一化（用DNA樣品計(jì)算參數(shù)）Phasing/Prephasing校正（用DNA樣品計(jì)算參數(shù)）對(duì)于每個(gè)cluster：在每個(gè)cycle中，比較4種光強(qiáng)度，光強(qiáng)度最大的就是當(dāng)前cycle測(cè)到的堿基，各cycle測(cè)到的堿基連起來(lái)組成這個(gè)cluster的堿基序列；計(jì)算每個(gè)堿基的質(zhì)量值4種北光強(qiáng)夕度歸咸一化2種光強(qiáng)度分布2種光強(qiáng)度分布ACGTph熔as陡in父gSe兄qu權(quán)en吳ci身ng未p徑ri滴me伯rpr格ep害ha休si蠻ngBa棋se顏ca括ll渡in膛g結(jié)星果：幟qs棒eq逆文件每一伶行表暫示一德條r浙ea彼ds賊(一治個(gè)c輝lu抬st他er母)每行蓋有1濁1列團(tuán)，t汁ab臂分隔絞：機(jī)器擦編號(hào)脫、r貝un乒序號(hào)咳、L誤an舉e號(hào)尖、T忽il院e號(hào)葡、X答坐標(biāo)鳳、Y迫坐標(biāo)失、in衛(wèi)de它x標(biāo)澡志、彎re蹈ad瘦1/黃re素ad箏2標(biāo)煮志、復(fù)堿基君序列范、質(zhì)鬧量序優(yōu)列、是否瓶通過(guò)嫁默認(rèn)亞的質(zhì)瀉量篩雖選標(biāo)運(yùn)準(zhǔn)Si知ng炕le拔-e陣nd看(S班E)院測(cè)序棵：1個(gè)仇qs卵eq暢文件Pa的ir易-e遇nd腐(P歪E)腰測(cè)序藍(lán)：2個(gè)頂qs灑eq爹文件漁分別出存放爛re嚇ad攜1和戚re焦ad根2的幕數(shù)據(jù)框；2個(gè)炎文件湖的同同一行滲屬于坦同一致個(gè)c陽(yáng)lu另st安er每條笛序列升(r床ea辰ds描)長(zhǎng)充度=哪上機(jī)莫測(cè)序尚循環(huán)賄(c紹yc議le井)數(shù)真量；測(cè)序牲c(diǎn)y都cl進(jìn)e數(shù)向量受顆測(cè)序有試劑導(dǎo)盒的湖試劑婚量限驕制，對(duì)于益GA墾有：蘭36惹SE量、3戴6+盲7/唱8S蓬Ei頓nd差ex讀、4赴5P船E、長(zhǎng)36胸+7界+4窩5P查Ei目nd鳳ex愛(ài)、76溪PE赴、7王4+掩7+掉76靜PE舅in男de福x、欄73矛+8咳+7槍6P繭Ei務(wù)nd乘ex犬、10假1P搞E、煉10觀1+未7/耐8+誕10也1P講Ei凍nd估ex籍等對(duì)于授Hi嶼se景q：擇9球1P宋E、錫91宋+8+9惠1PE漠in拍de概x、10晶1P棉E、茫10竭1+喊8+感10裂1P那Ei攏nd屆exBa愁se歸ca仍ll遮in緒g結(jié)飽果：隆qs商eq脂文件列意義表示法1機(jī)器編號(hào)2run序號(hào)整數(shù)3Lane號(hào)整數(shù)1到84Tile號(hào)整數(shù)5X坐標(biāo)整數(shù)6Y坐標(biāo)整數(shù)7index標(biāo)志index序列或者“0”8read1/read2標(biāo)志"1"表示read1；"2"表示read29堿基序列大寫ACGT和"."：ACCCAACTCATCTGAAACA10質(zhì)量序列每個(gè)堿基有一個(gè)質(zhì)量值，用字符表示：

字符的ASCII碼值-64=質(zhì)量值bbbc`bb_bb_aSa`V]`\11是否通過(guò)默認(rèn)的質(zhì)量篩選標(biāo)準(zhǔn)1表示通過(guò)；0表示不通過(guò)，質(zhì)量差fa趨st具q文面件每4骨行表辰示一貢條r辛ea鞠ds勢(shì)(一貌個(gè)c占lu善st寬er墊)第一數(shù)行：傲@序稼列I閥D，袖包含普in挨de鼻x序喚列及惰re庫(kù)ad餓1或生re餃ad敬2標(biāo)誘志：第二酷行：想堿基年序列禮，大濁寫“初AC管GT雪N”第三悲行：描“+摩”，淡省略礙了序奸列I宴D第四悼行：您質(zhì)量麻值序舌列：救字符訊的A偷SC氣II牽碼值俘-6賊4=率質(zhì)量稱值Si犬ng頁(yè)le今-e躺nd榮(S咐E)英測(cè)序揪：1填個(gè)f陳as風(fēng)tq撒文件Pa漸ir籮-e忽nd拆(P撐E)柔測(cè)序嘴：2坐個(gè)f硬as討tq癢文件敗分別妙存放范re洽ad瓜1和哪re板ad務(wù)2的妥數(shù)據(jù)鄭；Re亞ad扯1的永fa薪st袋q文容件震*1衛(wèi).f細(xì)q中魔第一浸條r梁ea盒ds銅：@F喚C6該1F嬌L8廚AA熄XX攔:1效:1輕7:然10預(yù)12熊:1坊92掠00性#G稈CC講AA供T/械1CC亂AC里TG箱TC愛(ài)AT倦GT妹GA同AC售AT歷CA暈CA查GA招GA俘CA納TT緩TC肝TT脊GA+bb掃bb乒bb后bb爆bb捷ab難bb中bb盡bb倚bb反bb織bb匆ba攏aa納aa充aa議aa兄_\Re梢ad評(píng)2的惰fa違st帖q文肚件偉*2肌.f鹿q中稍第一愿條r家ea援ds蘭：@F蠻C6亂1F歇L8凡AA肺XX徐:1選:1蠻7:蠶10財(cái)12催:1渴92壘00亭#G明CC茫AA干T/謠2AA兇AA訴TT擇AG炒CC豎AG乖GC慮AA頃TG責(zé)GT翻GG唱TG莊CA晶TG鹿CC古TT餡TA封AT就CC島CA弊GC團(tuán)TA+`Q股VV練V`飼`V棕``開(kāi)``對(duì)``臣YV開(kāi)YW胞WY月PW全YY棚TY靈YW軟UY守YY滲VV攔``亦``辱``酸`W抖W`質(zhì)量婆值@F卷C6炊1F櫻L8桿AA霞XX跌:1智:1鋸7:渠10急12與:1桌92詢00藝#G愿CC壤AA殘T/摘1CC括AC饒TG惠TC超AT暗GT改GA扁AC魂AT取CA色CA許GA句GA啊CA莖TT動(dòng)TC奴TT稿GA+bb休bb芝bb各bb古bb沫ab綁bb護(hù)bb看bb搭bb隊(duì)bb壘bb雕ba孫aa旁aa東aa霸aa跟_\表示慚方法扎Il蔽lu演mi稿na約：字山符的售AS誘CI角I值吹-蘿6索4期=米質(zhì)量哥值(S抄an胸ge覺(jué)r：額字符虛的A幅SC扛II聽(tīng)值踐-姿33泡=殿質(zhì)蹤蝶量值喪)范圍雁GA主I帶ll幻玉um拖in萍a1窮.3樹(shù)+(糾09碌年3勸月之毫后)掘:泥[2廉,3醉5]仍[遮B,擦c]GA租I待ll抽um謠in喂a1皺.0固(丙09兇年3位月之濕前)動(dòng):懷[-蔑5,肌40抱]冊(cè)[;料,h刺]Hi倡se卵q:健[尸2:叔38惠]攔[B嘉,f捕]質(zhì)量蓬值與借錯(cuò)誤得率理叮論關(guān)猶系：勵(lì)Q壁=童-1衣0振lo倡g1秋0(輔e)質(zhì)量社值計(jì)屬算方頑法：腎根據(jù)炸光強(qiáng)萬(wàn)信號(hào)國(guó)信噪腳比、紋光強(qiáng)紫度衰舞減、羞GC撓含量陰等參乒數(shù)，莫計(jì)算紐奉質(zhì)量狠值fa紹st棕q文強(qiáng)件fa撲st京q文龜件每條稠序列接(r副ea啟ds績(jī))長(zhǎng)報(bào)度re味ad橡1和緩re愚ad暴2分辦別去熊除了雞最后毅一個(gè)林堿基蕉，即稼：36益S灑E癢有疏效長(zhǎng)該度為黑3后510混1澆PE詠有砌效長(zhǎng)仔度為恒1候00國(guó)(r說(shuō)ea排d1踢)+庸10惱0(爬re鈔ad壓2)10蹦1+提8+環(huán)10地1酬P(guān)E則in小de煌x錯(cuò)有效營(yíng)長(zhǎng)度熔為耗10鋤0(雅re鼓ad遠(yuǎn)1)鍛+1捎00稍(r將ea擔(dān)d2密)Re匆ad與1中殲所有偏re善ad植s長(zhǎng)塔度相淋同，笑Re猜ad毯2中挑所有鑼re肯ad穩(wěn)s長(zhǎng)莊度相毫同，但是陷Re疊ad嶺1和徑Re雀ad滾2長(zhǎng)似度可鄭以不墻相同瘡，取芬決于蓮上機(jī)監(jiān)測(cè)序白循環(huán)纖(c罵yc鉛le段)數(shù)促量質(zhì)量棚篩選色(P釀F)埋：Il織lu演mi冶na皇標(biāo)準(zhǔn)緩流程帥輸出暈的f堪as靜tq有文件攪，去律除了瘋qs南eq崇文件愚中沒(méi)唯有通役過(guò)默徐認(rèn)質(zhì)憐量篩拼選標(biāo)計(jì)準(zhǔn)的類低質(zhì)辱量序計(jì)列(束re儀ad嘩s)GA還正常犁PF皂比例鴉：D閘NA慢8萌0~若90前%，樂(lè)RN離A裹70糧~8浸5%每個(gè)矛La泛ne趴的正術(shù)常產(chǎn)但量范攻圍：GA擺2侵0~爽30糾M凡PF宜r煎e(cuò)a勿ds賊—辭R稻ea菊d1差和R飼ea脈d2寬各有弟20調(diào)~3晉0MHi四se傅q誕6優(yōu)0~無(wú)80蒙M丈PF查r掘ea老ds種—嘗R繞ea椅d1不和R洋ea停d2耕各有啦60巷~8謊0M堿基術(shù)總產(chǎn)刮量=憑Re呢ad幻玉1的藥產(chǎn)量殲+薪R赴ea顫d2近的產(chǎn)青量=副re環(huán)ad網(wǎng)s數(shù)令量＊走(R完ea蜻d1隸的長(zhǎng)束度惹+朗Re椅ad鞏2的鑄長(zhǎng)度憶)fa博st桑q文姐件產(chǎn)促量（贏GA笑）樣品類型上機(jī)測(cè)序類型平均產(chǎn)量(Gbp/Lane)正常產(chǎn)量(Mreads/Lane)SmallRNA36SE0.7020（2個(gè)樣品混合上1個(gè)lane）表達(dá)譜36SE0.7020（4個(gè)樣品混合上1個(gè)lane）Chip-seq36SE0.8825MeDIP-seq45PE2.2025轉(zhuǎn)錄組76PE3.8125（2個(gè)樣品混合上1個(gè)lane）Denovo101PE6.0030Denovo76PE4.5030Denovo45PE2.6430外顯子76PE4.5030重測(cè)序101PE6.0030重測(cè)序76PE4.5030重測(cè)序45PE2.6430Meta76PE4.5030甲基化76PE3.7525甲基化45PE2.2025fa顧st擇q文燃件產(chǎn)初量（百Hi浩se濱q區(qū)vs步G為A）GAHiSeqFC面積mm^2/FC5101440tile面積mm^2/tile0.531255.625tile/Lane12032rawcluster(萬(wàn)/tile)28250270310350PF85%87%87%87%85%PFcluster(萬(wàn)/tile)23.8218235270298cluterK/mm^2527444480551622readsM/Lane28.669.675.286.395.2101PEGb/Lane5.713.915.017.319.091PEGb/Lane12.513.515.517.1文庫(kù)商質(zhì)控士問(wèn)題籠1：研Pa序ir莊-e肯nd拼關(guān)系80及0b博p及趙以下校文庫(kù)5'3'3'5'PCRprimer1反向互補(bǔ)(包含5'adapter反向互補(bǔ))PCRprimer1(包含5'adapter)PCRprimer2(包含3'adapter反向互補(bǔ))PCRprimer2反向互補(bǔ)(包含3'adapter)Read1測(cè)序Read2測(cè)序5'5'3'3'與參眾考序皆列比杜較或者匪：總之有，R唉ea售d1勵(lì)，R爸ea撿d2面與參位考序懷列比撫對(duì)結(jié)榨果：一正渡(F額)一棒反(以R)般，且則F的維位點(diǎn)蔑坐標(biāo)強(qiáng)小于肅R的冠位點(diǎn)覆坐標(biāo)Re慕ad田1Read2參考序列正向5'5'3'3'參考序列反向互補(bǔ)Read2Read1參考序列正向5'5'3'3'參考序列反向互補(bǔ)FR參考序列正向5'5'3'3'參考序列反向互補(bǔ)總之積，R根ea脈d1男，R搏ea忌d2市于參豪考序盆列比翅對(duì)結(jié)巴果：一正匪(F悔)一捷反(佛R)煤，且漫F的準(zhǔn)位點(diǎn)片坐標(biāo)向小于蔽R的袍位點(diǎn)泳坐標(biāo)文庫(kù)部插入怎片段稻長(zhǎng)度FR參考序列正向5'5'3'3'參考序列反向互補(bǔ)Insert-sizeInsert-size5'PCRprimer1PCRprimer23'3'5'文庫(kù)分子長(zhǎng)度21屢00緩檢測(cè)置報(bào)告文庫(kù)百長(zhǎng)度龜分布與參湖考序贏列比驅(qū)對(duì)得父到in蹲se混rt止-s釀iz除e分蜂布正常玻in往se燦rt第-s郵iz紗e分風(fēng)布基因矮組D泡NA外顯梁子PC裙R-重fr紗ee文文庫(kù)異常便in我se盲rt災(zāi)-s克iz笛e分就布2K遠(yuǎn)及以俗上文攤庫(kù)文庫(kù)筆質(zhì)控散問(wèn)題咽1：亂Pa努ir遙-e期nd許關(guān)系與參顏考序縮慧列比亭較或者織：總之除，R神ea桃d1劃，R曠ea川d2干于參些考序喪列比縮慧對(duì)結(jié)伯果：一正目(F宵)一扇反(勇R)熊，且盟F的燙位點(diǎn)拿坐標(biāo)頁(yè)大于混R的奶位點(diǎn)領(lǐng)坐標(biāo)Read1Read2參考序列正向5'5'3'3'參考序列反向互補(bǔ)Read2Read1參考序列正向5'5'3'3'參考序列反向互補(bǔ)FR參考序列正向5'5'3'3'參考序列反向互補(bǔ)正常閃in妄se研rt凳-s額iz塞e分著布2K5~謙6KPC襯R-厭fr籮ee優(yōu)文庫(kù)10懲K異常崗in攜se心rt寶-s招iz罪e分蜓布文庫(kù)貫問(wèn)題握2：姐ad嶼ap架te惡r污氏染空載削：ad射ap離te煌r與減ad郵ap六te氣r直行接連聰接，爺中間墓沒(méi)有壘插入球片段溫，導(dǎo)卸致r嶺ea雪d1礙測(cè)到德3'維ad境ap協(xié)te韻r，踢re補(bǔ)ad廢2測(cè)匹到5翁'a附da掃pt東er園的反閑向互目補(bǔ)re污ad頃s尾籍部測(cè)榨到a紋da梯pt克er插入王片段跟過(guò)短插入政片段膀長(zhǎng)度圈小于銅上機(jī)逢測(cè)序拼循環(huán)停(c鞋yc愚le姥)數(shù)吵，導(dǎo)起致r睡ea廉d1辭尾部躺測(cè)到怠3'民ad郵ap振te賢r，雕re片ad鼠2尾裳部測(cè)蛛到5折'a息da幣pt蝦er處的反若向互歷補(bǔ)5'3'3'5'PCRprimer1反向互補(bǔ)(包含5'adapter反向互補(bǔ))PCRprimer1(包含5'adapter)PCRprimer2(包含3'adapter反向互補(bǔ))PCRprimer2反向互補(bǔ)(包含3'adapter)ad純ap港te犁r空嶄載較袋多導(dǎo)致攝堿基喇含量死波動(dòng)客戶竭PC脆R引慶物污皮染導(dǎo)致贊堿基佛含量紙波動(dòng)文庫(kù)退質(zhì)控售問(wèn)題霸3：丟文庫(kù)甘隨機(jī)臥性GC籍含量撓偏差綢：實(shí)驗(yàn)婚技術(shù)笛（打掛斷、韻PC舌R、賣測(cè)序斷）本身特點(diǎn)捧，導(dǎo)鋤致高停GC積和低婚GC鉤區(qū)域雁測(cè)序悅覆蓋培度偏版低，雨甚至少某些色區(qū)域窗覆蓋知不到耐；PC亭R-振fr煉ee蜜建庫(kù)神技術(shù)搬可減猴少P象CR歌帶來(lái)補(bǔ)的隨伯機(jī)性見(jiàn)問(wèn)題du們pl疼ic滑at索io蹄nPC頑R擴(kuò)片增出倍很多貼一模裕一樣害的母共版分俯子，采測(cè)序好結(jié)果略中很卡多條會(huì)re煎ad墻s是慮一樣譜的；基因妹組自師身重漿復(fù)序皇列含轉(zhuǎn)量高壺導(dǎo)致禽du沖pl信ic墾at霞io選n偏沙高；數(shù)據(jù)扭量越控大，綁du庫(kù)pl驚ic捧at決io湯n比集例越仇高文庫(kù)侍質(zhì)控口問(wèn)題遲4：紹其它瓶物種午、樣貴品污芬染測(cè)序丙質(zhì)控弦問(wèn)題ra短w色Cl餃us糖te達(dá)r密川度正常逝ra積w迫Cl醫(yī)us斜te反r密荒度：20瘡~3秧0萬(wàn)所/G息At形il遠(yuǎn)e，垃20幟0~踩35殲0萬(wàn)令/H豆iS絕eq軌ti渠leCl謠us碰te銅r制門備時(shí)狹，控隸制文其庫(kù)濃妄度，嶼達(dá)到獎(jiǎng)適當(dāng)旋的r暴aw嚴(yán)C兔lu生st撐er嫌密度密度水過(guò)低陰——?dú)g——宮產(chǎn)量雪低；小密度度過(guò)高鞋——離——穴質(zhì)量敵差樣品拆差異抹：2宿00竟小片克段能緊夠容籮忍的忌密度夾較高荷，8茂00響bp箱片段敲以及催RN您A樣紹品、觀特殊肺