CMOS圖像傳感器培訓(xùn)

1、12015/03/20SuperPix Confidential光電轉(zhuǎn)換原理光電轉(zhuǎn)換原理Pixel結(jié)構(gòu)結(jié)構(gòu)曝光方式曝光方式Sensor架構(gòu)及工作原理架構(gòu)及工作原理Sensor的寄存器控制的寄存器控制ADCGain頻率計(jì)算頻率計(jì)算幀率計(jì)算幀率計(jì)算2BlacklevelFlickerImage lag太陽黑子太陽黑子尺寸和窗口尺寸和窗口BinningPLDOPAD 驅(qū)動驅(qū)動實(shí)驗(yàn)實(shí)驗(yàn)Outline 光電轉(zhuǎn)換原理光電轉(zhuǎn)換原理3光電轉(zhuǎn)換的輸出信號與光電轉(zhuǎn)換的輸出信號與光照強(qiáng)光照強(qiáng)度度成正比，與成正比，與曝光時(shí)間曝光時(shí)間成正比成正比圖像傳感器的作用就是把光信圖像傳感器的作用就是把光信號轉(zhuǎn)換為電信號并且量化

2、輸出號轉(zhuǎn)換為電信號并且量化輸出PDNote：光電轉(zhuǎn)換并不是沒有限制的，光電轉(zhuǎn)換并不是沒有限制的，當(dāng)電荷累積到一定程度，效率慢慢下當(dāng)電荷累積到一定程度，效率慢慢下降，最后不再增加，這也是降，最后不再增加，這也是sensor中中pixel有一個(gè)最大輸出范圍的原因。有一個(gè)最大輸出范圍的原因。左圖為實(shí)際某左圖為實(shí)際某sensor 的的pixel輸輸出電壓的測試結(jié)果出電壓的測試結(jié)果單個(gè)pixel結(jié)構(gòu)0.00200.00400.00600.00800.0000.511.522.53Mean Output (mV)Exposure (lux*sec)photo responseGrRBGbPixel結(jié)構(gòu)結(jié)構(gòu)

3、4分辨率分辨率 VGA,640*480; 2M,1600*1200 5M,2592*1944 Position（定義顏色位置）（定義顏色位置）行行 row & 列列 columnFSI (Front Side Illumination) BSI (Back Side Illumination)Color filterMicro-lens通常長方向?yàn)樾?，短方向?yàn)榱?，在調(diào)試中一定要正確區(qū)分，因?yàn)樾辛性肼暬蛐辛芯€通常長方向?yàn)樾?，短方向?yàn)榱?，在調(diào)試中一定要正確區(qū)分，因?yàn)樾辛性肼暬蛐辛芯€出現(xiàn)問題的原因是完全不一致的！出現(xiàn)問題的原因是完全不一致的！!曝光方式曝光方式5目前sensor多采用滾動曝光

4、方式滾動曝光方式，即逐行曝光逐行讀出，每行復(fù)位到讀出的時(shí)間間隔即曝光時(shí)間。曝光控制寄存器中數(shù)值代表曝光多少行：曝光時(shí)間曝光時(shí)間=曝光行數(shù)曝光行數(shù)*行長行長。注意：當(dāng)曝光時(shí)間大于1幀時(shí)，會插入vblank來獲得較長的曝光時(shí)間。為了便于調(diào)試和計(jì)算，行長行長通常用多少個(gè)clk表示，如sp2508行長為1158，指的是1158個(gè)DAC_CLK周期，用時(shí)間表示：行長=1158*T_dac_clk。請注意不同sensor可能用不同的clk來表示，參數(shù)給出時(shí)會注明。VSYNC定義一幀的有效數(shù)據(jù)輸出時(shí)間HSYNC定義一行的有效數(shù)據(jù)輸出時(shí)間幀長幀長=有效數(shù)據(jù)行+vblank行（單位：行）并口輸出時(shí)，平臺端需要并

5、口輸出時(shí)，平臺端需要pclk，VSYNC, HSYNC三個(gè)信號共同作用來采集三個(gè)信號共同作用來采集有效的圖像數(shù)據(jù)，并且能準(zhǔn)確判斷行和幀。有效的圖像數(shù)據(jù)，并且能準(zhǔn)確判斷行和幀。!Sensor架構(gòu)及工作流程架構(gòu)及工作流程6Pixel array 完成光電轉(zhuǎn)換完成光電轉(zhuǎn)換模擬電路模擬電路 把電信號轉(zhuǎn)換成數(shù)字信號把電信號轉(zhuǎn)換成數(shù)字信號數(shù)字電路數(shù)字電路 控制控制sensor工作，數(shù)字信號處理，工作，數(shù)字信號處理， 根據(jù)需要輸出不同格式根據(jù)需要輸出不同格式MIPI 把把數(shù)字信號以數(shù)字信號以mipi協(xié)議格式輸出協(xié)議格式輸出其它輔助電路其它輔助電路 如有的如有的sensor帶有帶有OTPSensor的寄存器控

6、制的寄存器控制 Timing 包括包括sensor內(nèi)部各個(gè)模塊的工作時(shí)序關(guān)系，內(nèi)部各個(gè)模塊的工作時(shí)序關(guān)系，時(shí)鐘頻率，工作模式，相關(guān)配合關(guān)系等時(shí)鐘頻率，工作模式，相關(guān)配合關(guān)系等 模塊電路功能控制模塊電路功能控制 包括子模塊電路的開關(guān)，電氣性能調(diào)節(jié)等包括子模塊電路的開關(guān)，電氣性能調(diào)節(jié)等7寄存器分為兩類，一類為寄存器分為兩類，一類為timing控制寄存器，如控制寄存器，如pll頻率控制，頻率控制，hb，vb，全尺，全尺寸或寸或binning等模式選擇等等；另外一類寄存器為內(nèi)部電路性能控制，如等模式選擇等等；另外一類寄存器為內(nèi)部電路性能控制，如pixel LDO使能，輸出電壓控制，使能，輸出電壓控制，

7、pad驅(qū)動能力等等。驅(qū)動能力等等。ADCADC（Analog to Digital Converter），模數(shù)轉(zhuǎn)換器，把模擬信號轉(zhuǎn)換為二進(jìn)制的數(shù)字信號。如8bit的ADC輸出數(shù)字碼為01111 1111（255）。ADC Range即ADC的有效輸入范圍 如8bit ADC Range=500mv，輸入信號大于等于500mv時(shí)，轉(zhuǎn)換輸出碼值為255.8在sensor中ADC Range不能大于pixel的最大輸出電壓，如pixel最大輸出電壓為400mv，而ADC Range為500mv，顯然輸出圖像最亮的部分都不能到255，會導(dǎo)致圖像高亮發(fā)粉。當(dāng)出現(xiàn)adc range大于pixel最大輸出電

8、壓時(shí)，要么減小adc range，要么放大pixel信號再做量化。這就是在某些項(xiàng)目中最小增益不是1倍的原因。Gain 增益（增益（gain）分為模擬增益和數(shù)字增益 模擬增益指在模擬電路中把pixel輸出的電信號進(jìn)行放大，而數(shù)字增益指的電信號完成模數(shù)轉(zhuǎn)換后，把數(shù)字信號進(jìn)行放大（自動增益主要是調(diào)節(jié)模擬增益）。把信號放大的作用主要是增加輸出圖像亮度，而增益越大噪聲也會相對更為明顯，在實(shí)際項(xiàng)目中都需要根據(jù)sensor的具體情況確定最大增益和最小增益。9024681012141618增益的寄存器控制：h10-1倍h20-2倍hf0-15倍增益調(diào)節(jié)分為4檔1倍到2倍步長1/162倍到4倍步長1/84倍到8

9、倍步長1/48倍到15.5倍步長1/2頻率計(jì)算頻率計(jì)算 PLL頻率計(jì)算 芯片輸入E_clk，通過PLL倍頻獲得一個(gè)很高頻率的pll_clk，芯片內(nèi)部時(shí)鐘均由pll_clk分頻獲得，pll_clk的頻率由通常由兩個(gè)寄存器共同配置。10)2(1_3_*_outdivpllmcpllncpllclkEclkpllP0:0 x2fpll_ctrl_buf706:2 pll_nc1:0 pll_mc0 x10P0:0 x34buf_pll_outdiv10Pll frequency divider control00- 101- 210- 411- 80 x01調(diào)試中做降頻實(shí)驗(yàn)時(shí)只需要修改調(diào)試中做降頻實(shí)

10、驗(yàn)時(shí)只需要修改pll_clk即可，內(nèi)部其它時(shí)鐘頻率即可，內(nèi)部其它時(shí)鐘頻率會同步隨著會同步隨著pll_clk變化而變化，不能單獨(dú)修改內(nèi)部其它時(shí)鐘頻率。變化而變化，不能單獨(dú)修改內(nèi)部其它時(shí)鐘頻率。1_3_*_mcpllncpllclkE其中， 建議在120M300M之間!幀率計(jì)算幀率計(jì)算Pclk，指sensor輸出數(shù)據(jù)的頻率，不是pll_clk。通常在給出的usb3.0參數(shù)文件名中會包括pclk的信息，通常說的sp2508 60M參數(shù)，就是指pclk 60M。在代碼deviceinfo中請注意填寫的頻率是否正確。行長是用來計(jì)算曝光時(shí)間的，關(guān)系flicker和幀率問題，請注意行長對應(yīng)的頻率。如sp25

11、08 行長1158對應(yīng)的是內(nèi)部的dac_clk，如果以pclk計(jì)算，則行長為2316，因?yàn)樗osp2508參數(shù)中pclk頻率為dac_clk的兩倍。幀率計(jì)算方法11幀長幀長=有效數(shù)據(jù)行+vblank行=1225+16=1241行行長行長=2316，對應(yīng)pclk 60M最大幀率=1/最小幀時(shí)間 =1/（2316/60M）*1241）=20.8 fps當(dāng)曝光時(shí)間大于1幀時(shí)，幀率由曝光時(shí)間決定，如果曝光時(shí)間為200ms，那么幀率就為5 fps。!不要單獨(dú)更改內(nèi)部不要單獨(dú)更改內(nèi)部clk頻率控制寄存器頻率控制寄存器flicker交流電照明燈發(fā)出的光會以一定頻率抖動，導(dǎo)致sensor圖像出現(xiàn)行方向的水波紋

12、，稱之為flicker。目前主要的交流電頻率有50Hz（中國）和60Hz兩種。為了避免出現(xiàn)flicker，要求曝光時(shí)間大于base值時(shí)必須是base的整數(shù)倍。12行）行長()(1000050_ushzbase行）行長()(833360_ushzbase如所給參數(shù)行長為1158（clk周期個(gè)數(shù)），對應(yīng)clk頻率為30M，則)(259)(30/115810000)()us(1000050_行行行行長hzbase!當(dāng)出現(xiàn)當(dāng)出現(xiàn)flicker時(shí)，首先要判斷曝光時(shí)間是否正確，打印曝光寄存器值，看時(shí)，首先要判斷曝光時(shí)間是否正確，打印曝光寄存器值，看是否是是否是base的整數(shù)倍；如果是的整數(shù)倍；如果是bas

13、e的整數(shù)倍，那么就得確認(rèn)所用的行長和的整數(shù)倍，那么就得確認(rèn)所用的行長和頻率是否正確；如果都正確就需要向研發(fā)反映，可能頻率是否正確；如果都正確就需要向研發(fā)反映，可能sensor功能異常或者功能異?；蛘呤切懈蓴_。是行干擾。blacklevel Blacklevel簡單的說就是黑電平，指在dark下pixel的輸出值，這個(gè)值可能為正亦可能為負(fù)，在正常光照輸出時(shí)需要減掉blacklevel值。Blacklevel的統(tǒng)計(jì)和正常輸出時(shí)減blacklevel都在芯片內(nèi)部實(shí)現(xiàn)，可通過寄存器調(diào)整。Blacklevel值的統(tǒng)計(jì)方法有三種，1幀統(tǒng)計(jì)，4幀統(tǒng)計(jì)，8幀統(tǒng)計(jì)。13 Blacklevel引起的圖像抖動引起的

14、圖像抖動 通過開關(guān)通過開關(guān)blacklevel來確認(rèn)。主要可能是來確認(rèn)。主要可能是blacklevel不穩(wěn)，如果是單幀統(tǒng)計(jì)改為不穩(wěn)，如果是單幀統(tǒng)計(jì)改為4幀，幀，8幀統(tǒng)計(jì)是否有變化；是否幀統(tǒng)計(jì)是否有變化；是否sensor散熱不好引起；需要測試散熱不好引起；需要測試ob值的變化。值的變化。 Blacklevel引起的偏色引起的偏色 通過開關(guān)通過開關(guān)blacklevel來確認(rèn)。來確認(rèn)。Blacklevel統(tǒng)計(jì)值偏大會引起暗態(tài)偏綠，而統(tǒng)計(jì)值偏小會統(tǒng)計(jì)值偏大會引起暗態(tài)偏綠，而統(tǒng)計(jì)值偏小會引起暗態(tài)偏紅引起暗態(tài)偏紅。 拍照切換拍照切換 當(dāng)預(yù)覽和拍照采用不同參數(shù)時(shí)，需要注意當(dāng)預(yù)覽和拍照采用不同參數(shù)時(shí)，需要注意

15、blacklevel控制寄存器的修改，因?yàn)榕恼諘r(shí)控制寄存器的修改，因?yàn)榕恼諘r(shí)間很短，不可能有很多幀來統(tǒng)計(jì)間很短，不可能有很多幀來統(tǒng)計(jì)blacklevel，因此要求把拍照參數(shù)中的，因此要求把拍照參數(shù)中的blacklevel改為改為1幀統(tǒng)計(jì)。幀統(tǒng)計(jì)。Image LagImage lag即圖像殘留，在每個(gè)即圖像殘留，在每個(gè)pixel曝光前都需要把上一次曝光產(chǎn)生曝光前都需要把上一次曝光產(chǎn)生的信號抹除（復(fù)位），然后再進(jìn)行新一幀圖像的曝光。當(dāng)復(fù)位時(shí)間太的信號抹除（復(fù)位），然后再進(jìn)行新一幀圖像的曝光。當(dāng)復(fù)位時(shí)間太短或者其他原因造成復(fù)位不完全，那么下一次的曝光讀出就包含了上短或者其他原因造成復(fù)位不完全，那么下

16、一次的曝光讀出就包含了上一幀殘留的信號，并且不同亮度區(qū)域殘留的信號量不同，導(dǎo)致圖像反一幀殘留的信號，并且不同亮度區(qū)域殘留的信號量不同，導(dǎo)致圖像反映的信號量與曝光時(shí)間不匹配映的信號量與曝光時(shí)間不匹配Lag在手機(jī)圖像上表現(xiàn)：在手機(jī)圖像上表現(xiàn)： 1.晃動時(shí)拖影嚴(yán)重，燈管高亮區(qū)域拖出綠色晃動時(shí)拖影嚴(yán)重，燈管高亮區(qū)域拖出綠色 2.高亮四周較暗區(qū)域圖像分層明顯，暗區(qū)域偏綠高亮四周較暗區(qū)域圖像分層明顯，暗區(qū)域偏綠14太陽黑子太陽黑子 太陽黑子太陽黑子指的是拍照高亮物體時(shí)，在高亮區(qū)域反而出現(xiàn)黑色的斑點(diǎn)，這是由于光照太強(qiáng)pixel不能有效工作引起的，在sensor中都做相應(yīng)的校正功能，可以消除該現(xiàn)象。 Sp25

17、08 太陽黑子校正寄存器太陽黑子校正寄存器151使能，0關(guān)閉不同的設(shè)置電壓如果出現(xiàn)太陽黑子現(xiàn)象，使能寄存器不生效或者如果出現(xiàn)太陽黑子現(xiàn)象，使能寄存器不生效或者使能后出現(xiàn)列噪時(shí)，需要反饋到研發(fā)做分析。使能后出現(xiàn)列噪時(shí)，需要反饋到研發(fā)做分析。!Updown/mirror16Sensor默認(rèn)所見即所得，圖像顯示與人眼看到場景一致。當(dāng)進(jìn)行updown或者mirror時(shí)，sensor內(nèi)部pixel array的輸出順序相應(yīng)發(fā)生變化，第一個(gè)輸出pixel顏色發(fā)生變化，所以position定義需要調(diào)整。Updown和mirror在調(diào)試中的另一個(gè)作用是用來判斷行線和列線產(chǎn)生的原因，如果是pixel array

18、出現(xiàn)問題，那么行線列線會隨著updown和mirror位置改變，如果是電路工作timing的問題，行線列線位置一般不會變化。ColorbarColorbar為芯片內(nèi)部自測試數(shù)據(jù)，可以用來判斷芯片到平臺的數(shù)據(jù)傳輸正確性，當(dāng)出圖不正常，顏色異常，偏色，抖動，壞線壞點(diǎn)都應(yīng)該先看看colorbar是否正常，判斷問題出在哪里MIPI也有自己的colorbar17Digital YUV colorbarDigital RAW colorbarMIPI colorbarSP2508 Digital colorbar 使能寄存器使能寄存器SP2508 MIPI colorbar 使能寄存器使能寄存器尺寸和窗口

19、尺寸和窗口Sensor通常都支持比自身全尺寸小的各種格式尺寸輸出通常都支持比自身全尺寸小的各種格式尺寸輸出 如sp2508全尺寸輸出為1616*1216，就支持720p(1288*728), 900p(1288*908), 1600HD+(1608*908), 2*2 binning(808*608)等等輸出尺寸，通過寄存器控制選擇。默認(rèn)給出的各尺寸都比標(biāo)準(zhǔn)尺寸大，是為了便于圖像的邊界處理，有默認(rèn)給出的各尺寸都比標(biāo)準(zhǔn)尺寸大，是為了便于圖像的邊界處理，有的平臺只需要標(biāo)準(zhǔn)尺寸，就需要同時(shí)修改數(shù)字輸出尺寸寄存器和的平臺只需要標(biāo)準(zhǔn)尺寸，就需要同時(shí)修改數(shù)字輸出尺寸寄存器和MIPI的輸出尺寸寄存器的輸出尺

20、寸寄存器18例如之前高通平臺認(rèn)證時(shí)要求輸出標(biāo)準(zhǔn)尺寸，sp2508全尺寸輸出1600*1200；sp5409全尺寸輸出2592*1944.19尺寸和窗口尺寸和窗口19P2:0 x37dem_v_start_3msb2:020Image vertical start 3msb0 x00P2:0 x38dem_v_start_8lsb 70Image vertical start 8lsb0 x00P2:0 x39dem_v_size_3msb2:0 20Image vertical size 3msb0 x04P2:0 x3adem_v_size_8lsb 70Image vertical siz

21、e 8lsb0 xc0P2:0 x3bdem_h_start_3msb2:020Image horizontal start 3msb0 x00P2:0 x3cdem_h_start_8lsb 70Image horizontal start 8lsb0 x00P2:0 x3ddem_h_size_3msb2:0 20Image half horizontal size 3msb0 x03P2:0 x3edem_h_size_8lsb 70Image half horizontal size 8lsb0 x28sp2508數(shù)字尺寸控制寄存器數(shù)字尺寸控制寄存器Start寄存器從寄存器從0開始，如

22、減少開始，如減少2行，那么行，那么dem_v_start =0 x02!P1:0 x8eh_size_mipi_4msb30MIPI column number0 x06P1:0 x8fh_size_mipi_8lsb70MIPI column number0 x50P1:0 x90v_size_mipi_3msb20MIPI line number0 x04P1:0 x91v_size_mipi_8lsb70MIPI line number0 xc0sp2508mipi尺寸控制寄存器尺寸控制寄存器注意sp2508和sp5409一樣，列尺寸定義寄存器是實(shí)際尺寸的一半，例如輸出1024列，則de

23、m_h_size寄存器應(yīng)該寫為512，即11h200；而行尺寸寄存器應(yīng)該與實(shí)際輸出行數(shù)一樣。如果需要修改start位置，dem_v_start必須為偶數(shù)，保證position不變，否則顏色出現(xiàn)錯(cuò)誤；dem_h_start沒有這個(gè)問題。通常尺寸變化不大時(shí)可以不修改start寄存器！注意注意2倍倍關(guān)系關(guān)系!另外修改輸出尺寸寄存器不會改變行長和幀長！因此不能提高幀率！另外修改輸出尺寸寄存器不會改變行長和幀長！因此不能提高幀率！Binning目前采用的目前采用的binning方法就是把同通道相鄰四個(gè)方法就是把同通道相鄰四個(gè)pixel通過一定的算法通過一定的算法相加，合并成一個(gè)像素點(diǎn)輸出，因此輸出行列數(shù)

24、均減少一半。采用列相加，合并成一個(gè)像素點(diǎn)輸出，因此輸出行列數(shù)均減少一半。采用列ADC結(jié)構(gòu)的結(jié)構(gòu)的sp2508和和sp5409 binning模式速度較全尺寸快，但不是模式速度較全尺寸快，但不是2倍的關(guān)系，這是與原來倍的關(guān)系，這是與原來global ADC sensor有區(qū)別的地方。有區(qū)別的地方。20PLDOPLDO(Pixel LDO)是芯片內(nèi)部穩(wěn)壓電路，為是芯片內(nèi)部穩(wěn)壓電路，為pixel array供電，可以有供電，可以有效抑制電源干擾和噪聲，效抑制電源干擾和噪聲，PLDO輸出電壓可通過寄存器調(diào)節(jié)。輸出電壓可通過寄存器調(diào)節(jié)。21PLDO的輸出電壓與電源電壓(AVDD)必須保證有一定的壓差保證有一定的壓差，如PLDO輸出設(shè)置為2.7v，那么需要AVDD要不小于2.8v，否則PLDO工作不正常，不能起到抑制電源噪聲或干擾的作用?；蛘?/p>