研發(fā)中心任職資格評審申報-vr視頻播放之gstreamer實現(xiàn)

1、VR視頻播放之gstreamer實現(xiàn) 段剛 2017.1.17YUV YUV是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法（屬于PAL），是PAL和SECAM模擬彩色電視制式采用的顏色空間。在現(xiàn)代彩色電視系統(tǒng)中，通常采用三管彩色攝影機(jī)或彩色CCD攝影機(jī)進(jìn)行取像，然后把取得的彩色圖像信號經(jīng)分色、分別放大校正后得到RGB，再經(jīng)過矩陣變換電路得到亮度信號Y和兩個色差信號BY（即U）、RY（即V），最后發(fā)送端將亮度和色差三個信號分別進(jìn)行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。 YUV主要用于優(yōu)化彩色視頻信號

2、的傳輸，使其向后相容老式黑白電視。與RGB視頻信號傳輸相比，它最大的優(yōu)點在于只需占用極少的頻寬（RGB要求三個獨立的視頻信號同時傳輸）。其中“Y”表示明亮度（Luminance或Luma），也就是灰階值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色?！傲炼取笔峭高^RGB輸入信號來建立的，方法是將RGB信號的特定部分疊加到一起?！吧取眲t定義了顏色的兩個方面色調(diào)與飽和度，分別用Cr和Cb來表示。其中，Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異。而Cb反映的是RGB輸入信號藍(lán)色部分與RGB信號亮度值之間的

3、差異。RGB RGB色彩模式是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過對紅(R)、綠(G)、藍(lán)(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍(lán)三個通道的顏色，這個標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，是目前運用最廣的顏色系統(tǒng)之一。目前的顯示器大都是采用了RGB顏色標(biāo)準(zhǔn)， 在顯示器上，是通過電子槍打在屏幕的紅、綠、藍(lán)三色發(fā)光極上來產(chǎn)生色彩的，目前的電腦一般都能顯示32位顏色，有一千萬種以上的顏色。 電腦屏幕上的所有顏色，都由這紅色綠色藍(lán)色三種色光按照不同的比例混合而成的。一組紅色綠色藍(lán)色就是一個最小的顯示單位。屏幕上的任何一個顏色都可以由一組RGB值來記錄和

4、表達(dá)。 因此這紅色綠色藍(lán)色又稱為三原色光，用英文表示就是R(red)、G(green)、B(blue)。 在電腦中，RGB的所謂“多少”就是指亮度，并使用整數(shù)來表示。通常情況下，RGB各有256級亮度，用數(shù)字表示為從0、1、2.直到255。注意雖然數(shù)字最高是255，但0也是數(shù)值之一，因此共256級。如同2000年到2010年共是11年一樣。 按照計算，256級的RGB色彩總共能組合出約1678萬種色彩，即256256256=16777216。通常也被簡稱為1600萬色或千萬色。也稱為24位色(2的24次方)。YUV和RGB轉(zhuǎn)換Y= 0.299*R + 0.587*G + 0.114*BU= -

5、0.147*R - 0.289*G + 0.436*B = 0.492*(B- Y)V= 0.615*R - 0.515*G - 0.100*B = 0.877*(R- Y)R = Y + 1.13983*VG = Y - 0.39465*U - 0.58060*VB = Y + 2.03211* U 1, 1, 1, R,G,B = 0, -0.39465, 2.03211, * Y, U, V 1.13983, -0.58060, 0 OpenGL ES變換 在OpenGL ES如果想對模型進(jìn)行操作，就要對這個模型的狀態(tài)(當(dāng)前的矩陣)乘上這個操作對應(yīng)的一個矩陣。 如果乘以變換矩陣(平移,

6、縮放, 旋轉(zhuǎn)), 那相乘之后, 模型的位置被變換; 如果乘以投影矩陣(將3D物體投影到2D平面), 相乘后, 模型的投影方式被設(shè)置; 如果乘以紋理矩陣(), 模型的紋理方式被設(shè)置。 mat4 u_mvpMatrix; /4x4矩陣 u_mvpMatrix * a_position； u_mvpMartix初始化為單位矩陣。 1、透視 繪畫理論術(shù)語?！巴敢暋保╬erspective）一詞原于拉丁文“perspclre”（看透），指在平面或曲面上描繪物體的空間關(guān)系的方法或技術(shù)。 最初研究透視是采取通過一塊透明的平面去看景物的方法。將所見景物準(zhǔn)確描畫在這塊平面上，即成該景物的透視圖。后遂將在平面上根

7、據(jù)一定原理，用線條來顯示物體的空間位置、輪廓和投影的科學(xué)稱為透視學(xué)。 在畫者和被畫物體之間假想一面玻璃，固定住眼睛的位置（用一只眼睛看），連接物體的關(guān)鍵點與眼睛形成視線，再相交于假想的玻璃，在玻璃上呈現(xiàn)的各個點的位置就是要畫的三維物體在二維平面上的點的位置。這是西方古典繪畫透視學(xué)的應(yīng)用方法。 狹義透視學(xué)特指14世紀(jì)逐步確立的描繪物體，再現(xiàn)空間的線性透視和其他科學(xué)透視的方法?，F(xiàn)代則由于對人的視知覺的研究，拓展了透視學(xué)的范疇、內(nèi)容。廣義透視學(xué)可指各種空間表現(xiàn)的方法。1、透視 創(chuàng)建一個透視型的視景體。其操作是創(chuàng)建一個透視投影的矩陣，并且用這個矩陣乘以當(dāng)前矩陣。這個函數(shù)的參數(shù)只定義近裁剪平面的左下角點

8、和右上角點的三維空間坐標(biāo)，即（left，bottom，-near）和（right，top，-near）;最后一個參數(shù)far是遠(yuǎn)裁剪平面的離視點的距離值，其左下角點和右上角點空間坐標(biāo)由函數(shù)根據(jù)透視投影原理自動生成。near和far表示離視點的遠(yuǎn)近，它們總為正值(near/far 必須0)。void _glv_Frustum ( ESMatrix *result, float left, float right, float bottom, float top, float nearZ, float farZ ); 創(chuàng)建一個對稱的透視型視景體，但它的參數(shù)定義于前面的不同，如圖。其操作是創(chuàng)建一個對稱

9、的透視投影矩陣，并且用這個矩陣乘以當(dāng)前矩陣。參數(shù)fovy定義視野在Y-Z平面的角度，范圍是0.0, 180.0；參數(shù)aspect是投影平面寬度與高度的比率；參數(shù)Near和Far分別是近遠(yuǎn)裁剪面到視點(沿Z負(fù)軸)的距離，它們總為正值。以上兩個函數(shù)缺省時，視點都在原點，視線沿Z軸指向負(fù)方向。void _glv_Perspective ( ESMatrix *result, float fovy, float aspect, float nearZ, float farZ );2、移動 當(dāng)移動的時候，并不是相對屏幕中心移動，而是相對與當(dāng)前所在的屏幕位置。其作用就是將你繪點坐標(biāo)的原點在當(dāng)前原點的基礎(chǔ)上平移一個(x,y,z)向量。 比如球體向（0，0,-5）負(fù)Z軸移動，就如圖。void _glv_Translate ( ESMatrix *result, GLfloat tx, GLfloat ty, GLfloat tz );3、旋轉(zhuǎn)void _glv_Rotate ( ESMatrix *result, GLfloat angle, GLfloat x, GLfloat y, GLfloat z )繞著（x, y, z