基于云計(jì)算和運(yùn)維自動化的IT建設(shè)實(shí)踐

1、 基于云計(jì)算和運(yùn)維自動化的IT建設(shè)實(shí)踐（國美）高效運(yùn)維 微信號 greatops功能介紹 高效運(yùn)維公眾號由蕭田國及朋友們維護(hù)，經(jīng)常發(fā)布各種廣為傳播的優(yōu)秀原創(chuàng)技術(shù)文章，關(guān)注運(yùn)維轉(zhuǎn)型，陪伴您的運(yùn)維職業(yè)生涯，一起愉快滴發(fā)展。前言今天的主題是國美集團(tuán)基于云計(jì)算和運(yùn)維自動化IT的建設(shè)和實(shí)踐。國美在大家印象里是比較傳統(tǒng)的公司，因?yàn)楫吘褂袔资甑臍v史了，大家會覺得云計(jì)算和自動化運(yùn)維怎么跟國美搭上邊，希望通過本文為大家解一下惑。主要分為以下四塊：國美簡介國美運(yùn)維新思路國美云計(jì)算實(shí)踐國美運(yùn)維自動化實(shí)踐1、國美簡介首先我想大概介紹一下國美集團(tuán)，大家肯定最深的印象就是家電賣場。因?yàn)閲?987年開始就開始做家電賣場

2、，現(xiàn)在有1500家門店，全國有30萬員工，是國內(nèi)最大的家電連鎖企業(yè)。國美發(fā)展到現(xiàn)在涉足面不光是家電零售，其實(shí)在下面的六大板塊，我們公司都有涉及，地產(chǎn)開發(fā)、互聯(lián)網(wǎng)金融、智能手機(jī)、智能制造、互聯(lián)網(wǎng)和線下零售，集團(tuán)旗下有很多上市公司分布在這幾個板塊里。再講一下我們的國美技術(shù)，國美在全國一共有30萬員工，業(yè)務(wù)板塊也非常多，這一些業(yè)務(wù)板塊很多像互聯(lián)網(wǎng)、智能手機(jī)、智能制造，線下零售都對技術(shù)要求非常高。我們國美集團(tuán)有上千名的技術(shù)人員，而且這一些技術(shù)人員支持的業(yè)務(wù)面也非常廣，對底層有一定的挑戰(zhàn)。國美發(fā)展這么多年來，從2000年左右就開始統(tǒng)一存儲訂單信息，我們國美云既有IOE又有云計(jì)算又有虛擬化，這是我們遇到一

3、個比較大的挑戰(zhàn)。2、國美運(yùn)維新思路下面我們介紹下國美運(yùn)維的新思路，怎么樣幫助企業(yè)降低成本提高效率，這是我們的一些思考。首先我想說一下企業(yè)的關(guān)注點(diǎn)，90%甚至100%的企業(yè)最關(guān)心的是什么東西？我自認(rèn)為企業(yè)最關(guān)心就是賺錢。從運(yùn)維來講怎么幫助企業(yè)實(shí)現(xiàn)這一目標(biāo)：一個是降低運(yùn)維成本，另一個提高運(yùn)維的效率。圍繞這兩點(diǎn)我們做了思考，我們想用云計(jì)算和運(yùn)維自動化去實(shí)現(xiàn)這個目標(biāo)。云計(jì)算就推出了國美云，國美集團(tuán)統(tǒng)一的資源都到國美云建設(shè)，減少每一個公司重復(fù)的投入，降低企業(yè)的成本。其次自動化，國美云降低自動化的平臺流程，提供給各個子公司使用，幫助各個子公司提高運(yùn)維效率。剛才我介紹國美還忽略了一點(diǎn)，其實(shí)國美大概有30多家

4、產(chǎn)業(yè)類的公司，國美互聯(lián)網(wǎng)、國美電器、國美在線、國美金融、國美手機(jī)都是需要這一些基礎(chǔ)服務(wù)。以前這些公司在做基礎(chǔ)服務(wù)的時候，每一個公司都去組建自己的運(yùn)維開發(fā)人員，基礎(chǔ)運(yùn)維人員、網(wǎng)絡(luò)人員去承接IDC服務(wù)器建設(shè)。我們的理念中一個是云計(jì)算，我們做了一些改變，首先是2016年6月份我們在集團(tuán)層面成立了國美云這一家公司，目的就是提供給各個集團(tuán)內(nèi)的產(chǎn)業(yè)公司基礎(chǔ)的 IAAS 云服務(wù)。其次通過成立國美云我們把所有集團(tuán)內(nèi)的基礎(chǔ)技術(shù)全部集中在一起，各個公司的基礎(chǔ)運(yùn)維研發(fā)人員、云計(jì)算研發(fā)人員和基礎(chǔ)運(yùn)維人員都?xì)w攏到國美云統(tǒng)一底層的基層服務(wù)。另外我們成立國美云后，資源也得到了統(tǒng)一，就是我們的機(jī)柜、機(jī)房資源也是統(tǒng)一的進(jìn)行采購

5、、管理。資源服務(wù)器統(tǒng)一后，建立集中的資源池，統(tǒng)一的進(jìn)行交付，各個公司再按需進(jìn)行購買，不需要每一個公司提前自己購買資源池在那閑置浪費(fèi)。我們想通過組建國美云把我們的運(yùn)維技術(shù)歸攏到國美云之后，把我們的產(chǎn)品、技術(shù)對外輸出出去。一方面對內(nèi)服務(wù)，微盈利，集團(tuán)整體的支出減少。對外，服務(wù)產(chǎn)生外部的服務(wù)能力，成本中心轉(zhuǎn)換成利潤中心。另一個思路就是我們運(yùn)維自動化，很多公司都在做。我們做的不同，我們把各個公司的運(yùn)維自動化需求全部歸攏到一家公司來統(tǒng)一實(shí)現(xiàn)。運(yùn)維標(biāo)準(zhǔn)是運(yùn)維自動化的一個基礎(chǔ)，沒有運(yùn)維標(biāo)準(zhǔn)你就沒法進(jìn)行大規(guī)模的部署、大規(guī)模的上線這樣的操作。我們首先做的就是運(yùn)維標(biāo)準(zhǔn)化。其次我們打造運(yùn)維生態(tài)鏈，后續(xù)我還會介紹生態(tài)

6、鏈有哪一些組成。我們圍繞著CI/CD的流程做了一個運(yùn)維自動化的生命線，貫穿著這一個流程中間的是自動化平臺。最后一個就是統(tǒng)一建設(shè)，我們會建設(shè)二十種、三十種，但是不是所有的公司都用完這二十種、三十種，需要按需選擇各種的自動化平臺。3、國美云計(jì)算實(shí)踐前面兩點(diǎn)大概介紹了一下我們的一些思路，下面我想介紹一下我們的云計(jì)算的實(shí)踐。我們做了一些產(chǎn)品的思考，要做國美云，時間就是金錢，必須要快速服務(wù)，如果我們耽誤兩三年做出來，其它各個公司的業(yè)務(wù)發(fā)展都會受到很大的拖累。本來我們做國美云的目的就是提供給各個產(chǎn)業(yè)鏈的公司，我們的手機(jī)我們的 IOT 基礎(chǔ)服務(wù)，所以我們必須要快。其次的話我們優(yōu)先開發(fā)基礎(chǔ)云產(chǎn)品，就是云計(jì)算，

7、現(xiàn)在阿里云、騰訊云產(chǎn)品線非常豐富，IAAS 、PAAS 都非常豐富。所以前期人員有限，提供內(nèi)部服務(wù)的情況下我們想提供一個 IAAS 服務(wù)，在 IAAS 再配備 PAAS 和 SAAS 服務(wù)?？紤]到國美云建設(shè)機(jī)房的速度和投入，自己建機(jī)房速度是會比較慢，其次前期的投入要比較多，而且要很長的時間比如說兩年、三年我們才能把成本收回來。我們在自建機(jī)房的基礎(chǔ)上支持第三方的云，當(dāng)作國美云來進(jìn)行銷售。比如說我們現(xiàn)在在北京建了機(jī)房，但是我們內(nèi)部的業(yè)務(wù)很多都是發(fā)展在南方深圳那邊，于是我們是通過利用第三方云包裝在國美云平臺進(jìn)行統(tǒng)一的銷售。國美云最大的價值其實(shí)剛才也說了，就是運(yùn)維希望達(dá)到的一個目標(biāo)吧。一個就是降低成本

8、，另外一個提高效率，這也是一個云的特征。降低成本比較簡單，因?yàn)橘Y源可以復(fù)用，虛擬化比例提升，而且每一個公司按需買服務(wù)器，而不是一直買服務(wù)器就是堆著，所以降低了成本。其次提高了交付效率，基于虛擬化可以實(shí)現(xiàn)一個很快的交付。運(yùn)維人員很多情況下是一個內(nèi)部的運(yùn)維支撐部門，就像剛才說的一樣是一個內(nèi)部的思維，跟產(chǎn)品跟我們的業(yè)務(wù)關(guān)聯(lián)度不是特別大。但是通過做國美云，我們很多運(yùn)維人員要做乙方給甲方各個產(chǎn)業(yè)公司的基礎(chǔ)云服務(wù)、運(yùn)維服務(wù)。這個過程中，其實(shí)在思維模式上已經(jīng)發(fā)生了從內(nèi)到外的轉(zhuǎn)變，產(chǎn)品的服務(wù)意識、服務(wù)形態(tài)都有一定的轉(zhuǎn)變。這是我們的一個 IAAS 產(chǎn)品架構(gòu)圖，其實(shí)相對來說比較簡單，因?yàn)槲覀儸F(xiàn)在聚焦點(diǎn)是在 IAA

9、S ，不論 SAAS PAAS 都有 IAAS 。我們把產(chǎn)品主要分了三個層面：第一層是用戶層；第二層是控制層；第三是服務(wù)層。用戶使用我們云平臺，現(xiàn)在特指我們產(chǎn)業(yè)內(nèi)各個子公司的一個SRE人員。使用我們的云平臺會登陸我們的 Portal，還有基于云平臺做了一些自動化運(yùn)維的平臺，可以調(diào)用 API 購買國美云主機(jī)?？刂茖又饕瞧鸬劫Y源總體調(diào)度，用戶在 Portal 購買云主機(jī)會牽扯到后端很多的服務(wù)：我們內(nèi)部運(yùn)維管理平臺，所有的資源信息還有一些主機(jī)信息、計(jì)費(fèi)信息等信息。服務(wù)層我可以重點(diǎn)講幾個產(chǎn)品，后面也會講。 CMDB 是云的所有基礎(chǔ)還有資產(chǎn)配置信息的數(shù)據(jù)庫， GMSTACK 類似于 OpenStack

10、 會做一個資源到云主機(jī)的創(chuàng)建管理的工作，RDS簡單的提供出來。其次是不同的產(chǎn)業(yè)公司有相互結(jié)算，有獨(dú)立的計(jì)費(fèi)系統(tǒng)對主機(jī)和網(wǎng)絡(luò)資源進(jìn)行單獨(dú)的計(jì)費(fèi)。SLB是開發(fā)軟負(fù)載，VPC我們現(xiàn)階段主要是硬件廠商的SDN控制器做的，用一些開源的方案，現(xiàn)階段是通過利用第三方的控制器去做的。我們現(xiàn)在是用 service 快存儲提供給云主機(jī)使用，CDN第三方云平臺，也是通過國美云統(tǒng)一的服務(wù)。下面還有 VPN 還有 Monitor ，最后有一個 MIX-Cloud 對接第三方云的API，上層購買資源的時候會請求 GMSTACK 購買第三方云的資源。這是我們的 Command 中間的控制層，這一套系統(tǒng)是起到統(tǒng)一調(diào)度的作用。

11、我們是用 Go 語言編寫這一套系統(tǒng)，主要的作用是用戶請求過來，它創(chuàng)建 VPC 或者購買云主機(jī)到內(nèi)部，其實(shí)是一個很復(fù)雜的過程，并不是單純請求某一個平臺完成。所以 Command 起到接口調(diào)用編排的作用，我們這一套系統(tǒng)支持同步、異步，并發(fā)一個請求過來，我們可以把它處理成異步還有回調(diào)的操作，這平臺也是用 thrift 框架，同時 http、https、rpc都提供。說一下我們的監(jiān)控，其實(shí)最早的時候從我們2016年6月份創(chuàng)建公司以來，包括國美之前的一些運(yùn)維體系，用的都是 Zabbix 。Zabbix 用的挺多，在主機(jī)達(dá)到千臺以上。Open-falcon 都是Go寫的，它的性能還是比較好，而且我們做了一

12、些針對 Open-falcon 定制化開發(fā)。比如說虛擬機(jī)，我們一般監(jiān)控都是部署在虛擬機(jī)內(nèi)進(jìn)行監(jiān)控，但是其實(shí)做云的話，這對用戶來說體驗(yàn)不是特別好，所以我們現(xiàn)在所做的是從主席機(jī)直接對云主機(jī)進(jìn)行監(jiān)控，比如說CPU內(nèi)存硬盤使用情況。今年年初到6月份我們的 Open-falcon 有一個穩(wěn)定的過渡，因?yàn)?Open-falcon 是小米和滴滴做的，上半年還是相對比較穩(wěn)定。而且有一些功能比較吸引人，比如說報(bào)警的收斂，比如原本會報(bào)警十條短信，另外的話還有報(bào)警的機(jī)位掛了，原本會收到很多短信，但是這個會幫你去拒掉。目前我們國美云大概有幾千臺云主機(jī)，全部是用 Open-falcon 做的監(jiān)控。其次就是云主機(jī)的調(diào)度，

13、我們云主機(jī)調(diào)度也是自己研發(fā)，就是整套云的底層虛擬化并沒有 Openstack。完成這一套調(diào)度有一些系統(tǒng)，每天有幾千臺創(chuàng)建量的時候，可以實(shí)時的去做水平的橫向擴(kuò)展，只要在這后面加調(diào)度系統(tǒng)就可以了。其次的話我們的調(diào)度是通過服務(wù)狀態(tài)，調(diào)度器可以去靈活的選擇，根據(jù)不同的場景。4、國美運(yùn)維自動化實(shí)踐我再介紹一下我們運(yùn)維自動化的實(shí)踐。這是我們的一個運(yùn)維自動化實(shí)踐圖譜，也算是生態(tài)鏈。這就是圍繞 CI/CD 的流程，核心標(biāo)準(zhǔn)化、流程化，把所有的開發(fā)、運(yùn)維、測試、配置管理項(xiàng)目管理這一些角色全部通過這一個流程給匯聚起來。我們現(xiàn)在這些平臺有一些還在開發(fā)過程中，但是未來我們國美整個生態(tài)內(nèi)的各個產(chǎn)業(yè)公司，運(yùn)維自動化平臺都

14、會從這里選取使用，相當(dāng)于這是我們國美云提供一套生態(tài)鏈給各個產(chǎn)業(yè)公司使用。說一說我們的運(yùn)維自動化的產(chǎn)品，CMDB 很多公司都有，互聯(lián)網(wǎng)公司無論大小都有這種產(chǎn)品的存在。但是我們的產(chǎn)品主要是有什么特點(diǎn)？我們把網(wǎng)絡(luò)資源當(dāng)作資產(chǎn)一樣管理起來，就是IP地址，其次我們 CMDB 里面維護(hù)了用戶，用戶指的是開發(fā)人員、測試人員，還有運(yùn)維人員和設(shè)備的對應(yīng)關(guān)系。這是產(chǎn)品線的圖，通過對應(yīng)關(guān)系獲取一些信息。其實(shí)很多的系統(tǒng)，比如說我們的監(jiān)控系統(tǒng)都是可以通過產(chǎn)品線用戶、機(jī)器的對應(yīng)關(guān)系去獲得一些信息，去實(shí)施一些服務(wù)，比如說堡壘機(jī)某一個用戶就是登陸的權(quán)限。其次就是通過 CMDB 的基礎(chǔ)資源，我們形成了一個機(jī)房機(jī)柜的管理視圖。因

15、為我們 CMDB 存的信息比較全，每一臺機(jī)器的資產(chǎn)信息，位置信息還有它的一個機(jī)型信息都有，所以我們通過這信息，視圖就會有所有的機(jī)房排列的情況。你點(diǎn)開每一個機(jī)柜，里面的每一個服務(wù)器擺列的情況都看的很明確。我們運(yùn)維怎么上架怎么選擇機(jī)柜也是非常方便，這圖也幫了我們運(yùn)維人員很多，我們服務(wù)器到貨之前都是看這圖讓供貨商直接參與進(jìn)行了。裝機(jī)系統(tǒng)也是 PXE 和 PXD，但是不同的點(diǎn)是從 PXD，就是 ROMOS 里面有定制的啟動腳本還有一些安裝腳本。進(jìn)入到 ROMOS 以后 CMDB 拿一些基礎(chǔ)信息，應(yīng)該裝什么操作，應(yīng)該分配什么IP地址，IP地址都不需要制定。然后在裝的過程中還需要去 wget 包，我們掛載

16、硬盤，把包解壓就裝了系統(tǒng)。這系統(tǒng)的好處就是非常靈活，我們可以在操作系統(tǒng)里面定制很多東西，比如說我們現(xiàn)在做的就是 RAID ，根據(jù)梯型我們定義A5或者A6，就直接把 RAID 裝機(jī)過程中做掉，其次對機(jī)器的壓測還會發(fā)現(xiàn)一些新的問題。裝機(jī)系統(tǒng)性能也是不錯，我們曾經(jīng)安裝過一百臺以上的物理服務(wù)器幾分鐘就可以安裝完成，主要的優(yōu)點(diǎn)還是靈活性比較好。另外裝機(jī)系統(tǒng)要使用的話，其實(shí)只要錄入SN和它的位置，其他的都是通過 RAMOS 采集到 CMDB 來完成，對運(yùn)維人員來說非常省事。我們的負(fù)載均衡系統(tǒng)底層是基于 LVS 和 Nginx ，我們的云平臺通過 namespace 封裝對外服務(wù)。另外比較好的一點(diǎn)，我們作為

17、自動化跟 CMDB 發(fā)布系統(tǒng)做了一些聯(lián)動，下面會有一個稍微的介紹。剛才我說了 CMDB 就是大家在前面的圖里看到的，他在我們的服務(wù)層，其實(shí)是在我們的云平臺里面，在我們的服務(wù)層起到一個資產(chǎn)管理還有配置信息管理的作用。我們的 CMDB 還做了一個 SAAS 服務(wù)，提供給我們的 API 服務(wù)，在外面單獨(dú)部署。我們現(xiàn)在的場景，國美互聯(lián)網(wǎng)單獨(dú)部署了我們的 CMDB ，通過 API 獲取國美云的主機(jī)，其次自己管理了一些自己的主機(jī)， CMDB 不光云的平臺，也可以作為 SAAS 單獨(dú)在外面進(jìn)行部署。我們的灰度發(fā)布主要是依賴負(fù)載均衡系統(tǒng)，現(xiàn)在是支持 HTTP 的灰度發(fā)布，這集群十臺服務(wù)器我們需要發(fā)兩臺，這時候從七層負(fù)載均衡上拿掉，拿掉過后等一段時間鏈接完全沒有，因?yàn)?HTTP 就是短鏈接，等10秒過后，直接發(fā)這兩臺機(jī)器，發(fā)完過后沒問題了，腳本都沒問題，直接在負(fù)載均衡里面相當(dāng)于一個滾動的發(fā)布，這樣實(shí)現(xiàn)了基于流量的灰度發(fā)布。這個過程中用戶基本沒感知都是 HTTP 的感知，并不會維護(hù)在前端，所以之前很多重要的應(yīng)用都必須半夜去發(fā)，盡量影響較少的用戶。其實(shí)通過這系統(tǒng)我