中山證券私有云平臺(tái)驗(yàn)收?qǐng)?bào)告v

1、目錄文檔修訂歷史.2項(xiàng)目基本情況4項(xiàng)目進(jìn)度審核4項(xiàng)目實(shí)施進(jìn)度情況4項(xiàng)目變更情況7項(xiàng)目?jī)?nèi)容變更情況7項(xiàng)目需求變更情況93項(xiàng)目驗(yàn)收計(jì)劃93.1項(xiàng)目驗(yàn)收原則93.2項(xiàng)目驗(yàn)收方式93.3項(xiàng)目驗(yàn)收內(nèi)容104.1項(xiàng)目驗(yàn)收情況匯總表114.2項(xiàng)目驗(yàn)收附件明細(xì)115項(xiàng)目驗(yàn)收資料125.1開發(fā)項(xiàng)目實(shí)施總結(jié)125.2意見13使用6附件146.1附件一：云功能驗(yàn)收單146.2附件二：ldap 對(duì)接驗(yàn)收單錯(cuò)誤!未定義書簽。6.3附件三：文檔驗(yàn)收單141項(xiàng)目基本情況2項(xiàng)目進(jìn)度審核2.1項(xiàng)目實(shí)施進(jìn)度情況日期工作內(nèi)容 劉海平/遠(yuǎn)1. 調(diào)整部署服務(wù)器、控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)(區(qū)+業(yè)務(wù)區(qū))的網(wǎng)卡啟動(dòng)順序、網(wǎng)卡啟動(dòng)模式和設(shè)定系統(tǒng)盤

2、RAID1； 2、安裝和配置 roller 部署節(jié)點(diǎn)，并將三臺(tái)控制節(jié)點(diǎn)注冊(cè)到 roller 部署服務(wù)器中； 劉海平/遠(yuǎn)1、調(diào)整剩余節(jié)點(diǎn)的 BIOS 設(shè)定和 RAID 設(shè)置，包括各區(qū)域的計(jì)算節(jié)點(diǎn)和節(jié)點(diǎn)；2、檢查各個(gè)服務(wù)器的 iLO 設(shè)定情況，與網(wǎng)絡(luò)工程師一同排查無法登陸的節(jié)點(diǎn)(現(xiàn)已全部完畢); 劉海平/遠(yuǎn)1，配合網(wǎng)絡(luò)工程師將部署節(jié)點(diǎn)的千兆口，安裝個(gè)光電轉(zhuǎn)換口跳到萬兆交換機(jī)上，并將服務(wù)節(jié)點(diǎn)所在端口配置 native vlan 15，現(xiàn)部署節(jié)點(diǎn)根萬兆交換機(jī)完成。 劉海平/遠(yuǎn)1，解決了萬兆網(wǎng)卡無法使用2，pxe 成功切到萬兆上，并按照文演網(wǎng)絡(luò)規(guī)劃對(duì)網(wǎng)絡(luò)進(jìn)行了調(diào)整。3，控制節(jié)點(diǎn)和節(jié)點(diǎn)成功加入到部署服務(wù)器

3、中，目前正在部署 劉海平/遠(yuǎn)1，調(diào)通交易區(qū)和業(yè)務(wù)區(qū) private 網(wǎng)絡(luò)2，基礎(chǔ)環(huán)境部署完成，目前將交易區(qū)和業(yè)務(wù)區(qū)計(jì)算節(jié)點(diǎn)已經(jīng)加入到集群。 劉海平/遠(yuǎn)1，劃分兩個(gè)區(qū)、業(yè)務(wù)區(qū)兩個(gè)nova availability zone并將對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)加入了這兩個(gè) zone。2，劃分兩個(gè) neutron availability zone，并進(jìn)行配置。項(xiàng)目名稱：中山私有云項(xiàng)目開工時(shí)間：2017-04-14項(xiàng)目竣工時(shí)間：2017-09-29項(xiàng)目驗(yàn)收日期：2017-11-213，在上創(chuàng)建以下網(wǎng)絡(luò)，并一個(gè)個(gè)網(wǎng)絡(luò)進(jìn)試。 劉海平/遠(yuǎn)1，由于上周前 4房大部分機(jī)器除交易區(qū)和業(yè)務(wù)區(qū)外其他區(qū)都還在布線，所以進(jìn)度基本上是停滯

4、的。今網(wǎng)絡(luò)工程師一起將已經(jīng)布好的服務(wù)器進(jìn)行網(wǎng)絡(luò)一臺(tái)臺(tái)檢查。2，完成互聯(lián)網(wǎng)交易區(qū)-接入和-接入?yún)^(qū)的安裝部署。 劉海平/遠(yuǎn)1，配置好多級(jí)權(quán)限2，配置好 nova az 和 neutron az 至 劉海平/遠(yuǎn)1，測(cè)試控制節(jié)點(diǎn)高可用情況：將一臺(tái)控制節(jié)點(diǎn)，通過 ipmi 直接斷電，觀察對(duì) 的影響時(shí)間和浮動(dòng) ip 的切換情況。2，測(cè)試計(jì)算節(jié)點(diǎn)高可用情況:在每個(gè) availability zone中創(chuàng)建 20 臺(tái)虛機(jī)，并在虛機(jī)內(nèi)寫文件，將虛機(jī)遷到 az內(nèi)一臺(tái)計(jì)算節(jié)點(diǎn)。將這臺(tái)計(jì)算節(jié)點(diǎn)通過 ipmi 直接斷電，觀察虛機(jī)的自動(dòng)遷移，并檢查數(shù)據(jù)是否有丟失。3，測(cè)試節(jié)點(diǎn)的高可用，直接同時(shí)關(guān)閉多臺(tái)臺(tái)節(jié)點(diǎn)觀察整個(gè)集群的

5、狀態(tài)。 劉海平/遠(yuǎn)1. 排查分布式性能抖動(dòng)問題，關(guān)閉陣列卡 cache 的 ceph 性能測(cè)試2，修復(fù)多級(jí)權(quán)限一些報(bào)錯(cuò)，今天測(cè)試中發(fā)現(xiàn)改項(xiàng)目和刪除項(xiàng)目時(shí)有報(bào)錯(cuò)，經(jīng)排查發(fā)現(xiàn)是在開啟多級(jí)權(quán)限時(shí)，有部分操作沒有執(zhí)行導(dǎo)致。后修復(fù)此問題。 劉海平/遠(yuǎn)排查分布式性能抖動(dòng)問題，包含以下幾點(diǎn)：將原有的ssd 做盤的 journal 分離，將 journal 就放置將剝離的 ssd 重新組成一個(gè)新的集群做性能型存 劉海平/遠(yuǎn)1，因網(wǎng)絡(luò)波動(dòng)導(dǎo)致 vnc 不可 。原因?yàn)榫W(wǎng)絡(luò)波動(dòng)導(dǎo)致連接數(shù)據(jù)庫服務(wù)失敗，多次重連數(shù)據(jù)庫失敗后為防止過度消耗資源進(jìn)程不在重連。2，在虛機(jī)內(nèi)安裝性能測(cè)試工具創(chuàng)建云硬盤，掛載云硬盤，在掛載的云硬

6、盤上測(cè)試 iops 劉海平/遠(yuǎn)1，通過對(duì)比虛擬化層的配置，版本等信息一層層排查導(dǎo)致虛機(jī) IOPS 變低的原因。解決以下問題：1，虛機(jī)內(nèi)測(cè)試 IOPS 時(shí)，IOPS 數(shù)值始終在 300500 的問題，目前虛機(jī)內(nèi) IOPS 能達(dá)到一個(gè)正常的值。 劉海平/遠(yuǎn)1,對(duì)華僑城所有虛機(jī)，進(jìn)行硬重啟，的配置，來提高虛機(jī) iops。2，對(duì)華僑城 ceph 集群進(jìn)行性能測(cè)試，測(cè)試項(xiàng)如下sas + ssd journal 測(cè)試 10 分鐘(16 線程+32隊(duì)列深度)將 ssd 從集群中剝出純 SAS 測(cè)試 10 分鐘(16 線程+32 隊(duì)列深度)測(cè)試純 SSD 的性能測(cè)試 10 分鐘(16 線程+32 隊(duì)列深度)3

7、,對(duì)華僑城的測(cè)試環(huán)境進(jìn)行了一個(gè)包的升級(jí)，并進(jìn)行了對(duì)應(yīng)的測(cè)試。 劉海平/遠(yuǎn)1，對(duì)剩余的業(yè)務(wù)區(qū)和內(nèi)聯(lián)區(qū)的全部虛機(jī)進(jìn)行硬重啟，目前都以重啟完沒有發(fā)現(xiàn)問題。2，對(duì) windows 虛機(jī)重啟會(huì)出現(xiàn)偶發(fā)性掛載的云硬盤成脫機(jī)狀態(tài)問題進(jìn)行了調(diào)研，并解決此問題，解決方法為 windows 開啟自動(dòng)硬盤自動(dòng)聯(lián)機(jī)。3，修復(fù)了 dhcp-agent 的因?yàn)槭褂弥形?availability zone 名的偶發(fā)性無法正常獲取 ip。 劉海平/遠(yuǎn)1，小融通、IB 有以下四臺(tái)虛為 ERROR 狀態(tài)，UUID 為 6b8d497e-c7c2-4046-987e-b79fbd6f3b80， f35ec166-a4b0-4fc1

8、-a984-d6ac63d9591f，78038f8c-abe3-4f84-ad15-87e5bcabbe13 ， 7e93f442-91ff-430a-b8ba-570fd99bef2d，經(jīng)過排查發(fā)現(xiàn)這四臺(tái)云主機(jī)在 2017 年 7 月 15 日 22:29:46 執(zhí)行過重建云主機(jī)操作后 get image 錯(cuò)，導(dǎo)致重建報(bào)錯(cuò) 劉海平/遠(yuǎn)進(jìn)行條帶化調(diào)整調(diào)整項(xiàng)目如下非現(xiàn)場(chǎng)、寶、中山APP、同花順網(wǎng)上交易、呼叫中心、大智慧、思迪*、行情系統(tǒng)、藍(lán)* 劉海平/遠(yuǎn)1，進(jìn)行 條帶化調(diào)整調(diào)整項(xiàng)目如下慧點(diǎn)合規(guī)、 風(fēng)控、恒生凈資本、 財(cái)務(wù)、 人力、恒生 墻、恒生資管、恒生 PB、 存管、協(xié)同辦公系統(tǒng)操作步驟：(

9、1) 獲取云主機(jī)的 uuid 和云硬盤的 uuid，并關(guān)機(jī)；2，3 個(gè)節(jié)點(diǎn)不同大小 journal 測(cè)試，測(cè)試 隨機(jī)寫 IOPS 穩(wěn)定為 16000 時(shí)，journal 大小擴(kuò)大為 20G 時(shí) IO 抖動(dòng)情況。 劉海平/遠(yuǎn)1，進(jìn)行 條帶化調(diào)整調(diào)整項(xiàng)目如下恒生股轉(zhuǎn)、恒生云 TA、 訂單路由、 管理、萬得資訊、百旺稅控、贏時(shí)勝估值、今日科技、明動(dòng)固定收益、思迪展業(yè)寶、網(wǎng)絡(luò)輔助系統(tǒng)、自動(dòng)化運(yùn) 礎(chǔ)服務(wù)、分布式 系統(tǒng)、防 、報(bào)表系統(tǒng)及老版官網(wǎng)、公司 系統(tǒng)、投行底稿系統(tǒng)、運(yùn)維審計(jì)、思迪小融通。操作步驟：2.2項(xiàng)目變更情況2.2.1項(xiàng)目?jī)?nèi)容變更情況變更日期執(zhí)行人變更內(nèi)容2017-07-01劉海平修改/etc

10、/ceph/ceph.conf 文件，添加 rbd_default_features = 3,確保 ceph 的性能能夠達(dá)到理想的效果，并重啟mon 和 osd 服務(wù)2017-07-07遠(yuǎn)添加 node-4 和 node-5 為 ceph mon 節(jié)點(diǎn)，當(dāng)前 ceph 的 mon 節(jié)點(diǎn)數(shù)為 5 個(gè)，且 ceph.conf 同步至所有節(jié)點(diǎn)，并重啟mon 和 osd 服務(wù)2017-07-08劉海平將 SSD 從 journal 中剝離，恢復(fù) SAS池文件 journal 方式，將SSD 資源池加入到 ceph 集群中，并通過 crushmap 的方式(1) 獲取云主機(jī)的 uuid 和云硬盤的 uu

11、id，并關(guān)機(jī)； 2，3 個(gè)節(jié)點(diǎn)不同大小 journal 測(cè)試，測(cè)試 隨機(jī)寫 IOPS 穩(wěn)定為 16000 時(shí)，journal 大小擴(kuò)大為 40G 時(shí) IO 抖動(dòng)情況。 劉海平/遠(yuǎn)1，協(xié)助佘工處理控制節(jié)點(diǎn)陣列卡更換。 2，還原生產(chǎn)環(huán)境的 ssd journal 分區(qū)。 (5)刪除曾經(jīng)的 local journal 軟建立 ssd 分區(qū)到 osd journal 的軟重建 journal。 劉海平/遠(yuǎn)1，完成華僑城測(cè)試環(huán)境集易和融資融券兩個(gè)項(xiàng)目的條帶化處理。2，完成生產(chǎn)環(huán)境的穩(wěn)定 IOPS 值的測(cè)試，詳情看附件修復(fù)以下問題：1，vnc 超時(shí)時(shí)間太短問題，現(xiàn)修改超時(shí)時(shí)間為 5 分鐘。 。 遠(yuǎn)云項(xiàng)目上

12、線保障 遠(yuǎn)控制節(jié)點(diǎn),節(jié)點(diǎn) RAID 卡固件升級(jí) 劉海平排查網(wǎng)絡(luò)環(huán)路的原因，定位到交換機(jī)有環(huán)路，ospf鄰居路由翻滾；調(diào)研 RAID 卡導(dǎo)致機(jī)器重啟的原因；處理云主機(jī)緩慢，無法，機(jī)器無故重啟問題2017-07-10劉海平修改/etc/cinder/cinder.conf 文件，增加了 sas 資源池和 ssd 資源池，并設(shè)置 cinder type，修改 ceph 中 compute 用戶權(quán)限ssd 池2017-07-11劉海平修改/etc/ceph/ceph.conf 文件， 添加 rbd_cache = false 和osd_crush_update_on_start = false 配置，

13、并重啟 mon 和 osd 服務(wù)2017-07-11遠(yuǎn)修改/etc/ceph/ceph.conf 文件，添加 rbd_default_stripe_unit =128K 和 rbd_default_stripe_count = 16，重啟 mon 和 osd 服務(wù)(條帶化)2017-07-13劉海平修改/usr/bin/clean-system-cache.sh內(nèi)容的 23 行，將$7 修改為$6，并同步到所有節(jié)點(diǎn)上，確保 cache功能能夠正?？捎?017-07-21劉海平修改控制節(jié)點(diǎn)+ 計(jì)算節(jié)點(diǎn)的 /etc/neutron/neutron.conf ，將 kombu_reconnect_d

14、elay=5.0 修改為 kombu_reconnect_delay=1.0，重啟 neutron-metadata-agent 服務(wù)2017-07-25劉海平將所有節(jié)點(diǎn)的 osd journal 調(diào)整為 20G，刪除之前創(chuàng)建的 ssd ceph 集群和 cinder 配置的 ssd type，并刪除 crushmap 中關(guān)于 ssd的配置2017-07-25劉海平修改/etc/ceph/ceph.conf,將 rbd_cache = false 修改為 true，重啟所有 mon 和 osd 節(jié)點(diǎn)進(jìn)程2017-07-26劉海平修改/etc/haproxy/haproxy.cfg，將 time

15、ont 時(shí)長(zhǎng)，由 1m修改為 5m(VNC 超時(shí)時(shí)間過快)，重啟 haproxy 服務(wù)，resource restart p_haproxy2017-07-26劉海平修改了服務(wù)的 worker 數(shù)量，包括 keystone、nova、neutron、cinder2017-07-26遠(yuǎn)遠(yuǎn)修改 neutron dhcp 分配的 rslove.conf 的 search 默認(rèn)為不分配，：1. 修改 dhcp 的-dhcp，修改 neutron.conf 內(nèi)的dns_= “”，2. 修改 dhcp-agent.ini內(nèi)的dhcp_doamin = “”，并重啟 node-24 到 node-64 的

16、neutron-dhcp-agent；2017-07-26劉海平2017-07-26劉海平修改/etc/ceph/ceph.conf 文件，將 osd_crush_update_on_start = false 刪除，并重啟 mon 和 osd 服務(wù)(相關(guān)自定義的 crushmap 已經(jīng)刪除，恢復(fù) ceph 原始的現(xiàn)狀)2.2.2項(xiàng)目需求變更情況無3項(xiàng)目驗(yàn)收計(jì)劃3.1項(xiàng)目驗(yàn)收原則1、提供驗(yàn)收的各類文檔的正確性、完整性和性，文檔是否齊全、合理；2、3、4、項(xiàng)目功能是否達(dá)到了規(guī)定的要求；項(xiàng)目有關(guān)服務(wù)指標(biāo)是否達(dá)到了要求；項(xiàng)目投資以及實(shí)施進(jìn)度的情況；5、對(duì)項(xiàng)目的技術(shù)水平做出評(píng)價(jià)，并得出項(xiàng)目的驗(yàn)收結(jié)論。

17、3.2項(xiàng)目驗(yàn)收方式驗(yàn)收所屬所屬角色相關(guān)職責(zé)演中山公司項(xiàng)目經(jīng)理項(xiàng)目進(jìn)度、架構(gòu)、需求中山公司項(xiàng)目成員協(xié)助項(xiàng)目、技術(shù)市神州動(dòng)力數(shù)碼項(xiàng)目經(jīng)理跟進(jìn)項(xiàng)目進(jìn)度和項(xiàng)目驗(yàn)收劉海平思達(dá)科技發(fā)展實(shí)施項(xiàng)目經(jīng)理把控項(xiàng)目進(jìn)度和需求遠(yuǎn)思達(dá)科技發(fā)展實(shí)施工程師項(xiàng)目實(shí)施、配置、測(cè)試,保障2017-07-28劉海平2017-07-28劉海平修改/etc/glance/glance-api.conf 文件，將 flavor=keystone+cachemanagement 修改為 flavor=keystone,重啟 glance-api 服務(wù)，防止rbd 的 image 鏡像 cache3.3項(xiàng)目驗(yàn)收內(nèi)容1、云功能驗(yàn)收；計(jì)算(多區(qū)

18、域)、網(wǎng)絡(luò)(多分區(qū))、2、項(xiàng)目文檔驗(yàn)收；技術(shù)實(shí)施方案、運(yùn)維手冊(cè)和用戶使用手冊(cè)、鏡像、認(rèn)證等相關(guān)功能3、項(xiàng)目服務(wù)響應(yīng)（如、問題響應(yīng)等方面）驗(yàn)收?？蛻粜枨髥栴}優(yōu)化、技術(shù)故障處理等和問題響應(yīng)。4項(xiàng)目驗(yàn)收情況匯總4.1項(xiàng)目驗(yàn)收情況匯總表4.2項(xiàng)目驗(yàn)收附件明細(xì)1、云驗(yàn)收單（見附件一）。3、項(xiàng)目文檔驗(yàn)收單（見附件二）。驗(yàn)收項(xiàng)驗(yàn)收意見備注通過不通過云功能服務(wù)響應(yīng)相關(guān)文檔總體意見：項(xiàng)目驗(yàn)收組長(zhǎng)（簽字）未通過理由：項(xiàng)目驗(yàn)收組長(zhǎng)（簽字）5項(xiàng)目驗(yàn)收資料5.1 開發(fā)項(xiàng)目實(shí)施總結(jié)中山私有云項(xiàng)目一期共包含 9 個(gè)物理分區(qū)，分區(qū)之間相互以實(shí)現(xiàn)安全要求，為業(yè)務(wù)提供計(jì)算、網(wǎng)絡(luò)功能，符合預(yù)期。開發(fā)（簽章）5.2 使用意見使用（簽字或簽章）服務(wù)及響應(yīng)滿意度：543216附件6.1