360的網(wǎng)絡(luò)運(yùn)維自動(dòng)化之路

360的網(wǎng)絡(luò)運(yùn)維自動(dòng)化之路大綱1、軟件在奇虎網(wǎng)絡(luò)中發(fā)揮的作用2、奇虎在硬件設(shè)備上的VXLAN實(shí)踐3、“SDN”Internet出口流量分析出口流量監(jiān)控業(yè)務(wù)申告問(wèn)題出口流量監(jiān)控internet核心核心TAP核心核心接入serverLVSLVS流處理服務(wù)器流處理服務(wù)器集中存儲(chǔ)骨干路由器骨干路由器Netflow采集處理設(shè)備數(shù)據(jù)存儲(chǔ)Web接口路徑主機(jī)間故障排查路徑主機(jī)間故障排查internet核心核心核心核心接入服務(wù)器LVSLVSWeb接口信息收集數(shù)據(jù)庫(kù)邏輯處理目前是通過(guò)SNMP采集設(shè)備的路由表、ARP表、MAC表、CRC信息；目前存在的問(wèn)題：1.2.采集是周期性的，不具備實(shí)時(shí)性

采集收全球路由的設(shè)備時(shí)，SNMP無(wú)法勝任路徑網(wǎng)絡(luò)質(zhì)量監(jiān)控品質(zhì)監(jiān)控網(wǎng)絡(luò)質(zhì)量監(jiān)控局限性：覆蓋范圍不夠廣，有時(shí)候不能說(shuō)明問(wèn)題不能發(fā)現(xiàn)交換機(jī)丟包問(wèn)題.

parity

error造成的特定源IP和目標(biāo)IP之間不通特定業(yè)務(wù)流不通Tail-drop解決方法：參照微軟的pingmesh方法應(yīng)對(duì)DDOS服務(wù)器tor服務(wù)器tor服務(wù)器torcorecore統(tǒng)計(jì)分析WEBEXABGPcorecoreinternet清洗中心BGP

FLOWSPECBGP

FLOWSPEC可以基于五元組進(jìn)行流量的限速、屏蔽、重定向。并且可以使用BGP協(xié)議進(jìn)行傳遞。Exabgp一個(gè)python實(shí)現(xiàn)的bgp，可以方便與程序互動(dòng)電信防

DDOS設(shè)備管理及信息采集總結(jié)我們學(xué)到了什么python管理設(shè)備的方法設(shè)備管理方法管理方法數(shù)據(jù)格式telnetlibtelnet字符串pexpecttelnet/ssh字符串Paramikossh字符串a(chǎn)nsiblessh字符串SNMPsnmpsnmp格式netconfssh、ssl等xml、yang結(jié)構(gòu)化數(shù)據(jù)

網(wǎng)絡(luò)可以借助ES,HADOOP,STORM等大數(shù)據(jù)分析應(yīng)用，挖掘更多有用的東西與設(shè)備交互真的不容易設(shè)備管理及信息采集總結(jié)美好的未來(lái)OpenConfigOpenConfig

is

an

informal

working

group

of

network

operators

sharing

the

goalof

moving

our

networks

toward

a

more

dynamic,

programmable

infrastructure

byadopting

software-defined

networking

principles

such

as

declarativeconfiguration

and

model-driven

management

and

operations.Streaming

TelemetryStreaming

telemetry

is

a

new

paradigm

for

network

monitoring

in

which

data

isstreamed

from

devices

continuously

with

efficient,

incremental

updates.Operators

can

subscribe

to

the

specific

data

items

they

need,

usingOpenConfig

data

models

as

the

common

interface.奇虎私有云OPENSTACK變遷-vlan模式核心核心核心核心接入服務(wù)器NATNATinternet接入服務(wù)器OPENSTACKCONTROLLER網(wǎng)段B網(wǎng)段A接入接入服務(wù)器問(wèn)題一：冗余性需要通過(guò)堆疊解決堆疊問(wèn)題二：虛擬機(jī)不能熱漂移VLAN奇虎私有云OPENSTACK變遷-原生VXLAN核心核心核心核心接入服務(wù)器Network

nodeNetwork

nodeinternet接入服務(wù)器OPENSTACKCONTROLLER主備NetworknodeNetworknodeVXLANOVSOVS服務(wù)器服務(wù)器服務(wù)器Networknode服務(wù)器NetworknodeOVSOVSVXLAN主備1.NetworkNode是瓶頸點(diǎn)2.OVS

VXLAN東西向流量的性能瓶頸如何解決OVS在VXLAN上的性能問(wèn)題OVSOVSDPDK服務(wù)器網(wǎng)卡服務(wù)器網(wǎng)卡卸載遷移OVS到DPDK版本升級(jí)網(wǎng)卡1.卸載vxlan的checksum2.卸載vxlan封裝和解封裝OVSVLANOVSVXLANTORVXLAN將VXLAN功能卸載到TOR驗(yàn)證VXLAN核心VXLAN

TOR服務(wù)器VXLAN

TOR服務(wù)器OPENSTACKCONTROLLER核心NeutronDriver冗余網(wǎng)關(guān)組FULL-MESH

VXLAN驗(yàn)證了VXLAN和OPENSTACK結(jié)合的可行性EVPN帶來(lái)的好處TORTORserverLACP核心核心TOR層面無(wú)需再使用堆疊技術(shù)即可實(shí)現(xiàn)接入層的冗余。使用EVPN的ESI(Ethernet

Segment

Identifier)標(biāo)識(shí)TORTORTORTORRR使用BGP為控制協(xié)議，可以使用BGP的RR設(shè)計(jì)做自動(dòng)發(fā)現(xiàn)，不用再配置full-mesh的靜態(tài)配置正式上線的Openstack拓?fù)浞?wù)器leafLLDP服務(wù)器leafLLDP服務(wù)器leafLLDPspinespine拓?fù)涔芾鞱eutronOpenstackcontrollerRREVPN分布式網(wǎng)關(guān)分布式網(wǎng)關(guān)Drivercorecore從另外一個(gè)角度看SDN