PythonWeb開發(fā)領(lǐng)域經(jīng)驗(yàn)前豆瓣技術(shù)總監(jiān)清風(fēng)教學(xué)資料

1、Good is good, but better carries it.精益求精，善益求善。PythonWeb開發(fā)領(lǐng)域經(jīng)驗(yàn)前豆瓣技術(shù)總監(jiān)清風(fēng)-Part1清風(fēng)：大家下午好！我之前在豆瓣工作，大家一般都叫我“清風(fēng)”，豆瓣一般都用網(wǎng)名。我在豆瓣差不多工作了五年，走的時(shí)候是豆瓣的技術(shù)總監(jiān)?，F(xiàn)在在創(chuàng)業(yè)，這次演講因?yàn)楦鶰SUP的人很熟，本來沒有太想來，因?yàn)閯?chuàng)業(yè)了，準(zhǔn)備收山了。今天真的是收山之講，以后不能總出來講了，因?yàn)樽约阂矂?chuàng)業(yè)了。我自己的項(xiàng)目其實(shí)也用phython做很多事，我用phython差不多用了快十年。豆瓣大家知道一直用phython做的網(wǎng)站，所以我今天大概跟大家分享豆瓣是怎么用phython的，

2、先泛泛說一下phython都有哪些，我們也可以用提問的方式更多的了解phython。因?yàn)殚_場(chǎng)自我介紹很麻煩，其實(shí)豆瓣有一套內(nèi)網(wǎng)系統(tǒng)，每個(gè)入職的人給自己打標(biāo)簽，這樣的話更容易他是什么樣的人。因?yàn)槲易罱趧?chuàng)業(yè)，做什么呢？做一個(gè)APP，我創(chuàng)業(yè)之前當(dāng)作家，如果大家有時(shí)間可以上豆瓣閱讀，訂一個(gè)專欄叫“寂寞社交”，吃喝玩樂在北京，我們前兩天剛搞完九周年的活動(dòng)，大家不知道晚上去哪兒玩，可以通過那個(gè)組約到很多小伙伴玩。簡(jiǎn)單介紹一下phython，我先大概了解一下，咱們這里用過phython的舉過手，都是用過的。用過Web的舉手，數(shù)據(jù)挖掘的舉手，做一些運(yùn)維工具的舉一下手，phython基本上用在這三個(gè)方向。我大

3、概總結(jié)了一下，phython基本的應(yīng)用場(chǎng)景，一個(gè)是Web開發(fā)，也是豆瓣用的最多的。還有就是數(shù)據(jù)分析，因?yàn)槎拱晔且患液茏⒅財(cái)?shù)據(jù)的公司，非常注重?cái)?shù)據(jù)，基本上自豆瓣成立的第一天起，我們收集很多數(shù)據(jù)做數(shù)據(jù)分析。因?yàn)榉植际接?jì)算和數(shù)據(jù)分析放在一起講，早年沒有什么分布式計(jì)算，十年前中國(guó)還沒有?；旧显趺醋瞿?？就是寫一個(gè)phython腳本算，數(shù)據(jù)庫(kù)拿點(diǎn)數(shù)一算，差不多就是這樣的情況。后來有了hadoop，做技術(shù)的人，我認(rèn)為自我技術(shù)純潔性的事情。就像用phython的公司可能不愿意用Php類似這樣的案例，包括java也一樣，豆瓣對(duì)java有一點(diǎn)小排斥。我們用起來特別別扭，不是特別順。后來出來一個(gè)東西叫scipy，

4、后來我們寫了dpark，基本上按照scipy的功能實(shí)現(xiàn)。所以豆瓣的計(jì)算是這樣的，拿scipy跑基本的分布式計(jì)算，之后到1/3可能做復(fù)雜的計(jì)算，可能用pandas去做。但是openstack沒有用。phython其實(shí)是這樣的，很莫名其妙，在我們用phython的人眼里就是這樣樸素的用，很多人知道phython可以做Web開發(fā)，然后phython用的慢慢變少。前兩年分布式計(jì)算數(shù)據(jù)分析特別火，雖然很多公司使用hadoop，phython又火了，因?yàn)閜andas，大家用就知道這些庫(kù)很好用，phython又火了一段時(shí)間。這兩年云計(jì)算火了，很多人又開使用phython。在我看來，從曲線大家可以看到phyt

5、hon的流行度。我用這么多年phython，我覺得它一直是一個(gè)很樸素的編程語言，我覺得phython是用來解決問題的，它并不花哨，基本上你想解決的問題都可以解決。很多人問我一個(gè)問題，豆瓣為什么沒有考慮用其他語言，比如說用其他的語言。我們的經(jīng)驗(yàn)是這樣的，其實(shí)我們也不是沒有想換過，也嘗試過其他的。但是在實(shí)際應(yīng)用場(chǎng)景中發(fā)現(xiàn)，我們用phython也沒有遇到完全不能解決的問題，所以phython基本上用在這幾個(gè)場(chǎng)景上。phython的優(yōu)點(diǎn)，因?yàn)榇蠹叶加眠^，我簡(jiǎn)單說一下，因?yàn)樗容^簡(jiǎn)單，擴(kuò)展免費(fèi)，可以用到一些工具。而且phython確實(shí)不是一個(gè)玩具，因?yàn)槲也恢蓝嗌偃税裵hython用在生產(chǎn)環(huán)境。大家可以

6、看到業(yè)內(nèi)的案例NASA在用，包括Google本身，包括Dropbox，畢竟我現(xiàn)在也創(chuàng)業(yè)了，像phython這種語言，它起步非?？?。因?yàn)樗腥藥缀醵贾?，它的性能現(xiàn)在好點(diǎn)了，2.0之前它的性能是比較差的，我覺得有一句話說的非常經(jīng)典，它的性能能達(dá)到什么程度，它剛剛好能支撐這家公司融到A輪，很經(jīng)典的一句話。關(guān)鍵是要快，其他的語言性能很好，但是你沒有到A輪就餓死了，基本上是這樣的。所以Dropbox非常好，后期是這樣的，phython的性能也夠了。如果有人跟你吹phython的性能比C好，根本不用理他，轉(zhuǎn)身走就可以了。包括Quora，因?yàn)镻yPy3.0它是一個(gè)很奇怪的產(chǎn)品，沒有解決特別關(guān)鍵性的問題，那

7、是phython性能的硬傷。PyPy會(huì)在這方面做很多的優(yōu)化和調(diào)整，從目前來看性能還是不錯(cuò)的。但是有一點(diǎn)確實(shí)跟Quora沒法比，Quora把PyPy招進(jìn)去了，我個(gè)人比較看好PyPy。再說一下豆瓣，phython幾乎你想到的東西，我們的運(yùn)維腳本、Web開發(fā)、計(jì)算工具等等，幾乎所有的東西都用phython寫的，應(yīng)用在豆瓣所有的場(chǎng)景中。這個(gè)Languagesin，大家知道現(xiàn)在的世界是前端的，早晚也是前端的，前端就是太猛了。前端工程師更瘋狂了，原來只能寫前端，現(xiàn)在居然可以寫后端。Languagesin在豆瓣用的非常多，那是一個(gè)前端非常重要的項(xiàng)目。包括后來有些開發(fā)節(jié)奏也是這樣的，因?yàn)榇蠹抑篱_發(fā)效率高有很

8、大的優(yōu)點(diǎn)，第一個(gè)版本實(shí)際上因?yàn)殚_發(fā)快，前端工程師自己搞定上線了，但是它的性能無法評(píng)價(jià)，太差了。沒有關(guān)系，還是那句話，它可以很快的上線，而且后期豆瓣做廣告投放了，C+我們知道是一個(gè)庫(kù)，phython有一個(gè)天生的優(yōu)點(diǎn)，因?yàn)槲胰胄斜容^早，我們那個(gè)時(shí)代寫C或者是C+。有一個(gè)很好的點(diǎn)，C性能絕對(duì)夠好，但是寫起來開發(fā)速度比較慢。但是phython跟C的結(jié)合是最容易的，比如說你可以用C解決一些核心的庫(kù)，所以合作起來會(huì)非常方便。我們講phython，很多公司知道豆瓣用phython，這個(gè)確實(shí)沒錯(cuò)。但是實(shí)際上我們除了phython之外，我對(duì)phython是這樣理解的，phython真的只是一門編程語言。我在豆瓣

9、工作五年，我覺得豆瓣最值得拿來說的是豆瓣的協(xié)作流程，大家知道phython是一門動(dòng)態(tài)語言，動(dòng)態(tài)語言其實(shí)有很多問題是天生的。比如說你可以做類型的檢查，可以做很多事情，可以在編譯方面做很多事情。這個(gè)時(shí)候?qū)嶋H上所有做動(dòng)態(tài)語言的公司，對(duì)單元測(cè)試重視程度非常高，今天恰好第三個(gè)話題也是豆瓣的同事來講測(cè)試，豆瓣對(duì)測(cè)試的重視程度非常高。簡(jiǎn)單來說，豆瓣是做Code，也有一套自己的原則。比如說隨便舉兩個(gè)點(diǎn)，咱們這里有多少人用過，因?yàn)楝F(xiàn)在的開源項(xiàng)目，大家基本上都是在dadhoop上面協(xié)作，你想?yún)⑴c這個(gè)項(xiàng)目的開發(fā)，實(shí)際上豆瓣內(nèi)部就是這套流程，你對(duì)它針對(duì)性的進(jìn)行一些修改，在這個(gè)上面大家可以進(jìn)行充分的溝通和交流，交流什么

10、東西？因?yàn)槭莗hython，因?yàn)樗蔷幋a風(fēng)格，不管是C+，一定要有變成規(guī)范，細(xì)到什么程度呢？函數(shù)如何命名，兩個(gè)函數(shù)之間空多少行，是空格還是不空格。但是這個(gè)有工具檢查，我們?nèi)藶榈目催@些東西。再有就是測(cè)試，因?yàn)樽鳛檫@個(gè)項(xiàng)目而言，你是靠什么證明的呢？你不能靠嘴說，在我的電腦上運(yùn)行是最好的，你的團(tuán)隊(duì)有問題。但是這個(gè)其實(shí)是有問題的，你需要證明自己的代碼是正確的，只能靠測(cè)試，這樣別人安裝的時(shí)候負(fù)擔(dān)也會(huì)小很多，因?yàn)槲覀冇辛己玫募袦y(cè)試環(huán)境可以做這樣的事情。簡(jiǎn)單來說代碼一定要經(jīng)過reviewer，因?yàn)檫@個(gè)是要承擔(dān)的，這個(gè)代碼上線了有BUG，不是光寫代碼的人有責(zé)任，reviewer的人同樣承擔(dān)責(zé)任，下面是phy

11、thon的Helloword。Ruby其實(shí)是一門很強(qiáng)的語言，個(gè)人實(shí)話實(shí)說確實(shí)Ruby比phython強(qiáng)，它的可讀性更強(qiáng)一些。從我們豆瓣這么多年的經(jīng)驗(yàn)來看強(qiáng)制縮進(jìn)帶來的好吃是非常大的，因?yàn)榫幾g過不去必須要靠縮進(jìn)，一定要少些括號(hào)。因?yàn)閺?qiáng)制縮進(jìn)，代碼的可讀性是非常高的。而且phython的第三方質(zhì)量庫(kù)確實(shí)非常高。phython的應(yīng)用領(lǐng)域非常廣泛，Ruby目前在Web領(lǐng)域比較火，phython的包關(guān)系確實(shí)不如Ruby。我們可以了解一下關(guān)于PyPy的項(xiàng)目，包括OpenStack，豆瓣管網(wǎng)沒有選擇，因?yàn)樗珡?fù)雜了。我在豆瓣的時(shí)候，豆瓣有一套云的服務(wù)叫內(nèi)部的私有云，簡(jiǎn)單說就是讓工程師開發(fā)的時(shí)候不必關(guān)心的，只

12、需要用現(xiàn)場(chǎng)的東西。實(shí)際上一大塊東西都是自己實(shí)現(xiàn)的。Part2關(guān)于Speed，當(dāng)時(shí)我們選擇Speed沒有選擇Python的原因，一是Speed性能不錯(cuò)，二是用起來非常簡(jiǎn)單，你用Speed原生的庫(kù)寫起來也非常容易，寫數(shù)據(jù)計(jì)算的東西非常容易。而且Speed后來也衍生出很多項(xiàng)目，可以做數(shù)據(jù)查詢和分析。這是Dpark項(xiàng)目，基本上跟Speed是類似的，可以寫類似這樣的代碼，統(tǒng)計(jì)一個(gè)文本里大概有多少行的東西。簡(jiǎn)單說一下Spark和hadoop是一樣的東西，Spark是做機(jī)器的調(diào)度，Mesos下面管著一堆機(jī)器，就是這樣一個(gè)東西。這個(gè)也算是豆瓣的歷史了，豆瓣早年間是用SVN管理代碼，創(chuàng)作代碼拷貝一下，revie

13、wer一下。早年代碼結(jié)構(gòu)是這樣的，所有的代碼其實(shí)都在一個(gè)代碼倉(cāng)庫(kù)里，產(chǎn)品是按目錄去分，所以當(dāng)時(shí)會(huì)預(yù)見幾個(gè)問題。一是構(gòu)建環(huán)境很復(fù)雜，全代碼都在一個(gè)里面，很多很多基礎(chǔ)件才能把環(huán)境構(gòu)建起來，非常復(fù)雜。同時(shí)開發(fā)者也非常麻煩，比如我是豆瓣FM的工程師我還要了解音樂讀書代碼，當(dāng)時(shí)我們做了一個(gè)遷移，把所有目錄都分別進(jìn)行了倉(cāng)庫(kù)開發(fā)。有一套系統(tǒng)做討論。其中最重要的界面是這個(gè)界面，剛才我提到的類似hadoop的流程，最重要的是這個(gè)綠條，其他都不太重要。在做reviewer的時(shí)候最重要的一個(gè)點(diǎn)是你一定保證你的代碼運(yùn)行是正確的，這個(gè)時(shí)候你要跑所有的單行測(cè)試，這個(gè)相當(dāng)于發(fā)出你對(duì)代碼進(jìn)行的一次修改，代碼并沒有直接合并到倉(cāng)

14、庫(kù)，首先要進(jìn)行人為的reviewer，其次這部分代碼會(huì)去跑所有的單元測(cè)試。這個(gè)條要保證是綠色的，所有的測(cè)試是過的，所有的人都在里面進(jìn)行reviewer。這個(gè)是豆瓣單元測(cè)試覆蓋率，動(dòng)態(tài)語言就是這樣，剛才雖然很多人舉手用Python，但我不知道有多少人為自己的代碼寫單元測(cè)試，我覺得動(dòng)態(tài)語言如果沒有單元測(cè)試的輔佐未來會(huì)非常非常麻煩。我們做開發(fā)的時(shí)候剛才提到的reviewer是這樣的，大家可以在里面進(jìn)行充分的討論。我跟很多用Python的公司交流過，很多人用Python沒問題，一直在用，但是動(dòng)態(tài)語言有一點(diǎn)比較討厭，寫法多種多樣，動(dòng)態(tài)語言形成方式非常靈活。所以我們認(rèn)為動(dòng)態(tài)語言進(jìn)行這種討論是非常重要的?，F(xiàn)

15、在看到的這個(gè)項(xiàng)目實(shí)際上是我們內(nèi)部開發(fā)的一個(gè)系統(tǒng)，類似hadoop系統(tǒng)，完全用的豆瓣技術(shù)站，這個(gè)系統(tǒng)有一點(diǎn)很好玩，我覺得也是動(dòng)態(tài)語言帶來的一個(gè)效果。Python用這么多年最大的體會(huì)是開發(fā)速度非?？欤@套系統(tǒng)是豆瓣沒有全職工程師開發(fā)的一個(gè)系統(tǒng)，雖然是我們的基礎(chǔ)業(yè)務(wù)，但這套系統(tǒng)是大家利用業(yè)余時(shí)間寫出來的。比較好的一點(diǎn)在于基本上這里提出的Flatui沒有超過一個(gè)禮拜的，基本上一周就能搞定，確實(shí)得益于快速開發(fā)。在豆瓣內(nèi)部我們盡量保證每一個(gè)功能模塊開發(fā)具體的功能不超過一周，我們認(rèn)為一般一個(gè)功能超過一周，尤其一個(gè)月還沒開發(fā)出來，基本上就開發(fā)不出來了，遇到一些很關(guān)鍵性的問題。為什么放這么一個(gè)截圖呢？今天講Py

16、thon的奧妙我一直在想講什么，尤其是Web，Python不是獨(dú)立活著的，做Web開發(fā)的時(shí)候牽扯非常多的前端代碼。我不知道其他公司怎么解決前端的事，我簡(jiǎn)單說說豆瓣怎么做的。在豆瓣而言不分前端工程師和后端工程師，但實(shí)際上在真正協(xié)作中你會(huì)發(fā)現(xiàn)，其實(shí)很麻煩，對(duì)于前端工程師而言他不太可能真的裸寫和CSS，你會(huì)發(fā)現(xiàn)光模板這一件事兩人都需要改，后端工程師需要對(duì)模板進(jìn)行修改，前端工程師也需要對(duì)模板進(jìn)行修改，是交叉的。所以豆瓣把職位統(tǒng)一，所有工程師都叫產(chǎn)品開發(fā)工程師，什么叫產(chǎn)品開發(fā)工程師？這個(gè)工程給你了，從前端到后端都由你一個(gè)人解決，從頭到尾。其他的工程師怎么分離這件事呢？我們認(rèn)為寫Python代碼那不叫寫后

17、端，其實(shí)那個(gè)就是寫產(chǎn)品，我們認(rèn)為的后端其實(shí)是偏向更底層一點(diǎn)，比如分裝，比如你去管理整個(gè)集群，整個(gè)運(yùn)維工作我們叫后端，所以當(dāng)時(shí)才有了BAE，讓產(chǎn)品開發(fā)工程師不用關(guān)心這件事，你只需要踏踏實(shí)實(shí)寫Python代碼就好，最終運(yùn)行在服務(wù)上。也就是說我們的操作接口都是運(yùn)維提供的，就像運(yùn)維提供商一樣。我們前端是有專家組的，他們主要是封裝一些現(xiàn)成的庫(kù)，由這些產(chǎn)品工程師去拼裝和調(diào)用。到后期的時(shí)候，近兩年因?yàn)榧軜?gòu)又發(fā)生了一些變化，可以稍微做點(diǎn)分離，現(xiàn)在基本上MVC這套東西其實(shí)都推給前端的，整個(gè)產(chǎn)品開發(fā)都是由前端工程師完成。寫Python其實(shí)就是寫一大堆的API，前端工程師需要用，包括移動(dòng)端工程師需要用，實(shí)現(xiàn)界面的問

18、題，就是這樣一個(gè)流程。我為什么一直在強(qiáng)調(diào)reviewer這件事呢？每項(xiàng)技能要求不是特別一樣，非常復(fù)雜。你作為一個(gè)人而言技能很難特別全面，在我看來Web開發(fā)是非常復(fù)雜的一件事，而且理論來講一定程度你也不可能完全不關(guān)心后端，畢竟是你真正在操作這些基礎(chǔ)件，你要很清晰的知道什么時(shí)候往庫(kù)里插，什么時(shí)候往緩存里插，你要明晰的知道這件事。這就帶來一個(gè)問題，你的技能未必那么全，你需要更資深的人reviewer一下你使用這些基礎(chǔ)件對(duì)不對(duì)，你寫html的是不是規(guī)范。大家知道，豆瓣是整體產(chǎn)品，咱們這里有多少是做產(chǎn)品開發(fā)的工程師？很少，大部分是不是都是做后臺(tái)多一點(diǎn)，做數(shù)據(jù)后臺(tái)的舉手我看看，偏后臺(tái)多一點(diǎn)。一般來講，你的

19、產(chǎn)品再有趣也發(fā)現(xiàn)很難堅(jiān)持很久，你會(huì)自己的產(chǎn)品有個(gè)倦怠期，我們希望工程師能夠?qū)懸恍┖猛娴臇|西。比如他們最近太累了，希望寫一點(diǎn)好玩的東西，我們就會(huì)讓他參與這套系統(tǒng)的開發(fā)。我們開發(fā)中還有一點(diǎn)用的比較多，表揚(yáng)系統(tǒng)，這套系統(tǒng)是實(shí)習(xí)生寫的。開發(fā)這件事要跟公司整體文化有個(gè)對(duì)應(yīng)，我們會(huì)發(fā)現(xiàn)很多工程師幫別的組的忙，比如幫你做優(yōu)化調(diào)適等等，但是一般工程師都比較內(nèi)向，不太愿意主動(dòng)表達(dá)。所以我們做了一個(gè)系統(tǒng)，讓他夸贊對(duì)方做的好，類似這樣的東西。這個(gè)是我們用git的方式，因?yàn)楹髞矶拱甓记袚Q到git，你發(fā)現(xiàn)其中有一個(gè)需求，你改完了代碼，因?yàn)槭且訡heckou出現(xiàn)的，我們希望工程師能夠切換一下，做調(diào)適或者開發(fā)。這個(gè)時(shí)候我們

20、做了封裝，你可以快速拉下所有的Checkou，然后切換過來。這些很多工具都是用Python做的。Part3包括我們自己寫的代碼片斷的管理系統(tǒng)，這些都是用phython去做的，內(nèi)部項(xiàng)目的管理系統(tǒng)。這是剛才提到的iPhone版，這是后來最新統(tǒng)計(jì)的。這種工作方式帶來一個(gè)好處，因?yàn)槲以诙拱曛霸谛吕斯ぷ髁撕芏嗄?，很多公司的產(chǎn)品開發(fā)的人，其實(shí)會(huì)只專注于某一個(gè)部門的開發(fā)，人員在內(nèi)部很難流動(dòng)起來。在豆瓣有一個(gè)好處，你無論去哪個(gè)組都是用phython，技能切換比較容易。其次像我剛才說的，我們所有的人其實(shí)都是產(chǎn)品開發(fā)工程師，這時(shí)候會(huì)帶來一個(gè)好處。你可以很容易的切換到另外一個(gè)組做事，因?yàn)樗械臇|西都是一樣的，沒有

21、哪個(gè)組是能自己做技術(shù)選型，我隨便用一個(gè)東西就可以上線，現(xiàn)在豆瓣還不可以的，你可以很輕松的換到任何一個(gè)組工作。這些小工具都是豆瓣工程師日常開發(fā)的，都是基于phython這些東西做的。這是跟設(shè)計(jì)師同步的工具，因?yàn)槲覀儼l(fā)現(xiàn)我們?cè)噲D教設(shè)計(jì)師用GIT這件事失敗了，所以我們后來寫了一個(gè)客戶端，你選一下同步，他的文件就同步下來了，類似這樣一個(gè)工具。還有一些小的工具配合我們的工作用。我們臨走前做了一次統(tǒng)計(jì)，用的最多的就是Bee日和clap，有新入職的工程師，他可以給系統(tǒng)增加一些表情，先練練手。簡(jiǎn)單總結(jié)，Web在我看來是一整套的事，不是phython的事，可以學(xué)習(xí)到很多東西，知識(shí)可以得到傳承。最重要的CI持續(xù)集中環(huán)境可以被有效的利用，大概說一下豆瓣開源的庫(kù)。因?yàn)槲覀冇胮hython很多年，我臨走前干了一件事，盡量把豆瓣的庫(kù)開源，這是我們操作GIT庫(kù)，我們做源碼統(tǒng)計(jì)的庫(kù)。這是phython非常老的框架，但是這個(gè)框架非常裸，很多功能都沒有，我們加一些功能放進(jìn)去。我個(gè)人其實(shí)非常喜歡這個(gè)框架，如果你是做一個(gè)Web開發(fā)，你會(huì)發(fā)現(xiàn)你用著不斷的把