8利用pandas對爬取數(shù)據(jù)進(jìn)行分析天下無魚

數(shù)據(jù)分析?具PandasPandas是做數(shù)據(jù)分析的基礎(chǔ)包，提供了靈活的數(shù)據(jù)結(jié)構(gòu)和其它?便進(jìn)?向量化計(jì)算的?具和函數(shù),使得Python也能夠像R語??樣?便地?于數(shù)據(jù)分析和處理。在Pandas中有兩種常?數(shù)據(jù)結(jié)構(gòu)，分別是Series和DataFrame。Series是?種增強(qiáng)型的?維數(shù)組，與Python中的列表相似，由index（索引）和values（值）組成，Series中的值是相同的數(shù)據(jù)?DataFrame是增強(qiáng)型的?維數(shù)組，就像Excel中的表格，有?標(biāo)簽和列表索引，這種數(shù)據(jù)結(jié)構(gòu)在Pandas中最為常?。在做數(shù)據(jù)分析前，我們會(huì)約定俗成地引?Numpy、Pandas、Matplotlib三個(gè)?具包，并使?其簡稱np，pd，plt。numpy是科學(xué)計(jì)算基礎(chǔ)包，pandas依賴于numpy，?matplitlib是繪圖?具。(以下代碼均在IPython中完成，如果你已經(jīng)成功安裝了Anoconda，那么可以直接運(yùn)?ipython命令進(jìn)?)importimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotasInIn[30]:s=In[31]: dtype: InIn[42]:s=pd.Series(['a','b','c'],index=In[43]: dtype:InIn[50]:Out[50]:InIn[51]:s[:2] dtype:InIn[272]:s2=In[273]:s2 dtype:DataFrame對象，可以通過?相等?度的列表組成的字典對象來構(gòu)建DataFrameInIn[52]:data={'state':['Ohio','Ohio','Nevada','year':[2000,2001,2002,'pop':[1.5,1.7,3.6,In[54]:df=In[55]: state0 Ohio1 Ohio2 Ohio32.4Nevada42.9Nevada也可以通過Numpy的?維數(shù)組來構(gòu)建隨機(jī)?成6?4In[58]:df=In[59]:01230123-45還可以從csv?件、數(shù)據(jù)庫中獲取，現(xiàn)在先來熟悉DataFrame?屬性和操作?法，以便后續(xù)能夠靈活運(yùn)?PandasDataFrame既有?索引（index）也有列索引（columns），構(gòu)建DataFrame時(shí)可以指定每?的名字和每列的名字，例如下?的DataFrame?時(shí)間作為?索引，字?A、B、C、D作為列索引。In[61]:dates=In[62]:dates01-03','2013-01-In[63]:df=In[64]:ABCDIn[79]:Out[79]:Index(['A','B','C',In[80]:df.index01-03','2013-01-In[81]:df.valuesarray([[0.51328621,-1.475824,[-0.51829132,1.34522999,1.2847668[-0.43486491,-0.46422712,[0.65441841,-0.99424111,[1.54027403,-0.22712424,[0.88815632,1.93229088,head返回DataFrame的頭部數(shù)據(jù)（默認(rèn)返回表格中的前5?數(shù)In[70]:ABCDtail(DataFrame的尾部數(shù)據(jù)（默認(rèn)返回表格中的最后5?數(shù)In[72]:ABCD按照列索引的降序排列：D->C->B-In[96]:df.sort_index(axis=1,ADCBIn[97]:df.sort_index(axis=0,ascending=False)DABC0.513286-根據(jù)BIn[99]:ABCD先按A的升序排，再按BIn[161]:df.sort_values(by=['A','B'],ascending=[True,False])ADBC2013-01-02-2013-01-03-Freq:D,Name:A,dtype:選擇多列，返回DataFrame對象In[102]:df[['A','B']]ABIn[101]:ABCD通過loc、.ilocABABDABC In[115]:ABCDInIn[121]:4ABC dtype:In[157]:ABCD[159]: dtype:In1111111groupby添加EIn[255]:df['E']=In[256]:df DE2013-01-0100:00:002013-01-0200:00:00-1.2847672013-01-2013-01-0300:00:00-2013-01-042.8166232