數(shù)據(jù)分析應用項目化教程（Python） 課件 項目5 使用pandas進行數(shù)據(jù)讀寫

第五章使用pandas進行數(shù)據(jù)讀寫

任務5.1文本數(shù)據(jù)讀寫df.to_csv()pd.read_csv()pd.read_table()df.to_csv()df.to_csv()，把df對象寫入到文本文件，文本文件主要包括csv和txt基本參數(shù)：path_or_buf:輸出的文件名sep:分隔符，默認為英文逗號（,）na_rep:缺少值的字符串表示形式，默認為空columns:輸出的列header（boolean）:是否包含列名index（boolean）:是否包含索引encoding:數(shù)據(jù)的編碼格mode=‘a(chǎn)’：即向csv文件追加數(shù)據(jù)，按行追加df.read_csv()pd.read_csv()，從文件中加載帶分隔符的數(shù)據(jù)構建df，默認分隔符為逗號基本參數(shù)：filepath_or_buffer：可以是文件路徑、URL或者是對象sep：分隔符，默認為英文逗號，如果是其它分割方式，則要填寫header:指定第一行是否是列名。header=0(表示數(shù)據(jù)第一行為列名，header=None（表明數(shù)據(jù)沒有列名）index_col:一個字符串列表，指定哪幾列作為索引，默認為None。當index_col=False，pandas不再使用首列作為索引。skiprows:跳過多少行再讀取數(shù)據(jù)，通常是數(shù)據(jù)不太干凈，需要去除掉表頭才會用到nrows:僅讀取多少行，后面的處理也都僅限于讀取的這些行df.read_table()從文件中加載帶分隔符的數(shù)據(jù)，默認分隔符為制表符小結(jié)df.to_csv()df.read_csv()df.read_table()第五章使用pandas進行數(shù)據(jù)讀寫

任務5.2

JSON和Excel數(shù)據(jù)讀寫df.to_json和pd.read_jsondf.to_excel和pd.read_exceldf.to_json和pd.read_jsonread_json/to_json：參數(shù)orient共六類，控制讀寫JSON字符串的格式。to_json方法將對象轉(zhuǎn)換為JSON字符串。注意：NaNandNone將轉(zhuǎn)換為null，日期時間對象將轉(zhuǎn)換為UNIXtimestamps。參數(shù)orient決定輸出JSON的格式：對Series:默認值‘index’，可選擇:{‘split’,‘records’,‘index’,‘table’}；對DataFrame:默認值‘columns’，可選擇:{‘split’,‘records’,‘index’,‘columns’,‘values’,‘table’}。df.to_json和pd.read_json不同選項對應的JSON字符串格式如下：'split':dictlike{'index':[index],'columns':[columns],'data':[values]}'records':listlike[{column:value},…,{column:value}]'index':dictlike{index:{column:value}}'columns':dictlike{column:{index:value}}'values':justthevaluesarray'table':dictlike{'schema':{schema},'data':{data}}df.to_json和pd.read_json'columns':dictlike{column:{index:value}}df.to_excel和pd.read_excel在讀寫excel文件時，我們要考慮的一些問題：每個excel文件包含多個表格(sheet)，如何讀取一個或者多個表格；每個表格中讀取哪些列；是否使用數(shù)據(jù)第一行作為列標簽，第一行是否是正式內(nèi)容；是否需要指定行的標簽。pd.read_excel(io,sheet_name=0,header=0,names=None,index_col=None,usecols=None)io：excel文件sheet_name：返回指定的sheet，如果將sheet_name指定為None，則返回全表，如果需要返回多個表，可以將sheet_name指定為一個列表，例如['sheet1','sheet2']header：指定數(shù)據(jù)表的表頭，默認值為0，即將第一行作為表頭。usecols：讀取指定的列，usecols=[0,1]表示要讀取第1列和第2列數(shù)據(jù)df.to_excel和pd.read_exceldf1.to_excel("output.xlsx",sheet_name='Sheet_name_1')

#指定寫入sheet名小結(jié)df.to_json和pd.read_jsondf.to_excel和pd.read_excel第五章使用pandas進行數(shù)據(jù)讀寫

任務5.3

數(shù)據(jù)庫數(shù)據(jù)讀寫SQL數(shù)據(jù)庫讀寫NoSQL數(shù)據(jù)庫讀寫SQL數(shù)據(jù)庫讀寫創(chuàng)建mysql連接和初始化讀寫mysql數(shù)據(jù)庫，可以使用sqlalchemy模塊或pymysql模塊。sqlalchemy模塊:實現(xiàn)了與不同數(shù)據(jù)庫的連接，是Python的最有名的ORM框架。pymysql模塊:使得Python能夠操作MySQL數(shù)據(jù)庫。pipinstallsqlalchemy-i

/simplepipinstallpymysql-i

/simpleSQL數(shù)據(jù)庫讀寫創(chuàng)建mysql連接和初始化創(chuàng)建表插入數(shù)據(jù)SQL數(shù)據(jù)庫讀寫pd.read_sqlPython方式訪問數(shù)據(jù)庫構建df

pandas方式訪問數(shù)據(jù)庫構建dfSQL數(shù)據(jù)庫讀寫df.to_sql()df寫入數(shù)據(jù)庫NoSQL數(shù)據(jù)庫讀寫啟動和連接服務安裝MongoDB驅(qū)動mongod.exe--dbpathC:\data\db啟動服務器mongo.exe鏈接服務器showdbs查看有哪些數(shù)據(jù)庫MongoDB創(chuàng)建數(shù)據(jù)庫的語法格式：useDATABASE_NAME#設置MongoDB連接信息client=pymongo.MongoClient(host='',port=27017)#連接MongoDBdb=client['students']#選擇數(shù)據(jù)庫collection=db['score']#選擇集合NoSQL數(shù)據(jù)庫讀寫df寫入數(shù)據(jù)庫#插入到集合之前，df對象必須轉(zhuǎn)換為字典score=json.loads(df.T.to_json()).values()或#'records':listlike[{column:value},…,{column:value}]df.to_dict(orient='record')#collection.insert_many(score)#批量插入collection.insert_many(df.to_dict(orient='record'))#請自己測試其它對應的JSON字符串格式NoSQL數(shù)據(jù)庫讀寫讀集合構建df#從MongoDB中加載數(shù)據(jù)到df中data=pd.DataFrame(list(collection.find()))#_id是MongoDB內(nèi)部索引編號小結(jié)SQL數(shù)據(jù)庫