2018python全棧爬蟲高端自動(dòng)化課程大綱01課堂筆記01數(shù)據(jù)庫(kù)概述

概后來(lái)，數(shù)據(jù)可以在磁帶上，順序的、寫入磁帶1956年IBM發(fā)明了磁盤驅(qū)動(dòng)器這個(gè)性產(chǎn)品，支持隨機(jī)隨著信息化時(shí)代的到來(lái)，有了硬件技術(shù)的發(fā)展，有大量的數(shù)據(jù)需要和管理，數(shù)據(jù)庫(kù)管理系統(tǒng)DBMS了。不管使用什么介質(zhì)，數(shù)據(jù)庫(kù)的數(shù)據(jù)模型才是其和基礎(chǔ)按照數(shù)據(jù)模型分類：網(wǎng)狀數(shù)據(jù)庫(kù)、層次數(shù)據(jù)庫(kù)、關(guān)系型數(shù)以樹型結(jié)構(gòu)表示實(shí)體及其之間的聯(lián)系。關(guān)系只支持一對(duì)多。代表數(shù)據(jù)庫(kù)IBMIMS通用電氣最早在1964年開發(fā)出網(wǎng)狀數(shù)據(jù)庫(kù)IDS，只能運(yùn)行在GE自家的主機(jī)上結(jié)點(diǎn)描述數(shù)據(jù)，結(jié)點(diǎn)的聯(lián)系就是數(shù)據(jù)的關(guān)能夠直接描述客觀世界，可以表示實(shí)體間多種復(fù)雜關(guān)系，而這是層次數(shù)據(jù)模型無(wú)法做到的。比如，一個(gè)結(jié)點(diǎn)可以有多個(gè)父結(jié)點(diǎn)，結(jié)點(diǎn)之間支持可以多對(duì)多關(guān)聯(lián)。使用行、列組成的二維表來(lái)組織數(shù)據(jù)和關(guān)系，表中行（記錄）即可以描述數(shù)據(jù)實(shí)體，也可以描述實(shí)體間關(guān)關(guān)系模型比網(wǎng)狀模型、層次模型更簡(jiǎn)單，不需要關(guān)系數(shù)的物理細(xì)節(jié)，專心于數(shù)據(jù)的邏輯構(gòu)建，而且關(guān)系模型有的嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)支撐。1970年，IBM的研究員E.F.Codd了名為“ARelationalModelofDataforLargeSharedDataBanks”的 基于關(guān)系模型構(gòu)建的數(shù)據(jù)庫(kù)系統(tǒng)成為RDBMS(RelationalDataBaseSystem)IBMDB2、Oracle的Oracle和Mysql、微軟的MSSQL。以前的infomix、SybaseOracle的發(fā)拉里·埃里森(LrryElison)仔細(xì)閱讀了IBM的關(guān)系數(shù)據(jù)庫(kù)的 ，敏銳在這個(gè)研究基礎(chǔ)上可以開發(fā)軟件系統(tǒng)。他們決定開發(fā)通用數(shù)據(jù)庫(kù)系統(tǒng)Oacle，這個(gè)名字來(lái)源于他們?cè)o局做過(guò)的項(xiàng)目名。幾個(gè)月后，他們就開發(fā)了Oacle1.0Oacle快速的被推銷，但是很不穩(wěn)定。直到1992年的時(shí)候，Oacle7才逐漸穩(wěn)定下來(lái)，并取得巨大成功。2001年的9i版本被廣泛應(yīng)用。日，甲骨文公司宣布將以每股9.50，總計(jì)74億美金收購(gòu)sun（計(jì)算機(jī)系統(tǒng)）公司。2010年1月功收購(gòu)2013年，甲骨文超過(guò)IBM，成為繼微軟之后的全球第二大軟件公Mysql發(fā)1985年幾個(gè)瑞典人為大型零售商的項(xiàng)目設(shè)計(jì)了一種利用索引順序存取數(shù)據(jù)的軟件，這就是MyISAM的前身。6年，MySQL1.0發(fā)布，隨后發(fā)布了3.11.1版本，并開始往其它平臺(tái)移植。2000MySQL采用GPL協(xié)議開源。MySQL4.0開始支持MyISAMInnoDB引擎。200510月，MySQL5.0成為里程碑版本。2008年1月被Sun公司收購(gòu)2009年1月，在Oracle收購(gòu)MySQL之前，MontyWidenius擔(dān)心收購(gòu)，就從MySQLServer5.5開始一條新的GPL分MySQL的引擎是插件化的，可以支持很多種引擎：MyISASM，不支持事務(wù)，插入、查詢速度快。InnoDB，支持事務(wù)，行級(jí)鎖，MySQL5.5起的默認(rèn)引擎去據(jù)庫(kù)、EMC設(shè)備，可以說(shuō)。而使用這些架構(gòu)的企業(yè)，不但采購(gòu)、成本極高，架構(gòu)還掌握在他人手中。對(duì)于阿里巴巴這樣大規(guī)模的互聯(lián)網(wǎng)應(yīng)用，應(yīng)該采用開源、開放的系統(tǒng)架構(gòu)。這種思路并不是阿里巴巴的新發(fā)明，國(guó)外的谷歌、 、亞馬遜等早已為之。只不過(guò)它們幾乎一開始就有沒有采用T商業(yè)公司的架構(gòu)，所以他們也不用“IOE”。去IOE，轉(zhuǎn)而使用廉價(jià)的架構(gòu)，穩(wěn)定性一定下降，需要較高的運(yùn)維水平解NoSQL是對(duì)非SQL、非傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)NoSQL一詞誕生于1998年，2009年這個(gè)詞匯被再次提出指非關(guān)系型、分布式、不提供ACID的數(shù)據(jù)庫(kù)設(shè)計(jì)模式隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，數(shù)據(jù)爆發(fā)式增長(zhǎng)，數(shù)據(jù)庫(kù)技術(shù)發(fā)展日新月異，要適應(yīng)新的業(yè)務(wù)需求。隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的到來(lái)，大數(shù)據(jù)的技術(shù)中NSQL也同樣重要。數(shù)據(jù)庫(kù)流行度數(shù)數(shù)據(jù)庫(kù)流行MySQL是一種關(guān)系型數(shù)據(jù)庫(kù)管理軟件，支持網(wǎng)絡(luò)，默認(rèn)服務(wù)端口3306MySQL通信使用mysql協(xié)議問MySQL應(yīng)該基于什么網(wǎng)絡(luò)協(xié)議通連接字符串 使用yum安裝rpm包，Centos自帶的版本太低，建議安裝5.5推薦安裝MriDB，或者Pecoa版本。Percona安裝在第十章介紹過(guò)，這里不再贅找一臺(tái)虛擬機(jī)，安裝好MySQL，充當(dāng)數(shù)據(jù)庫(kù)服務(wù)器#yuminstallPercona-Server-shared-55-5.5.45-rel37.4.el6.x86_64.rpmPercona-Server- #yuminstallPercona-Server-shared-55-5.5.45-rel37.4.el6.x86_64.rpmPercona-Server- 5.5.45-rel37.4.el6.x86_64.rpmPercona-Server-server-55-5.5.45-rel37.4.el6.x86_64.rpm#servicemysql#mysql_secure_installation#mysql-uroot-p<test.sqltest.sql為測(cè)試SQL語(yǔ)SQL是結(jié)構(gòu)化查詢語(yǔ)言StructuredQueryLanguage。1987年被ISO組織標(biāo)準(zhǔn)化。SQL語(yǔ)句分DCL數(shù)據(jù)控制語(yǔ)言，負(fù)責(zé)數(shù)據(jù)庫(kù)權(quán)限控制，由GRANT和REVOKE兩個(gè)指令組TCL事務(wù)控制語(yǔ)言，負(fù)責(zé)處理ACID事務(wù)，支持commit、rollback指SQL語(yǔ)句大小寫不敏感SQL語(yǔ)句末尾應(yīng)該使用分號(hào)結(jié)GRANT、REVOKE撤GRANTGRANTALLONemployees.*TO'wayne'@'%'IDENTIFIEDby'wayne';REVOKEALLON*.*FROMwayne;*為通配符，指代任意庫(kù)或者任意表。*.*所有庫(kù)的所有表%為通配符，它是SQL語(yǔ)句的通配符，匹配任意長(zhǎng)度字刪除用戶（慎用

表示employees庫(kù)下所有的DROPDROPUSER創(chuàng)建數(shù)據(jù)庫(kù)是數(shù)據(jù)的集合，所有數(shù)據(jù)按照數(shù)據(jù)模型組織在數(shù)據(jù)庫(kù)CREATECREATEDATABASEIFNOTEXISTSgogsCHARACTERSETutf8mb4COLLATECHARACTERSET指定字符集。utf8mb4是utf8的擴(kuò)展，支持4字節(jié)utf8mb4，需要MySQL5.5.3+。刪除數(shù)據(jù)DROPDROPDATABASEIFEXISTS創(chuàng)建列Column，也稱為字段FieldCREATECREATETABLE`employees``emp_no`int(11)NOT`birth_date`dateNOT`first_name`varchar(14)NOT`last_name`varchar(16)NOT`gender`enum('M','F')NOT`hire_date`dateNOTNULL,PRIMARYKEY(`emp_no`))ENGINE=InnoDBDEFAULT反引號(hào)標(biāo)注的名稱，被認(rèn)為是非關(guān)鍵查看列信{DESCRIBE|DESC}tbl_name[col_name|DESCDESCDESCemployees練設(shè)計(jì)一張表，記錄登錄賬戶的，應(yīng)該用戶的、登錄名DROPDROPDATABASEIFEXISTSCREATEDATABASEIFNOTEXISTStestCHARACTERSETutf8mb4COLLATECREATECREATETABLE`reg``id`int(11)NOT`loginname`varchar(50)DEFAULT`name`varchar(64)DEFAULT`password`varchar(128)DEFAULTNULL,PRIMARYKEY(`id`))PRIMARYKEY主表中一列或者多列組成唯一的y，也就是通過(guò)這一個(gè)或者多個(gè)列能唯一的標(biāo)識(shí)一條記錄。主鍵的列不能包含空值nul。主鍵往往設(shè)置為整型、長(zhǎng)整型，且自增AUO_INCREMENT。表中可以沒有主鍵，但是，一般表設(shè)計(jì)中，往往都會(huì)有主鍵。索引 約束UNIQUE約束（唯一鍵約束定義了唯一鍵索引，就定義了唯一鍵約PRIMARYKEY約定義了主鍵，就定義了主鍵約外鍵約束Foreign外鍵，在表B中的列，關(guān)聯(lián)表A中的主鍵，表B中的列就是外鍵如果在表B插入一條數(shù)據(jù)，B的外鍵列插入了一個(gè)值，這個(gè)值必須是表A修改表B的外鍵值也是同樣，外鍵值同樣要在表A中存在。如果表A要?jiǎng)h除一條記錄，那么就等于刪除一個(gè)主鍵，那么如果表B中到了這個(gè)主鍵，就必須先刪除表B中修改表A的主鍵，由于主鍵的唯一性，修改的主鍵相當(dāng)于插入新主鍵，那么表B過(guò)這個(gè)主鍵，將表A的主鍵外鍵約束，是為了保證數(shù)據(jù)完整性、一致性，杜絕數(shù)冗余、數(shù)據(jù)訛簡(jiǎn)化操作，將復(fù)雜查詢SQL語(yǔ)句定義為視圖，可以簡(jiǎn)化查數(shù)據(jù)安全，視圖可以只顯示真實(shí)表的部分列，或計(jì)算后的結(jié)果，從而隱藏真實(shí)表的MySQL中的數(shù)據(jù)類類含1字節(jié)，帶符號(hào)的范圍是 。無(wú)符號(hào)的范圍tinyint，0表示假，非0表示。bool或boolean，就2字節(jié)，帶符號(hào)的范圍是-32768到32767。無(wú)符號(hào)的范圍是0到47。無(wú)符號(hào)的范圍是長(zhǎng)整型，8字節(jié)，帶符號(hào)的范圍是符號(hào)的范圍是0 07。單精度浮點(diǎn)數(shù)精確到大約7位小數(shù)雙精度浮點(diǎn)數(shù)精確到大約15位小數(shù)日期。支持的范圍為'1000-01-01'到'9999-12-支持的范圍是'1000-01-0100:00:00'到'9999-12-31時(shí)間戳。范圍是'1970-01-0100:00:00'到2037固定長(zhǎng)度，右邊填充空格以達(dá)到長(zhǎng)度要求。M為長(zhǎng)度，范圍為0~255。M指的是字符個(gè)變長(zhǎng)字符串。 表示最大列長(zhǎng)度。M的范圍是0到。但不能突破行最大字節(jié)大文本。最大長(zhǎng)度為65535(2^16-1)個(gè)字大字節(jié)。最大長(zhǎng)度為65535(2^16–1)字節(jié)的BLOBLENGTH函數(shù)返回字節(jié)數(shù)。而char和varchar定義的M是字符數(shù)限制char可以將字符串變成等長(zhǎng)的，空間換時(shí)間，效率略高；varchar變長(zhǎng)，省了空間選擇（selction）：又稱為限制，是從關(guān)系中選擇出滿足給定條件的元組。投影（pjton）：在關(guān)系上投影就是從選擇出若干屬性列組成新的關(guān)系。連接（in）：將不同的兩個(gè)關(guān)系連接成一個(gè)關(guān)系。DMLCRUDInsert語(yǔ)INSERTINTOtable_name(col_name,...)VALUES向表中插入一行數(shù)據(jù)，自增字段、缺省值字段、可為空字段可以INSERTINTOtable_nameSELECT...將select查詢的結(jié)果插入到如果主鍵、唯一鍵就執(zhí)行update后的設(shè)置。這條語(yǔ)句的意思，就是主鍵不在新增記錄，主鍵在就更新分字段如果主鍵、唯一鍵就忽略錯(cuò)誤，返回一個(gè)警告UpdateUPDATE[IGNORE][WHEREwhere_de?nition]IGNORE意義同Insert語(yǔ)UPDATEregSETname='張三'WHEREDeleteDELETE[IGNORE]FROMtbl_name[WHEREwhere_de?nition]刪除符合條件的記select_expr,...[FROMtable_references[WHERE[GROUPBY{col_name|expr|position}[ASC|DESC],...[WITHROLLUP]][HAVING[ORDERBY{col_name|expr|position}[ASC|DESC],...][LIMIT{[offset,]row_count|row_countOFFSEToffset}][FORUPDATE|LOCKINSHAREMODE]]查詢的結(jié)果成為結(jié)果集recordsetSELECTSELECT--SELECT*FROMSELECTemp_no,first_name+last_nameFROMSELECTemp_no,CONCAT(first_name,'',last_name)FROM--AS定義別名，可選。寫ASSELECTemp_noas`no`,CONCAT(first_name,'',last_name)nameFROMemployeesLimit----返回5條記SELECT*FROMemployeesempLIMIT--返回5條記錄，偏移18SELECT*FROMemployeesempLIMIT5OFFSET18;SELECT*FROMemployeesempLIMIT18,5;Where運(yùn)算描=等不等>、<、>=、大于、小于、大于等于、小于在某個(gè)范圍之內(nèi)，betweenaandb等價(jià)于[a,字符串模式匹配，%表示任意多個(gè)字符，_表示一個(gè)指定針對(duì)某個(gè)列的多個(gè)可與或注意：如果很多表達(dá)式需要使用AND、OR計(jì)算邏輯表達(dá)式的值的時(shí)候，由于有結(jié)合律的問題，建議使用小括號(hào)來(lái)避免產(chǎn)生錯(cuò)誤條件SELECT*FROMemployeesWHEREemp_no<10015andlast_nameLIKESELECT*FROMemployeesWHEREemp_noBETWEEN10010AND10015ANDlast_nameLIKE'P%';SELECT*FROMemployeesWHEREemp_noin(10001,10002,10010);Orderby對(duì)查詢結(jié)果進(jìn)行排序，可以升序ASC、降序DESCSELECT*FROMemployeesWHEREemp_noin(10001,10002,10010)ORDERBYemp_no不返回重復(fù)----DISTINCTSELECTDISTINCTemp_nofromSELECTDISTINCTdept_no,emp_nofrom聚合函函描返回記錄中記錄的數(shù)目，如果指定列，則返回非NULL值的行COUNT(DISTINCT返回不重復(fù)的非NULL值的行AVG([DISTINCT]返回平均值，返回不同值的平MIN(expr),最小值，最SUM([DISTINCT]求和，Distinct返回不同值聚合SELECTCOUNT(*),AVG(emp_no),SUM(emp_no),MIN(emp_no),MAX(emp_no)FROM分組查使用 by子句，如果有條件，使用Having子句過(guò)濾分組、聚合過(guò)的結(jié)果聚合SELECTemp_no,SUM(salary),AVG(salary),COUNT(emp_no)from--SELECTemp_no,SUM(salary),AVG(salary),COUNT(emp_no)fromsalariesWHEREemp_no<--按照不同emp_noSELECTemp_no,SUM(salary),AVG(salary),COUNT(emp_no)fromsalariesWHEREemp_no<10003GROUPBYemp_no;--HAVINGSELECTemp_no,SUM(salary),AVG(salary),COUNT(emp_no)fromsalariesGROUPBYemp_noHAVINGAVG(salary)>45000;使用SELECTemp_no,SUM(salary),AVG(salary)ASsal_avg,COUNT(emp_no)fromsalariesGROUPBYemp_noHAVINGsal_avg>60000;--SELECTSELECTemp_no,SUM(salary),AVG(salary)ASsal_avg,COUNT(emp_no)fromsalariesGROUPBYemp_noHAVINGsal_avg>60000ORDERBYsal_avg;子查子查詢中不能使用Orderby子查SELECT*FROMemployeesWHEREemp_noin(SELECTemp_nofromemployeesWHEREemp_no>10015)ORDERBYemp_noDESC;SELECTemp.emp_no,emp.first_name,genderFROM(SELECT*fromemployeesWHEREemp_no>10015)ASempWHEREemp.emp_no<10019ORDERBYemp_noDESC;連接交叉連接cross笛卡爾乘積，全部交在MySQL中，CROSSJOIN從語(yǔ)法上說(shuō)與INNERJOIN工資40SELECT*FROM20SELECT*FROM800SELECT*fromemployeesCROSSJOINinnerjoin，省略為join等值連接，只選某些?ed相等的元組（行），使用On內(nèi)連接，笛卡爾乘積800SELECT*fromemployeesJOINsalaries;SELECT*fromemployeesINNERJOINsalaries;ON等值連接40SELECT*fromemployeesJOINsalariesONemployees.emp_no=自然連接，去掉了重復(fù)列，且自行使用employees.emp_nosalaries.emp_no的條件SELECT*fromemployeesNATURALJOINsalaries;外連outerjoin，可以省略為分為左外連接，即左連接；右外連接，即右連接；全外SELECT*fromemployeesLEFTJOINsalariesONemployees.emp_no=SELECT*fromemployeesRIGHTJOINsalariesONemployees.emp_no=--SELECT*fromsalariesRIGHTJOINemployeesONemployees.emp_no=左外連接、右外連看表的數(shù)據(jù)的方向，誰(shuí)是主表，誰(shuí)的所有數(shù)據(jù)都自連表自己和自己連selectselectmanager.*fromempmanager,empworkerwheremanaer.empno=worker.mgrandworker.empno=1;selectmanager.*fromempmanagerinnerjoinempworkeronmanaer.empno=worker.mgrwhere事務(wù)InnoDB引擎，支持事務(wù)事務(wù)，由若干條語(yǔ)句組成的，指的是要做的一系列操關(guān)系型數(shù)據(jù)庫(kù)中支持事務(wù)，必須支持其四個(gè)屬性特描原子一致性持久持久性也稱永久性（permanence），指一個(gè)事務(wù)一旦提交，它對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的改變就應(yīng)該是永久性的。接下來(lái)的其他操作或故障不應(yīng)該對(duì)其有任何影響原子性，要求事務(wù)中的所有操作，不可分割，不能做了一部分操作，還剩一部分操一致性，多個(gè)事務(wù)并行執(zhí)行的結(jié)果，應(yīng)該和事務(wù)排隊(duì)執(zhí)行的結(jié)果一致。如果事務(wù)的并行執(zhí)行和多線程讀寫共享資源一樣不可預(yù)期，就不能保證一致性。性，就是指多個(gè)事務(wù)共同的數(shù)據(jù)了，應(yīng)該互不干擾。性，指的是究竟在一個(gè)事務(wù)處理期間，其他事務(wù)能不能的問題持久性，比較好理解，就是事務(wù)提交后，數(shù)據(jù)不能丟MySQL級(jí)首先看看性不好，帶來(lái)哪些問題：更新丟失Lost事務(wù)A和B，更新同一個(gè)數(shù)據(jù)，它們都了初始值100，A要減10，B要加100，A減去10后更新為90，B100更新為200，A的更新丟失了，就像從來(lái)沒有減過(guò)10一樣臟事務(wù)A和B，事務(wù)B到了事務(wù)A未提交的數(shù)據(jù)（這個(gè)數(shù)據(jù)可能是一個(gè)中間值，也可能事務(wù)A事務(wù)）。事務(wù)A是否最后提交并不關(guān)心。只要到了這個(gè)被修改的數(shù)據(jù)就是臟讀。不可重復(fù)讀Unrepeatable事務(wù)A在事務(wù)執(zhí)行中相同查詢語(yǔ)句，得到了不同的結(jié)果，不能保證同一條查詢語(yǔ)句重復(fù)讀例如，事務(wù)A查詢了一次后，事務(wù)B修改了數(shù)據(jù)，事務(wù)A又查詢了一次，發(fā)現(xiàn)數(shù)據(jù)不一致注意，臟讀講的是可以讀到相同的數(shù)據(jù)的，但是的是一個(gè)未提交的數(shù)據(jù)，不是提交的最終結(jié)果幻讀Phantom事務(wù)A中同一個(gè)查詢要進(jìn)行多次，事務(wù)B插入數(shù)據(jù)，導(dǎo)致A返回不同的結(jié)果集，如同幻覺，就是幻讀。數(shù)據(jù)集有記錄增加了，可以看做是增加了記錄的不可重復(fù)讀。級(jí)描 到未提交的數(shù)READ讀已經(jīng)提交的數(shù)據(jù)，ORACLE默認(rèn)級(jí)可以重復(fù)讀，MySQL的默認(rèn)級(jí)別可串行化。事務(wù)間完全，事務(wù)不能并發(fā)，只能串行執(zhí)級(jí)別越高，串行化越高，數(shù)據(jù)庫(kù)執(zhí)行效率低；級(jí)別越低，并行度越高，性能越高。---設(shè)置會(huì)話級(jí)或者全 SET[SESSION|GLOBAL]TRANSACTIONISOLATION MITTED|READCOMMITTED|REPEATABLEREAD| 級(jí)SELECT@@global.tx_isolation;SELE