PostgreSQL源碼解讀+-+HASH表算法解析（杭州博學(xué)-呂海波）

———深度剖析PostgreSQL源碼—深度剖析Oracle/MySQL/PostgreSQL源碼數(shù)據(jù)庫源碼研究方法論學(xué)習(xí)致用的研究方法論：PG篇BufferAlloc函數(shù)解讀（一）：1、數(shù)據(jù)結(jié)構(gòu)分析：（1）、參數(shù)：SMgrRelationsmgr2、代碼結(jié)構(gòu)：（1）、初始化newTag（2）、根據(jù)newTag，計算HASH值（3）、根據(jù)HASH值，得到BufferParationLock（4）、加共享模式BufferParationLock（5）、調(diào)用BufTableLookup學(xué)習(xí)致用的研究方法論：PG篇BufTableLookup函數(shù)解讀：全局變量：SharedBufHash結(jié)構(gòu)，定義在src/backend/utils/hash/dynahash.c：208行208structHTAB209{210HASHHDR*hctl;/*=>sharedcontrolinformation*/在后面的研究中，逐漸填補(bǔ)這些域的意義211HASHSEGMENT*dir;/*directoryofsegmentstarts*/212HashValueFunchash;/*hashfunction*/213HashCompareFuncmatch;/*keycomparisonfunction*/214HashCopyFunckeycopy;/*keycopyingfunction*/215HashAllocFuncalloc;/*memoryallocator*/216MemoryContexthcxt;/*memorycontextifdefaultallocatorused*/217char*tabname;/*tablename(forerrormessages)*/218boolisshared;/*trueiftableisinsharedmemory*/219boolisfixed;/*iftrue,don'tenlarge*/220221/*freezingasharedtableisn'tallowed,sowecankeepstatehere*/222boolfrozen;/*true=nomoreinsertsallowed*/223224/*Wekeeplocalcopiesofthesefixedvaluestoreducecontention*/225Sizekeysize;/*hashkeylengthinbytes*/226longssize;/*segmentsize---mustbepowerof2*/227intsshift;/*segmentshift=log2(ssize)*/228};學(xué)習(xí)致用的研究方法論：PG篇BufTableLookup函數(shù)解讀：參數(shù)：newTag：newHash還記得“邏輯讀行為預(yù)期嗎”（參見第7頁）學(xué)習(xí)致用的研究方法論：PG篇BufTableLookup函數(shù)解讀：全局變量：SharedBufHash結(jié)構(gòu)，定義在src/backend/utils/hash/dynahash.c：208行208structHTAB209{210HASHHDR*hctl;/*=>sharedcontrolinformation*/在后面的研究中，逐漸填補(bǔ)這些域的意義211HASHSEGMENT*dir;/*directoryofsegmentstarts*/212HashValueFunchash;/*hashfunction*/213HashCompareFuncmatch;/*keycomparisonfunction*/214HashCopyFunckeycopy;/*keycopyingfunction*/215HashAllocFuncalloc;/*memoryallocator*/216MemoryContexthcxt;/*memorycontextifdefaultallocatorused*/217char*tabname;/*tablename(forerrormessages)*/218boolisshared;/*trueiftableisinsharedmemory*/219boolisfixed;/*iftrue,don'tenlarge*/220221/*freezingasharedtableisn'tallowed,sowecankeepstatehere*/222boolfrozen;/*true=nomoreinsertsallowed*/223224/*Wekeeplocalcopiesofthesefixedvaluestoreducecontention*/225Sizekeysize;/*hashkeylengthinbytes*/226longssize;/*segmentsize---mustbepowerof2*/227intsshift;/*segmentshift=log2(ssize)*/228};學(xué)習(xí)致用的研究方法論：PG篇hash_search_with_hash_value函數(shù)解讀：1、FREELIST_IDX的猜測2、expand_table()3、calc_bucket()4、ELEMENTKEY的使用：230/*231*Key(alsoentry)partofaHASHELEMENT232*/233#defineELEMENTKEY(helem)(((char*)(helem))+MAXALIGN(sizeof(HASHELEMENT)))學(xué)習(xí)致用的研究方法論：PG篇hash_search_with_hash_value函數(shù)解讀：學(xué)習(xí)致用的研究方法論：PG篇hash_search_with_hash_value函數(shù)解讀：ELEMENTKEY的使用：#defineELEMENTKEY(helem)(((char*)(helem))+MAXALIGN(sizeof(HASHELEMENT)))意義為：helem+16currBucketlinkhashvaluetagPtrkeyrnodeforkNumblockNumid16字節(jié)20字節(jié)學(xué)習(xí)致用的研究方法論：PG篇SharedBuffer常用全局結(jié)構(gòu)總結(jié)：學(xué)習(xí)致用的研究方法論：PG篇BufferAlloc函數(shù)解讀（二）：1、數(shù)據(jù)結(jié)構(gòu)分析：（1）、參數(shù)：SMgrRelationsmgr2、代碼結(jié)構(gòu)：（1）、初始化newTag（2）、根據(jù)newTag，計算HASH值（3）、根據(jù)HASH值，得到BufferParationLock（4）、加共享模式BufferParationLock（5）、調(diào)用BufTableLookup（6）、GetBufferDescriptor(buf_id)：全局?jǐn)?shù)據(jù)結(jié)構(gòu)BufferDescriptors，它是shared_buffer的描述符。（7）、PinBuffer:主要工作：LockFree方式將buf-state加1，步驟如下：

原子讀buf->state到old_buf_state old_buf_state+=1

將old_buf_state原子寫回到buf->statePinBuffer競爭測試：Pin成功后，不會影響同頁的Select和Update

學(xué)習(xí)致用的研究方法論：PG篇BufferDesc中的狀態(tài)：dIdLtOtO引用yIyC次數(shù)-----N---K|--|----------------------------100100111001010000000000000000002475950080100000110001010000000000000000001000001100010100000000000000000110000011000101000000000000000001學(xué)習(xí)致用的研究方法論：PG篇BufferAlloc函數(shù)解讀（三）：3、競爭分析腳本：lock_time1.stp，觀察持有bufferpartitionlock的時間。持有鎖的時間學(xué)習(xí)致用的研究方法論：PG篇ReadBuffer_common的上層函數(shù)：1、ReadBufferExtended、ReadBuffer、ReleaseAndReadBuffer2、heapam_index_fetch_tuple：也有一個鎖操作：阻塞分析，寫一個腳本，分析一段時間內(nèi)