SAPHANA技術(shù)基礎(chǔ)知識

1、根據(jù) SAP 的字面意思理解， SAP HANA 是硬件和和軟件組合起來一個解決方案， 容許客戶 分析大量的數(shù)據(jù)， 而且是以接近 Real Time 的方式來同步數(shù)據(jù)， 不需要花費(fèi)太多時間在數(shù) 據(jù)傳輸上， 目前 HANA的版本是 1.0.集成了一些 SAP 的組件，比如 IMDB(In-Memory Database), Sybase的 Replication 技術(shù)，以及 SAP STR(Landscape Transformation Replicator) 等等。SAP HANA 作為一種第 3 方硬件合作伙伴共同合作而優(yōu)化打造的應(yīng)用，目前支持和認(rèn)證的 硬件廠商，包含 HP, IBM, 思

2、科, 富士通，戴爾 5 家合作伙伴，據(jù)說給聯(lián)想 LENOVO 做 的 HANA 方案，是使用的聯(lián)想自己的服務(wù)器，應(yīng)該也可以。但是不在 SAP 通用實(shí)施的合作 伙伴范圍之內(nèi)。關(guān)于 IMDBSAP IMDB(In-Memory Database) 是一個內(nèi)存數(shù)據(jù)庫的混血兒，不僅包含行存儲，也包 含列存儲， 而且還有機(jī)遇對象存儲的數(shù)據(jù)數(shù)據(jù)庫技術(shù)，這么設(shè)計(jì)的主要目的是用來充分挖掘 和使用現(xiàn)代多核 CPU 架構(gòu)設(shè)計(jì)所帶來的并發(fā)處理能力，毫無疑問， SAP 的這種應(yīng)用能從中 受益頗多。IMDB 是 SAP HANA 的核心，用來幫助客戶提升運(yùn)營效率，敏捷而且靈活，下圖來自 SAP HANA 的Techno

3、logy of Manual中圖片。這邊叫 admin studio，一般的監(jiān)控和新 modeling 都可以在這里實(shí)現(xiàn)。然后支持 2 種客戶端，查看基于內(nèi)存存儲而產(chǎn)生的報表。SAP HANA Replicati on Tech nologies-SAP IMDB 所產(chǎn)生報告和分析所需要的業(yè)務(wù)數(shù)據(jù)是需要從源系統(tǒng)復(fù)制到SAP 的 IMDB.具體怎么復(fù)制這里現(xiàn)在提供了 3 中方法，在看具體有那 3 中方式之前，先看這個 IMDB 的核 心中有哪些會參與到數(shù)據(jù) Replicati on 的場景：SAP in-Memory ComputingUser InterfacesDasho-card W-ab

4、l Xcd蝦LK” E)cptorar廠Administration -SAPIn-Mennory匚omut ngSfj-dinJ口AdminEnd UserClientsSAP In-Me moryComputingStudlio(WoOeiinQAAdministFuti g) SBOP EnterpfKe* MS XCELfnttfisnu 0u Report數(shù)據(jù)復(fù)制技術(shù)IMDB 支持多種數(shù)據(jù)源，目前支持3 中數(shù)據(jù) replication 方法，并且提供了一個管理界面,? SAP HANA 由 IMDB 和 IMDB Admin Studio 組成，UI 主要用來管理 hana 的應(yīng)用裝

5、置，有點(diǎn)類似 BO 的儀表盤界面? Source System ，例如 ERP?用于支持?jǐn)?shù)據(jù)復(fù)制的軟件組件Replication Methods OverviewTrigger-Based Replicati on這里暫且稱呼為實(shí)時模式，雖然也需要一個Lan dscape Tran sformation Replicator，實(shí)時撲捉 SAP ERP 的數(shù)據(jù)庫系統(tǒng)的修改變化，然后幾乎是是實(shí)時的就同步到HANA 中，這個 Replicator 可以直接安裝在 ERP 上，比較方便，也可以獨(dú)立的安裝在一個服務(wù)器中，也用于撲捉實(shí)時 ERP 的數(shù)據(jù)庫修改變化。ETL Based Replicati o

6、n這里暫時稱呼為 BO 模式，需要用到 BO 的 Data Service 組件，意味著需要有 B0 ,優(yōu)點(diǎn)是可以對抽取的數(shù)據(jù)做合并和加工處理，支持多數(shù)據(jù)源和多目標(biāo)系統(tǒng)Log Based Replicati on這里暫時稱呼 Sybase 模式，因?yàn)檫@種模式對于數(shù)據(jù)的要求是有依賴的，而前Admifiisirationuiource SystemSAP ERPrigger-Based Replication=*ItrTIETL-Based Replication1ai i iI Lt t-iTLog-Based Replication|CZt rm *_ .SAP HANA2 種都是獨(dú)Apiil

7、p d t nr)Li?yt*f立于任何任何數(shù)據(jù)庫的，一般不推薦使用（SAP 官方說法），除非客戶制定使用這種方式。所以一看數(shù)據(jù)復(fù)制技術(shù)的排序方式，就知道了，肯定是重要和好的放在前面，這就像在支持 硬件中,HP惠普排名第一一樣，總不能以上來就直接吧 LOG BASED 復(fù)制技術(shù)，放在第一， 然后跟著說這種方式不推薦吧！所以拍大腿也知道，前面兩種是重點(diǎn)對象。詳細(xì)對比，SAP HANA TOM 上有詳細(xì)描述，3 中方式各有千秋，看你的的業(yè)務(wù)需要什么樣的模式了，這里不談好壞，只談差異！下面看看 HANA 的其他的一些話題，例如安全和備份恢復(fù)的問題，硬件選擇等等。架構(gòu)篇原文地址：http:/LiuA

8、HANA 的一些知識，一邊看書一遍做筆記，說到底無非是用自己的語言來理解標(biāo)準(zhǔn)幫組文檔所講解的意思，肯定有理解失誤的地方，畢竟沒有參加過標(biāo)準(zhǔn)培訓(xùn)，即使有培訓(xùn)，從老師那邊來的知識也不可能是完整的傳授過來，中間多少的知識遺漏是正常的， 所以多看看 HELP 的文檔，應(yīng)該可以原汁原味的理解作者的意思。Architecture Overviewin Memory Computing Engine (IMCE) and Surroundings這張圖片是從 SAP HANA 的 PPT 上剪輯下來的，主要包含了 SAP HANA 的應(yīng)用架構(gòu)和在 應(yīng)用中會涉及到一些周邊軟件環(huán)境。HANA 架構(gòu)下的親戚關(guān)系?

9、 IMCE Studio用于 HANA 的系統(tǒng)管理，以及信息建模（各種維度，KPI 等）? ERP這里指的是一般的數(shù)據(jù)源，會從ERP 過來過來的業(yè)務(wù)數(shù)據(jù)? BO BI4BO 的 BI 4.0 平臺，主要提供 ETL 的核心功能，源系統(tǒng)數(shù)據(jù)導(dǎo)入，刪選/合并/格式化數(shù)據(jù)，再導(dǎo)入目標(biāo)系統(tǒng)Other Source SystemIMGESUJIOERPRepJicaticxiAgcfHtERPOBDashboaniDs&tgnCbems (plamed, eg)SAP BI4 tniverses(Wcbi.)In”冷eniory GompubngEngiocSesionMaiagemenriRe

10、pficaucrServer薊的u曲Focssing i E wrutton CdotroiSQLPmerMDXSOL lien ptBU ExplorerBu AndlysisS0O WServicesInformatonDesignerDesiiTaolS8OBMOSL3serversSaorttes(program kx dient)LoadCartiullerTransact ionManagerAuthonalionkAansgerRelational、Flo StweCotuw StwePage ManagefTKHlOtfy Sow館SysisrmSAPhtetWawer如Par

11、tyBWO恥StorageDvUL&q ofljFCTSAf1fcutinoss Otifocts 814其他的數(shù)據(jù)源，由于BI 的In-Memory Computi ng EngineIMCE 的核心組件部分）? Clie nts客戶端的工具，用什么方式瀏覽工具（查看報表或者查詢），或者用什么工具來展現(xiàn)數(shù)據(jù)（報表設(shè)計(jì)工具，是用 Explorer 還是用 Web Intelligenee,或者用 CrystalReport 也是可以的，這里不多加描述）和數(shù)據(jù)導(dǎo)入相關(guān)的Loading Data into HANA? Modeli ng工具中可以創(chuàng)建數(shù)據(jù)庫表? Replieatio n A

12、ge nt（這里可能是使用 SLT 實(shí)時同步的情況下），可以安裝在ERP中作為一個但單獨(dú)的組件，監(jiān)控應(yīng)用層的數(shù)據(jù)庫修改，然后可以同步到HANA 的IMCE Shi Model ingAdministraliofiReplicationAgentERP DBLogMS ExcelClients (planned, sgiDashboardDesignSAP BI4 universes (WEf)In-Merrory Computing EngirSession ManagementReplicationServerRequest Processing / Execution GoSQL Pare

13、&rSQL ScriptDataSBOServicesInformationDesignerDesign ToolSBO 014CatsserversServices(programfor dient)Other Source SystenESAPNetWeaver3rdPartyBWBusiness Objects EnterpriseCalcE數(shù)據(jù)庫Data Service Designer用來創(chuàng)建數(shù)據(jù)的 source，以及 target , 可以做mapping ，作為 ETL 的工具，比如創(chuàng)建定時的作業(yè)，這樣可以定期的從sourcesystem 抽數(shù)據(jù)，然后導(dǎo)入到 HANA 的

14、數(shù)據(jù)庫中? Data Service 是服務(wù)器端（雖然使用 DS 作為 ETL 的工具，然后 DS 依然需要一 個數(shù)據(jù)庫來支持，注意！不是用來存儲從 ERP 來的數(shù)據(jù)，然后傳輸?shù)紿ANA 中,是用來保存一些 mapp ing 關(guān)系的資源庫）D：話腴崢Desjgrer Job Server數(shù)據(jù)建模的相關(guān)親戚成員Data Modeling?同樣， Modeling 工具 （就是 HANA 的 Admin Studio ） ， 用來創(chuàng)建數(shù)據(jù)模型，Attribute View ， AnalyticalView ， Calculation View，在 Modeling 工具中可以直接查看 HANA 中

15、數(shù)據(jù)庫表，也可以創(chuàng)建表等。? Meta Data Man ager? SBO In formation Desig n Tool,比如創(chuàng)建一些 Busi ness Layer，然后發(fā)布成Uni verse ，這樣其他的 BO 的報表設(shè)計(jì)工具就可以使用這個基于Un iverse 的數(shù)據(jù)模型了，然后開發(fā)出查詢報表，等等。? Data Service Designer，除了幫助 load 數(shù)據(jù)之外，它提供了和報表相關(guān)的MS ExcelLmhboordDestiCCfehfe (pianned. eg.JSAP EM urwvfesfW0H(.,)BM ExpiorerDM ynalysisERPRe

16、plicatKnAgentERP 00gIn Merroiy Gonputrng EngineDataServicesD&ygnerDataSSOloRifniationfoolSBOB14MRfiTS(prewnH&quesi Processing1Execution ControlTransacuonManagerReplicationSQf ParserMQXServerSQL ScriptGak E ngteAuthoujaiioriCortrniterRA-lnonalFnginesRa*5tryfsColumn Stor&MetadataUonaqoFEMC

17、E StudioAdmru stationModeler gUbpMtM EntrpiscPage MndgEmenl卩如別 7 羽I.紬円LoggerHANA 中的數(shù)據(jù)都是保存在內(nèi)存中的，一拉閘停電，數(shù)據(jù)就沒有了，雖然服務(wù)器掉Reporting靈活點(diǎn)Admi ni strati on -管理?HANA的維護(hù)管理例如備份和恢復(fù)都是在 IMCE Studio 里面做的，和 In formation Modeli ng同一個界面，只是切換到管理視圖的話，就可以看到用戶，角色，schema 等，以及HANA 的服務(wù)的一些系統(tǒng)狀態(tài)。IMCE StudioAdministrationModelling?

18、Persistenee Layer持久層IMCE SludioAdmnisliatioGModeJtngERPRepi catiori A&ntERPD&LogDataSBOServicesInfoonsDonEJesignefDegrilixiiS0C0I4DtaSGFVJCPSf progom fo4 uniw&rses陋MJIn栩甘忻畀ConxxjfrnaErwincW 即I咧 sServefLoadContruHerRquiesl Ptncessing I Execution CortirrtSQLPwMDXSQL ScriptCale Engine加；itwn

19、gl EnineftflMf StoreCdumn SioroBM ExpkxerB14 AnalysisTrjttoadia iMFugerAurhonzationManage*lfanage叭iData savepointLog v/rittenPo ve-r failureto persistent storageto persistent storagei committed transactions)這里可以看到從 HANA 的內(nèi)存寫到 Persistenee Layer的數(shù)據(jù)，包含了 2 個部分：Data和 Log，這個過程是持續(xù)不斷的過程，當(dāng)然中間有一定的時間間隔，其實(shí)Persi

20、stenee Layer就是HANA勺內(nèi)存數(shù)據(jù)庫的某個時點(diǎn)的一個完整的鏡像拷貝，以及這個拷貝之后所所有發(fā)生的數(shù)據(jù)庫更新的Log信息（在停電前成功執(zhí)行完畢的）為什么不直接寫入磁盤保存呢？因?yàn)?HANA 基于內(nèi)存數(shù)據(jù)庫（newDB），這種實(shí)時數(shù)據(jù)同步操作或者實(shí)時數(shù)據(jù)的更新是很快的，但是磁盤的讀寫速度往往和內(nèi)存的速度有差異，為了解決這個問題，在硬件層面提供了一個閃存（即使斷電，還有數(shù)據(jù)，有點(diǎn)像快速緩存，這個 閃存有 24TB 左右）用來同步保存內(nèi)存數(shù)據(jù)庫中的log 信息，并且生成 Save Point ，然后寫入真正的持久的磁盤存儲。?Disk Storage,硬盤/固態(tài)存儲Disk Storage用于保存和備份 HANA 的數(shù)據(jù)庫，因?yàn)?Persistenee Layer的容積是有限的，所以 HANA 的備份都是放在外部的物理存儲的，