RRDtool性能優(yōu)化的研究與實(shí)現

第7卷第4期襄樊職業(yè)技術(shù)學(xué)院學(xué)報VoL7 No.42008年7月Joumal of Xiangfan Vocational and Technical CollegeJul .2008RRDtool性能優(yōu)化的研究與實(shí)現吳綱(湖北工業(yè)大學(xué)計算機學(xué)院, 湖北武漢430068)摘要:對Linux下開(kāi)源軟件RRDtool進(jìn)行了簡(jiǎn)單的介紹,闡明了RRDtool存在性能優(yōu)化的空間,分析了RRD數據庫文件格式,提出了提高性能的RRDServer 后臺服務(wù)進(jìn)程設計方案,并給出了相關(guān)的測試方法、測試結果與結論。關(guān)鍵詞:流量檢測系統;RRD;DS中圖分類(lèi)號:TP315文獻標識碼:A文章編號:1671-914X(2008)04 -0007 -031 RRDtool與RRD數據庫RRADSrRDtool全稱(chēng)為round robin database tool,通常RRAo,0DSHDS2DS_-IDS。~RRAo, 1DS_I)S。應用在網(wǎng)絡(luò )流量系統中,用來(lái)存儲網(wǎng)絡(luò )流量信息。由于網(wǎng)絡(luò )流量較快，普通數據庫如MySQL.oracle很難RRAo,koDS.滿(mǎn)足在容量與性能等方面的需求,RRDtool卻用---種RRA,0特殊的設計方式解決了此類(lèi)問(wèn)題[2引1。RRDtool 以某RRA,k種統計形式(最大值、最小值、平均值等)來(lái)循環(huán)存儲RRA2,ODS，DS_1.............歷史數據,從數據結構的角度說(shuō)就是循環(huán)隊列,從而RRA2,ks .實(shí)現了RRD數據庫文件大小不變的特性(1。RRDtool目前在設計上也存在一定的缺陷，如在RRA.m__DSDS,圖1RRA與DS的關(guān)系圖提取數據時(shí)只能提取所有的數據源，不能按數據源(DS)名稱(chēng)提取數據,靈活性較差。同時(shí),由于RRD-cookieversiontool的數據更新為磁盤(pán)操作,對于某些實(shí)時(shí)系統頻繁ds countma count地更新、索引數據很不利,如果能夠將RRDtool的數last update time據庫文件放在內存中將極大地提高系統的性能。所RRAg,0以無(wú)論在RRDtoo的靈活性和性能方面都有非常大RRAo,1.DS_ DS。的改進(jìn)空間。RRAz.02RRD數據庫格式分析通過(guò)RRDtool創(chuàng )建的RRD數據庫文件大體上分成兩部分:數據庫文件頭部信息和數據庫文件實(shí)圖2RRDtool數據庫文件整體模型體數據部分5。頭部信息中主要包含一些版本信息3 RRD server設計如版本號、數據存儲信息如數據源(DataSource)數本文針對目前RRDtool存在的缺陷和性能方面量,RRA(Round Robin Area)數量最近更新時(shí)間、更的問(wèn)題對RRDtool進(jìn)行了一定的改進(jìn)，改進(jìn)后的新時(shí)間間隔等信息。RRD數據文件最重要的部分為RRDtool稱(chēng)為RRD server。 該RRD server 不改變數據實(shí)體部分，該部分有兩個(gè)重要概念，分別為.RRDtool數據文件的存儲形式(RRA形式),目的是對RRA和DS。RRA- _循環(huán)存儲區域為數據載體,DS-數所有的RRDtool 的數據文件進(jìn)行兼容，同時(shí)也減小據源為數據實(shí)體。一個(gè)RRD數據庫文件有多種工作量。RRDserver功能包括:數據庫文件load(加RRA，而每種RRA中存在多條RRA紀錄，在每條載)到內存、更新內存中數據庫數據、索引內存中數RRA中存儲多個(gè)數據源(DS)6。據庫數據、網(wǎng)絡(luò )功能和數據備份功能。圖1為RRA與DS的關(guān)系圖,RRDtool數據庫3.1數據庫 文件load(加載)到內存文件的整體模型如圖2所示中。中國煤化工命令創(chuàng )建的數據收璃日期:2008-03-28THCNMHG作者簡(jiǎn)介:吳綱(1976- -).男,期北武穴人，武漢職業(yè)技術(shù)學(xué)院教師,湖北工業(yè)大學(xué)計算機學(xué)院20w減以上制九工。-7-第7卷第4期襄樊職業(yè)技術(shù)學(xué)院學(xué)報2008年第4期庫文件加載到內存中。對該數據文件的更新全部改RRD server為對內存區域的更新,同時(shí)指定一個(gè)定時(shí)時(shí)間間隔,在指定時(shí)間間隔到達時(shí)，將內存中的數據更新到物RRD server命令行解析模塊理磁盤(pán).上。3.2更新內存中數據庫數據該功能更新通過(guò)第一步加載到內存中的數據冒|庫,這樣相對于更新磁盤(pán)來(lái)說(shuō),有非常高的系統性能西系提升。信|統據昌|信存3.3索引 內存中數據庫數據器|顯|儲從第一步加載到內存的數據庫中提取所需要數奧|塊獲.快據,相對于從磁盤(pán)提取數據來(lái)說(shuō),有非常高的性能提升。3.4 網(wǎng)絡(luò )功能圖4 RRDserver 程序框架圖將RRDserver設計成類(lèi)似于MySQL的運行模式,數據庫的創(chuàng )建、加載、更新、索引等一系列操作都4測試是通過(guò)Client的命令行傳輸給Server 端，然后由4.1測試指標Server端進(jìn)行相關(guān)的處理,Server將處理后的結果傳RRD server設計的目的就是彌補缺陷、提高效輸給Client。同時(shí)RRD server的一些運行信息,例如.率,但是首要的目標是正確性,所以RRDserver的測定時(shí)器時(shí)間間隔、數據庫備份目錄等Client可以通.試指標分為兩個(gè)指標,分別為正確性和運行效率。過(guò)get.set命令獲取到。其交互過(guò)程如圖3。4.2測試方案4.2.1 RRD server 正確性測試 正確性測試時(shí)利用RRD severshell腳本隨機生成數據分別向RRDtool和RRDRRD server裝規文件server插入數據，然后從RRDtool和RRD server中提裝載是否成功取數據,最后對提取的數據進(jìn)行比對,如果提取的數據.創(chuàng )建數據庫創(chuàng )建數據庫是否成功一樣,則說(shuō)明RRDserver滿(mǎn)足正確性,否則不滿(mǎn)足。引數據厙數據"4.2.2 RRD server性能測試在測試 RRD server性索引數據庫數據結果能時(shí)采用匯編指令Rdtsc來(lái)獲取數據更新或提取操更新數據庫數據作所消耗的時(shí)間。Rdtsc是一-條在Penium以上的更新數據庫是否成功CPU中提供的匯編指令。該指令能夠取得在開(kāi)機以提取數據庫信息來(lái)CPU執行的周期數,本文采用內聯(lián)匯編的方法將返回數據庫信息結果rdtse匯編進(jìn)行封裝成-一個(gè) 函數，該函數返回值為計算機開(kāi)啟到現在所執行的機器周期。測試時(shí),將該函圖3 RRDserver 交互圖.數放在數據更新和數據索引的前后位置,將兩者計3.5數據備份功能算的結果進(jìn)行相減就是該更新或索引所消耗的CPU該功能的作用為保存已有的數據以避免在服務(wù)執行的周期,再將CPU執行周期除以CPU的主頻就器出現故障時(shí)引起數據的丟失。原有RRDtool數據為更新與索引的耗時(shí),具體的公式見(jiàn)式(1)。這樣就能的更新和索引都是在磁盤(pán)進(jìn)行操作，這樣不會(huì )引起能夠提高測試時(shí)間精度。數據丟失,但是RRDserver的所有數據信息都保留更新和索引耗時(shí)=: CPU執行周期在內存中,如果服務(wù)器出現問(wèn)題，機器重新啟動(dòng),那CPU主頻么內存中的數據將丟失，所以要定時(shí)將內存中的數在進(jìn)行測試時(shí)，對RRA與DS不同比例分別進(jìn)據保存到硬盤(pán)上，以便在出現災難的時(shí)候能夠恢復行不同變形次數的測試，以全面測試RRDserver的到最近的狀態(tài)。定時(shí)的時(shí)間間隔可以寫(xiě)在配置文件性能。 RRD serve的整體測試邏輯圖如圖5。中或者由Client端控制。4.3測試結果在備份了內存中的數據庫文件后，磁盤(pán)上已有本文通過(guò)上面的測試方案進(jìn)行測試得出RRD-的文件也要備份,從而達到雙重保險的功能。該備份server能夠滿(mǎn)足正確性，在此不列舉出測試數據,性可以由Client發(fā)送命令來(lái)啟動(dòng)，同時(shí)能夠設定備份能測試的部分數掘如夷1所示的目錄等一系列功能。根據上面功能點(diǎn)設計,RRD-中國煤化工樹(shù)的RRDserver 與Server程序框架如圖4。RRD.YHCNMHG9所示。通過(guò)測試數. 8-吳綱:RRDtool 性能優(yōu)化的研究與實(shí)現∞rclientRRDerverRRDnool04-RRDtool create西0.02RRDtool update<100N更新次數RRDtool fetch圖6 RRDServer 性能對比圖(RRA:DS=1:1)RRDrool fetch-致測試失敗)(測試成功圖7 RRDServer 性能對比圖(RRA:DS=1:50)圖5測試邏輯圖裘1 RRDServer 性能測試對比表RRA:DS更新數量(次) 110140200RRDtool0.0300.038 0.047 0.05:1毛0.1RRDserver0.0060.007 0.009 0.011書(shū)a0.056 0.069 0.083 0.0971:500.0160.020 0.025 0.0301:100RRDtoo0.0680.085 0.109 0.1260.027 0.034 0.041 0.049圖8 RRDServer性能對比圖(RRA:DS-=1:100)20:200.0420.048 0.064 0.07(0.0090.011 0.012 0.014十RDSem據的分析得出在單獨提高RRA或DS的數量時(shí)性能提升較小,大多控制在5到6倍之間,如果能夠同時(shí)毛.04提高RRA和DS的數量則性能提升較大。5結論通過(guò)對上面RRDserver測試結果的分析得出，RRDserver能夠在正確性和性能上滿(mǎn)足要求,所以改造后的RRDtool-RRDserver能夠應用在具體的項目中以提高系統性能。圖9 RRDServer性能對比圖(RRA:DS=20:20)參考文獻:[1 ]luca Der.fective Traffic Measurement Using ntop[J].Communications Magazine IEEE,2000, 38(5):138-143.[2]謝喜秋,梁潔.網(wǎng)絡(luò )流量采集工具的分析和比較[J].電信科學(xué),2002, 184):63- -66.[3] Wlliam Salling. SNMP網(wǎng)絡(luò )管理[M].胡成松,汪凱,譯.北京:中國電力出版,2001.[4]唐海娜,李俊.基于RRD的網(wǎng)絡(luò )流量監測方法[]J]微電子學(xué)與計算機,2003 20(7):52 -55.[5] Luca D.Monitoring Networks Using Ntopl[C]Satle1EEE/IFTP Intemati中國煤化工[6] Tobi 0O.RRDTOOL[EB/0Ttp:/:/people e.ethz. chl/~ oetiker/ Webools/[7] Ben R.Cetting Staretd with RRDtol[EB/0:T:tp://www .cuddlecb.comMHCNMHG.(責任編輯:張韶虹).9-