小編的世界 優質文選 資料
字體大小:
2021年10月31日 -
:
萬裏數據庫
匯聚群雄英豪 闊論數據江湖
2021年10月18 - 20日,由IT168聯合旗下ITPUB、ChinaUnix兩大技術社區主辦的第12屆中國數據庫技術大會(DTCC2021)在北京國際會議中心隆重召開。萬裏數據庫作為分布式數據庫知名企業,受邀亮相本屆DTCC大會,展示數據庫最新技術產品及應用實踐,為千行百業數字化轉型提供參考借鑒。
中國數據庫技術大會
DTCC大會歷經十年積累和沉澱,已成長為國內數據庫領域的技術風向標,見證了整個行業的發展與演變,被視為國內頂級的數據庫領域技術盛會。
本屆大會以“數造未來”為主題,設置2大主會場,20+技術專場,邀請了超百位行業專家,重點圍繞數據架構、人工智能與大數據應用、傳統企業數據庫實踐和國產開源數據庫等內容展開分享和探討,為廣大數據領域從業人士打造了一場年度盛會和交流平台。
主題演講——資深技術專家詳解MySQL高可用之道
10月20日下午,萬裏數據庫資深技術專家、TCPCopy研發作者、專業開源人士王斌先生在性能優化與SQL審計專場帶來了題為《MySQL高可用組件MGR之深度分析》的主題分享。
王斌先生擁有十數年後台系統開發經驗,尤其擅長處理性能優化、網絡處理和問題診斷等技術難題,對網絡和分布式系統造詣頗深,曾先後從事過分布式數據庫系統開發、數據庫開源中間件Cetus開發、開源項目TCPCopy開發等項目,並主導開發了網易廣告投放系統。在萬裏數據庫MySQL MGR改造工作中,發現MGR各類Bug 200餘項,修複極度影響用戶使用的Bug 100餘項,投入了大量的精力與熱忱。
此次演講,他從性能和實用性兩方面出發,分別從paxos通信協議、高可用模式、網絡條件、狀態機複制模型、多機房容災場景等技術人員關注的層面帶領大家共同挖掘MGR自身的潛力和實用模式。
1、MGR底層paxos通信協議為什麼存在性能缺陷?我們是如何發現和解決的?
王斌:底層paxos算法的實現好壞,決定了性能潛力和跨城部署情況下mgr能否實用。經過萬裏數據庫改造,正常情況下,一個事務的提交信息達成一致性需要的時間從官方版本的2個rtt降低為1個rtt。
2、針對MySQL單主模式,如何打造出低內存消耗、無性能抖動的新高可用模式?
王斌:官方mgr采用了最慢節點性能模型,受制於木桶原理,在poc測試場景中mgr集群性能很差。為適應poc測試,萬裏數據庫設計了一套新的性能模型,可以規避最慢模型的缺陷。據我們現場poc測試,改造後的版本比官方版本吞吐量提升了300%。
3、官方mgr要求網絡條件非常高,應如何降低這些條件以支持更多應用場景呢?
王斌:實際項目應用過程中,常遇到網絡抖動、其它應用干擾、節點的崩潰或退出以及節點的加入等問題。為了更好支持mgr應用,萬裏數據庫進行了大量改造,例如對mgr內部協程調度的算法調整,以更好的抗抖動性能支持MySQL的高可用。
4、狀態機複制在數據庫研究領域非常火,MySQL采用狀態機複制模型即mgr,還需注意什麼?
王斌:MySQL本身是複雜的,很多操作不具備狀態機複制的要求,這些操作容易導致整個集群的數據不一致。因此,凡是不符合狀態機複制的操作,一律需要規避。
5、多機房面對災難場景,如何盡可能地確保備機房不丟數據?
王斌:為響應用戶需求,萬裏數據庫實現了基於地理標簽的paxos通信機制,大部分情況下可做到跨機房部署情況下的數據不丟失。
展位交流——新一代分布式數據庫備受關注
本屆大會上,萬裏數據庫特設展位,攜多位技術專家及業務專家展示公司研發的新一代分布式數據庫技術,與數據領域的嘉賓及觀眾展開深度交流。
公司帶來的安全數據庫GreatDB分布式、安全數據庫GreatDB集中式、目錄服務系統、雲數據庫服務平台、數據遷移工具、數據同步工具等一系列核心數據庫產品及金融、運營商、能源等多個行業的典型案例受到了與會嘉賓的高度關注,眾多參觀嘉賓對萬裏的分布式數據庫技術及應用實踐表現出了極大的興趣,參觀人群如潮,體現了數字化轉型的大趨勢所在。
數據創造價值,技術成就未來。數據庫作為國家基礎軟件領域的關鍵技術之一,對國家安全、國家信息技術發展、國家數字經濟發展及企業數字化轉型均具有重大意義。
打造極致性能、極致穩定、極致易用的數據庫產品始終是萬裏數據庫的初心與使命所在。萬裏數據庫致力於數據庫產品及技術的創新研發,力求為千行百業客戶數字化轉型提供堅實的技術支撐,為加快國家數字經濟的發展盡獻全部力量。