青雲QingCloud自主研發Materialize MySQL引擎 海量數據分析能力全面提升

砍柴網

砍柴網官方百家號

2021年3月20日——

日前，青雲QingCloud受邀參加3306π成都站活動。青雲QingCloud數據庫研發工程師邰翀帶來《MaterializeMySQL：MySQL到ClickHouse的高速公路》的主題演講，分享了如何打破異構數據庫壁壘，同步MySQL數據庫中的數據至ClickHouse中，幫助用戶在應對海量數據高並發場景時，提升數據分析能力，挖掘數據價值。

青雲QingCloud數據庫研發工程師 邰翀

此次活動由3306π社區發起，旨在圍繞MySQL核心技術，將互聯網行業中最重要的數據化解決方案和核心技術理念帶到傳統行業中，構建良好交流互動環境，分享數據庫前沿知識。

在演講中，邰翀介紹了MySQL複制曆程，從最早的同構數據庫複制，到2013年的增強半同步複制，再到2017年支持組複制（MGR），實現金融級別可用的數據同步方案。隨後，以青雲QingCloud為代表的各大廠商開始研發高可用組件，如QingCloud MySQL Plus，通過真正的強一致性和高可用能力，來管理MySQL選舉、探活，並訂正數據准確性，從而達到集群數據強一致性、主從秒級切換、無中心化自動選主，以及依托於雲的跨區容災能力。但MySQL在有了高可用能力後，雖然可通過增加只讀實例的方式來增強AP能力，但是其數據結構和分布方式決定了AP能力相對較弱。

那麼，如何增強AP能力呢？答案是：ClickHouse。但ClickHouse 能否主動同步並訂閱MySQL數據呢？答案是：當然可以。青雲QingCloud ClickHouse 團隊自主研發的庫引擎——MaterializeMySQL引擎，就很好地解決這一問題。

邰翀闡述道：“MaterializeMySQL是對MySQL庫級別的映射，目前已作為實驗特性合並到ClickHouse 20.8版本中。其通過消費binlog存儲到MergeTree的方式來訂閱MySQL數據，可以直接將ClickHouse作為一個分析實例加入到MySQL複制中，替代MySQL一部分只讀實例進行商務分析、用戶畫像等分析業務。ClickHouse本身在支持海量函數來提升分析能力的同時，還支持標准 SQL，可以讓使用者享受到更好的體驗。”

與其他的ClickHouse 同步MySQL數據的方式相比，MaterializeMySQL的優勢更加明顯。邰翀認為，MaterializeMySQL打通了從MySQL到ClickHouse的數據傳輸通路，不僅提供了將MySQL數據精細化分析的能力，也為接下來的HTAP打下了基礎。

隨著萬物互聯的快速發展，數據開始呈現爆炸式增長，這也促使MySQL的能力進化加速。青雲QingCloud將繼續發揮自主創新的優勢，為解決海量數據分析提供先進的技術和產品支持，助力企業在海量數據中深度挖掘數據價值，為數字化轉型提供決策支持。