跳到主要內容

「從零單排canal 01」 canal 10分鐘入門（基於1.1.4版本）

1.簡介


canal [kə'næl]，譯意為水道/管道/溝渠，主要用途是基於 MySQL 數據庫增量日誌解析，提供增量數據 訂閱 和 消費。應該是阿里雲DTS（Data Transfer Service）的開源版本。


2.提供的能力


Canal與DTS提供的功能基本相似：


1）基於Mysql的Slave協議實時dump binlog流，解析為事件發送給訂閱方。


2）單Canal instance，單DTS數據訂閱通道均只支持訂閱一個RDS，提供給一個消費者。


3）可以使用canal-client客戶端進行消息消費。


4）也可以通過簡單配置，也可以不需要自行使用canal-client消費，可以選擇直接投遞到kafka或者RocketMQ集群，用戶只需要使用消息隊列的consumer消費即可。


5）成功消費消息后需要進行Ack，以確保一致性，服務端則會維護客戶端目前的消費位點。


3.工作原理


MySQL的主從複製分成三步：



  • master將改變記錄到二進制日誌(binary log)中（這些記錄叫做二進制日誌事件，binary log events，可以通過show binlog events進行查看）；

  • slave將master的binary log events拷貝到它的中繼日誌(relay log)；

  • slave重做中繼日誌中的事件，將改變反映它自己的數據。


 


canal 就是模擬了這個過程。



  • canal模擬 MySQL slave 的交互協議，偽裝自己為 MySQL slave ，向 MySQL master 發送 dump 協議；

  • MySQL master 收到 dump 請求，開始推送 binary log 給 slave (即 canal )；

  • canal 解析 binary log 對象(原始為 byte 流)；


 


4. canal 架構


4.1 admin版本整體架構


canal 1.1.4開始支持admin管理，通過canal-admin為canal提供整體配置管理、節點運維等面向運維的功能，提供相對友好的WebUI操作界面，方便更多用戶快速和安全的操作，替代了過去繁瑣的配置文件管理。


整體部署架構如下。


 



  • 多個canal-server可以組成集群模式，每個instance任務通過zookeeper在集群中實現高可用

  • 通過多個集群，可以實現同步資源的物理隔離

  • 可以直接抓取消費投遞MQ，可以實現生產/消費解耦、消息堆積、消息回溯

  • 可以抓取消費投遞給canal-client，在用戶的服務中進行消息處理，減少中間過程


4.2 canal-server架構


 


說明：



  • server代表一個canal-server運行實例，對應於一個jvm

  • instance對應於一個數據隊列，是真正的變更抓取的實體 （1個server可以對應多個instance)


Instance模塊



  • EventParser ：數據源接入，模擬slave協議和master進行交互，協議解析

  • EventSink ：Parser和Store鏈接器，進行數據過濾，加工，分發的工作

  • EventStore ：數據存儲

  • MetaManager：增量訂閱&消費信息管理器


1)EventParser子模塊


EventParser模塊的類圖設計如下


 


每個EventParser都會關聯兩個內部組件：CanalLogPositionManager ， CanalHAController



  • CanalLogPositionManager：記錄binlog最後一次解析成功位置信息，主要是描述下一次canal啟動的位點

  • CanalHAController：支持Mysql主備，判斷當前該連哪個mysql（基於Heartbeat實現，主庫失去心跳則連備庫）


EventParser根據HAController獲知連到哪裡，通過LogPositionManager獲知從哪個位點開始解析，之後便通過Mysql Slave協議拉取binlog進行解析，推入EventSink


2）EventSink子模塊


目前只提供了一個帶有實際作用的實現：GroupEventSink


GroupEventSink用於將多個instance上的數據進行歸併，常用於分庫后的多數據源歸併。


3）EventStore子模塊


EventStore的類圖如下


 


官方提供的實現類是
MemoryEventStoreWIthBuffer，內部採用的是一個RingBuffer：


 



  • Put : Sink模塊進行數據存儲的最後一次寫入位置

  • Get : 數據訂閱獲取的最後一次提取位置

  • Ack : 數據消費成功的最後一次消費位置


這些位點信息通過MetaManager進行管理。這也解釋了為什麼一個canal instance只能支撐一個消費者：EventStore的RingBuffer只為一個消費者維護信息。


4.3 客戶端使用


數據格式已經在前文給出，Canal和DTS客戶端均採取：


拉取事件 -> 消費 -> 消費成功后ACK


這樣的消費模式，並支持消費不成功時進行rollback，重新消費該數據。


下面是一段簡單的客戶端調用實例（略去異常處理）：


// 創建CanalConnector， 連接到localhost:11111

CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils.getHostIp(),11111), destination, "", "");

connector.connect(); // 連接

connector.subscribe(); // 開始訂閱binlog

// 開始循環拉取

while (running) {

 Message message = connector.getWithoutAck(1024); // 獲取指定數量的數據

 long batchId = message.getId();

 for (Entry entry : message.getEntries()){

 // 對每條消息進行處理

 }

 connector.ack(batchId); // ack

}

5.總結分析


5.1 優點


1）性能優異、功能全面



  • canal 1.1.x 版本（release_note）,性能與功能層面有較大的突破,重要提升包括:

  • 整體性能測試&優化,提升了150%. #726

  • 原生支持prometheus監控 #765

  • 原生支持kafka消息投遞 #695

  • 原生支持aliyun rds的binlog訂閱 (解決自動主備切換/oss binlog離線解析) （無法拒絕它的理由！）

  • 原生支持docker鏡像 #801


2）運維方便



  • canal 1.1.4版本，迎來最重要的WebUI能力，引入canal-admin工程，支持面向WebUI的canal動態管理能力，支持配置、任務、日誌等在線白屏運維能力

  • Standalone的一體化解決方案，無外部服務依賴，運維更簡單，在某種程度上也意味着更穩定。

  • 開箱即用，節約開發與定製成本。

  • 有良好的管理控制平台與監控系統（如果你已經有promethus監控，可以秒接canal監控）


3）多語言支持



  • canal 特別設計了 client-server 模式，交互協議使用 protobuf 3.0 , client 端可採用不同語言實現不同的消費邏輯

  • canal 作為 MySQL binlog 增量獲取和解析工具，可將變更記錄投遞到 MQ 系統中，比如 Kafka/RocketMQ，可以藉助於 MQ 的多語言能力


5.2 缺點



  • 單instance/訂閱通道只支持訂閱單個數據庫，並只能支持單客戶端消費。每當我們需要新增一個消費端->MySQL的訂閱：對於Canal而言，就要給MySQL接一個"Slave"，可能會對主庫有一定影響。

  • 消息的Schema很弱，所有消息的Schema均相同，客戶端需要提前知道各個表消息的Schema與各字段的上下文才能正確消費。


好了，花了10分鐘應該對canal有大致了解了，下一期，阿丸計劃手把手教你搭建canal集群和admin管理平台，記得關注哦。


 



都看到最後了，原創不易，點個關注，點個贊吧～


知識碎片重新梳理，構建Java知識圖譜： github.com/saigu/JavaK…（歷史文章查閱非常方便）
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】



※教你寫出一流的銷售文案?



※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益



※回頭車貨運收費標準



※別再煩惱如何寫文案,掌握八大原則!



※超省錢租車方案



※產品缺大量曝光嗎?你需要的是一流包裝設計!



※推薦台中搬家公司優質服務,可到府估價


Orignal From: 「從零單排canal 01」 canal 10分鐘入門（基於1.1.4版本）

留言

張貼留言

這個網誌中的熱門文章

旅館疑有臭蟲 北市府稽查找嘸

有民眾抱怨，日前投宿的北市某旅館疑似出現臭蟲，北市觀傳局與衛生局、環保局聯合稽查，但因為沒有發現蟲屍，無法確認該旅館是否真有臭蟲，市府下周將召開專家會議處理該案，市長蔣萬安則允諾會以最高規格防範臭蟲。 北市某旅館傳出疑有臭蟲，議員陳宥丞23日在市政總質詢詢問市府處理進度，並指出法國、澳洲、韓國的臭蟲，起初都現蹤公車或地鐵卻沒被發現，直到大規模爆發，才付出大量社會成本處理，而且一般殺蟲劑無法殺掉臭蟲，北市是否有因應措施？ 觀傳局主任祕書蕭君杰表示，21日聯合環保局、衛生局到該旅館稽查，但沒有發現臭蟲，也沒有查到蟲卵跡象，只能檢查現場環境是否符合衛生相關規定，但環保局有指導業者如何針對臭蟲清潔消毒。觀傳局長王秋冬指出，下周會與專家學者召開會議，以最高規格處理此案。 想知道購買電動車哪裡補助最多? 台中電動車 補助資訊懶人包彙整 ；推薦評價好的 iphone維修 中心擁有專業的維修技術團隊，同時聘請資深iphone手機維修專家，現場說明手機問題，快速修理，沒修好不收錢住家的頂樓裝 太陽光電 聽說可發揮隔熱功效一線推薦東陽能源擁有核心技術、產品研發、系統規劃設置、專業團隊的太陽能發電廠商。 網頁設計 一頭霧水該從何著手呢? 回頭車 貨運收費標準宇安交通關係企業，自成立迄今，即秉持著「以誠待人」、「以實處事」的企業信念 台中搬家公司 教你幾個打包小技巧,輕鬆整理裝箱!還在煩惱搬家費用要多少哪？台中大展搬家線上試算搬家費用，從此不再擔心「物品怎麼計費」、「多少車才能裝完」 台中搬家 公司費用怎麼算?擁有20年純熟搬遷經驗，提供免費估價且流程透明更是5星評價的搬家公司好山好水 露營車 漫遊體驗露營車x公路旅行的十一個出遊特色。走到哪、玩到哪，彈性的出遊方案，行程跟出發地也可客製 廣告預算用在刀口上， 台北網頁設計 公司幫您達到更多曝光效益； 電動車補助 衛生局疾病管制科長張惠美表示，現場查到與臭蟲無關的多項衛生缺失，包含未提供從業人員體檢報告、簡易外傷藥品及器材超過有效期、紗窗有破損等，已要求業者2周內改善，將擇期複查，如果複查不合格，將依法裁罰3000元至2萬元罰鍰。 但陳宥丞批評，環保局未公告哪些藥劑能殺死臭蟲，很擔心北市會和韓國、法國一樣，把臭蟲防治交給民間恐造成大規模爆發，且北市內的廢棄傢俱回收廠也有可能成為臭蟲孳生的...
張貼留言
閱讀完整內容

2016年電動車和插電式混合動力車銷量預計將超過70萬輛

中汽協日前預測，2016年全國電動汽車和插電式混合動力車的銷量預計將超過70萬輛，較2015年的銷量增長一倍。 2015年電動車和插電式混合動力車的合併銷量為331092輛，較2014年增長了340%。其中包括247482輛電動車和83610輛插電式混合動力車，在24萬輛多的電動汽車銷量中，包括146719輛乘用車，另有100763輛為商用車。插電式混合動力車的銷量中，60663輛為乘用車，22947輛為商用車。 根據2015年起草的藍圖，政府計畫到2020年在全國範圍內新建12000個充電站和480枚充電樁。2014年年底，全國共有780個充電站共31000枚充電樁。2015年政府還為27個省市自治區設定了電動車的最低銷量目標。 政府預計，這些措施到位後，自主品牌車企的電動車和插電式混合動力車銷量到2020年可達100萬輛，到2025年可達300萬輛。 本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理 【其他文章推薦】 ※為什麼 USB CONNECTOR 是電子產業重要的元件? ※ 網頁設計 一頭霧水??該從何著手呢? 找到專業技術的 網頁設計公司 ，幫您輕鬆架站! ※想要讓你的商品成為最夯、最多人討論的話題? 網頁設計公司 讓你強力曝光 ※想知道最厲害的 台北網頁設計公司推薦 、 台中網頁設計公司推薦 專業設計師"嚨底家"!! Orignal From: 2016年電動車和插電式混合動力車銷量預計將超過70萬輛
張貼留言
閱讀完整內容

012.Kubernetes二進制部署worker節點Flannel

一 部署flannel 1.1 安裝flannel kubernetes 要求集群內各節點(包括 master 節點)能通過 Pod 網段互聯互通。flannel 使用 vxlan 技術為各節點創建一個可以互通的 Pod 網絡，使用的端口為 UDP 8472。 flanneld 第一次啟動時，從 etcd 獲取配置的 Pod 網段信息，為本節點分配一個未使用的地址段，然後創建 flannedl.1 網絡接口（也可能是其它名稱，如 flannel1 等）。 flannel 將分配給自己的 Pod 網段信息寫入 /run/flannel/docker 文件，docker 後續使用這個文件中的環境變量設置 docker0 網橋，從而從這個地址段為本節點的所有 Pod 容器分配 IP。 更多flannel參考：《008.Docker Flannel+Etcd分佈式網絡部署》。 提示：k8smaster01節點已下載相應二進制，可直接分發至node節點。 1.2 分發flannel 1 [root@k8smaster01 ~]# cd /opt/k8s/work 2 [root@k8smaster01 work]# source /opt/k8s/bin/environment.sh 3 [root@k8smaster01 work]# for node_ip in ${NODE_IPS[@]} 4 do 5 echo " >>> ${node_ip} " 6 scp flannel/{flanneld,mk-docker-opts.sh} root@${node_ip}:/opt/k8s/bin/ 7 ssh root@${node_ip} " chmod +x /opt/k8s/bin/* " 8 done 1.3 創建flannel證書和密鑰 提示：k8smaster01節點已創建flanneld的CA證書請求文件，可直接分發至node節點。 1.4 分發證書和私鑰 1 ...
張貼留言
閱讀完整內容