Skip to content

tablemeta tsdb数据增加过期清理能力 #1047

@agapple

Description

@agapple

TableMetaTSDB介绍:https://github.com/alibaba/canal/wiki/TableMetaTSDB

思考的问题:tablemeta默认会24小时做checkpoint生成一份snapshot数据持久化,随着运行时间越来越久,snapshot数据会持续膨胀,需要增加一个expire的策略,定时清理掉陈旧的数据

设计思路:

  1. 增加两个参数:canal.instance.tsdb.snapshot.interval / canal.instance.tsdb.snapshot.expire
  2. 在interval的运行频率内,对超过expire时间的snapshot数据做定时清理。注意:这里会保留初始化init的第一份snapshot(第一份的binlog_timestamp=-1) ,避免所有的snapshot数据被清理掉

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

Milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions