关于rds oss binlog 离线读取的问题

[bingzhan0613]

hi, 您好
我在实例配置文件中配置了
#rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=
重启canal 集群，还是无法获取到oss的binlog 这是什么原因呢？
看实例日志，也没有关于oss的信息
这是错误信息
2018-10-30 16:33:20.395 [destination = instance , address = 地址 ,
EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destination:instance[java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary log index file
at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:102)
at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:153)
at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:262)
at java.lang.Thread.run(Thread.java:745)

[bingzhan0613]

canal.instance.rds.accesskey，canal.instance.rds.secretkey运维给申请的，rds.instanceId的实例id也是没有问题的

[agapple]

oss binlog的回溯，目前只支持基于时间戳的定位，它会判定当前mysql binlog是否有该时间戳的数据，没有的话会从oss上去自动下载binlog，然后本地解析直到本地mysql binlog里时间能接上.

ps. 如果给了一个错误的binlog位点，不确定是给的位点错误，还是binlog被删除，后续可以针对RDS情况识别优化一下

[bingzhan0613]

@agapple
嗯，感谢你的回复，现在还有一个问题，就是我canal clients正常消费binlog，已经跑了有一段时间了，但是我看着zk中实例被消费的位置一直没有更新，这是什么原因呢？(canal的HA是用三台节点做的)，
如图：

�昨天下午看的也是这样，没有更新位置。
canal ha位点的更新策略是什么呀？我看文档是这么说的

canal server在接收了客户端的ack后，就会记录客户端提交的最后位点
但是我的位点没有被更新

[agapple]

1. 你server端没开启canal.instance.filter.transaction.entry=true吧？
2. 检查下当前run的server节点，对应的meta.log，看下如果有ack成功会记录信息

[bingzhan0613]

@agapple

1. 每个节点我设置了canal.instance.filter.transaction.entry=true
   2.没有看到运行节点有对应的meta.log ...
   嗯。。。我的集群搭建的有问题？😭

[agapple]

1. canal.instance.filter.transaction.entry=true这个设置的问题，过滤了事务头和尾，就没有可更新的位点 (位点记录以来begin/end事件)，新的v1.1.1有兼容这个参数，filter并不是过滤全部，而是会间隔几秒保留一个事务事件
2. rds binlog位点的问题，做了兼容处理，正常的位点被删除，只要位点里有timestamp，会自动下载oss binlog

[bingzhan0613]

@agapple
再次感谢🙏，
zk位点更新已经可以了，确实是canal.instance.filter.transaction.entry=true的问题引发的。

[bingzhan0613]

oss binlog的回溯，目前只支持基于时间戳的定位，它会判定当前mysql binlog是否有该时间戳的数据，没有的话会从oss上去自动下载binlog，然后本地解析直到本地mysql binlog里时间能接上.

ps. 如果给了一个错误的binlog位点，不确定是给的位点错误，还是binlog被删除，后续可以针对RDS情况识别优化一下

您说的RDS优化是怎么做的呢？我现在还是无法确定，它到底有没有去oss上面下载我要的binlog；

[agapple]

优化我已经代码提交了，可以基于master重新打个包

[shyboy0358]

rds binlog位点的问题，做了兼容处理，正常的位点被删除，只要位点里有timestamp，会自动下载oss binlog。现在针对这个问题的优化代码，在release版本里吗？

[agapple]

是的