ww_acme
Flink CDC 研究
纯均代码优化 功能描述: 1> 优化checkpoint无法正常使用的问题,使用外部Redis缓存,定制源到目标的数据传输方式为内存,数据序列化为BinaryRowData传输,增加记录日志序号标识字段,作为数据传输完成时缓存到外部的内容,程序中断时从此缓存序号标识的日志的后一条开始传输,确保程序在断网、程序异
distributed-file-transfer 离线采集汇聚的非结构化数据源高效并行传输 1> 通过json配置文件配置文件传输任务,支持ftp、sftp、oss、本地文件作为源,向ftp、sftp、oss作为目标的文件传传输; 2> 支持多线程并发读取文件,对文件流进行切片处理,并行的从源端传输到目标端,目标端收集完所有分片再按配置文件需求持久化到文件端
flink-connector-jdbc 目前源码来自于flink1.16,会放到flink1.17中 增加对达梦数据库的支持(dameng V8)