当前位置: 首页> 游戏> 游戏 > 大数据之Oracle同步Doris数据不一致问题

大数据之Oracle同步Doris数据不一致问题

时间:2025/7/14 13:49:43来源:https://blog.csdn.net/wb_zjp283121/article/details/140668063 浏览次数:0次

数据同步架构如下:

出现的问题:

 doris中的数据条数

源库中的数据条数

 

总数完全不一致。

出现问题的原因:

  在Dinky中建立表结构时,缺少对主键属性的限制

  primary key(ID) not enforced

 加上如上语句,数据条数解决一致

第二:数据完整性内容不一致

   

方案一虽然解决了数据总数的问题,但是数据完整性的方案解决因为如下原因:

原本的数据推送kafka中的before和after字段为表字段,类似与如下:

但是在oracle中数据推送的过程中,after中少了字段,导致数据不全

解决方案:

 oralce重新推送相关表数据的数据结构,保证数据字段的完整性,参考ogg官网

关键字:大数据之Oracle同步Doris数据不一致问题

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: