Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式

不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector),在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时,都会遇到 DataTime / Timpstamp 类型的转换问题,即:原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式,但是,转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间),这带来的问题是:下游表基于 Json 数据建表时,对应的字段/列不能直接声明为 DataTime / Timpstamp 类型,而是必须先声明 bigint / long 类型后再进行格式转换,这带来了很大的不变,更坏的影响是,在 Flink SQL 中就不能使用 like 子句来建表了,导致手写大量的 SQL。

这个问题的解法不 Flink CDC / Kafka Connect 上,而在 Debezium 自身,对于 Flink CDC 和 Kafka Connect 是通用的,就是:开发 Debezium 的 Custom Converter,自动对时间类型的数据进行格式转换。需要注意的是:Debezium 的 Custom Converter 机制做过重大升级,编写自定义的 Converter 时要注意你所使用的 Debezium 的版本!

首先,我们看一下 Debzium 官方文档对于自定义时间格式转化给出的方案:https://debezium.io/documentatio

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/584264.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

面试重点1:打开网页点击URL,返回页面内容,从网络协议层面讲解一下

在这种场景下,从网络协议层面来讲解打开网页并点击 URL 的过程可以大致分为以下几个步骤: 1. DNS 解析 当你在浏览器中输入一个 URL(例如 https://www.example.com),首先浏览器会进行 DNS 解析,将域名解析…

前端VUE项目中使用async()用法是为什么?能不用吗?

使用 async 关键字来定义一个函数主要有几个原因: 支持 await 关键字: async 函数允许你在其中使用 await 关键字,这使得你可以在不阻塞程序执行的情况下,等待一个异步操作(如网络请求、文件读写等)的完成。…

JAVA基础---Stream流

Stream流出现背景 背景 在Java8之前,通常用 fori、for each 或者 Iterator 迭代来重排序合并数据,或者通过重新定义 Collections.sorts的 Comparator 方法来实现,这两种方式对 大数量系统来说,效率不理想。 Java8 中添加了一个…

Python量化炒股的获取数据函数—get_concept()

查询股票所属的概念板块函数get_concept(),利用该函数可以查询一只或多只股票所属的概念板块,其语法格式如下: get_concept(security, dateNone)security:标的代码。类型为字符串,形式如‘000001.XSHE’,或…

邦注科技 模具清洗机 干冰清洗机 干冰清洗设备原理介绍

干冰清洗机,这款神奇的清洁设备,以干冰颗粒——固态的二氧化碳,作为其独特的清洁介质。它的工作原理可谓独具匠心,利用高压空气将干冰颗粒推送至超音速的速度,犹如一颗颗银色的流星,疾速喷射至待清洗的物体…

攻防世界XCTF-WEB入门12题解题报告

WEB入门题比较适合信息安全专业大一学生,难度低上手快,套路基本都一样 需要掌握: 基本的PHP、Python、JS语法基本的代理BurpSuite使用基本的HTTP请求交互过程基本的安全知识(Owasp top10) 先人一步,掌握W…

基准测试函数表达式--单峰函数与多峰函数

⚠申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址。 全文共计3077字,阅读大概需要3分钟 🌈更多学习内容, 欢迎👏关注👀【文末】我的个人微信公众号&#xf…

SSH和Telnet的区别

SSH(Secure Shell)和Telnet是两种网络协议,用于远程登录和管理计算机系统。但是它们有以下几个主要的区别: 安全性:SSH是一种加密的协议,可以向服务器传输加密的数据,以防止数据被窃听或篡改。而…

Arcade 用户界面滚动文本框

代码 import arcade from arcade import load_texture from arcade.gui import UIManager from arcade.gui.widgets import UITextArea, UIInputText, UITexturePaneLOREM_IPSUM ("Lorem ipsum dolor sit amet, consectetur adipiscing elit. Praesent eget pellentesqu…

探索互联网医院系统源码:在线问诊小程序开发教学

在线问诊小程序作为互联网医院系统的重要组成部分,为患者提供了更便捷、高效的医疗服务,成为了人们生活中不可或缺的一部分。今天,小编将带您探索互联网医院系统的源码,并介绍在线问诊小程序的开发教学,带领读者深入了…

【优质书籍推荐】Vue.js 3.x+Element Plus从入门到精通

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

JavaScript+C#云LIS系统源码JQuery+EasyUI+Bootstrap云LIS系统应用于哪些行业领域?区域云LIS系统源码

JavaScriptC#云LIS系统源码JQueryEasyUIBootstrap云LIS系统应用于哪些行业领域?区域云LIS系统源码 云LIS是为区域医疗提供临床实验室信息服务的计算机应用程序,可协助区域内所有临床实验室相互协调并完成日常检验工作,对区域内的检…

yo!这里是网络入门初识

目录 前言 基本概念 网络 协议 地址 网络传输流程 OSI七层模型 TCP/IP四层(五层)模型 流程图 数据封装&&分用 后记 前言 对于上一个专栏——Linux操作系统,我们学习了操作系统的基础知识以及基本的系统编程,其…

为什么大家都说品深茶可以抗癌

据说,品深茶的创始人之前是一个程序员,他在软件行业工作十多年,由于常年熬夜加班再加上抽烟喝酒等不良习惯,导致在一次体检中被查出患上了肾癌,对他来说,期待的财务自由还没实现,身体就已经完蛋…

【介绍下Selenium】

🎥博主:程序员不想YY啊 💫CSDN优质创作者,CSDN实力新星,CSDN博客专家 🤗点赞🎈收藏⭐再看💫养成习惯 ✨希望本文对您有所裨益,如有不足之处,欢迎在评论区提出…

leetCode63. 不同路径 II

leetCode63. 不同路径 II 题目思路 代码 class Solution { public:int uniquePathsWithObstacles(vector<vector<int>>& ob) {int n ob.size();if(!n) return 0;int m ob[0].size();vector<vector<int>> f(n,vector<int>(m));for(int i …

AI育儿教育赛道,今日头条,三分钟一篇原创,小白可做,可持续的好项目

项目简介&#xff1a; 随着人们生活水平的提高&#xff0c;越来越多的父母开始关注孩子的文化教育&#xff0c;希望他们能在学业上取得优异的成绩。许多家长在孩子还未出生时就开始注重胎教&#xff0c;为孩子创造一个充满知识和兴趣的成长环境。因此&#xff0c;育儿教育领域…

【C++算法竞赛 · 图论】树

目录 前言 树 树的定义 树的相关概念 树的遍历 1 先序遍历 2 中序遍历 3 后序遍历 前言 前两篇文章&#xff08;【C算法竞赛 图论】图论基础、【C算法竞赛 图论】图的存储&#xff09;中&#xff0c;介绍了图的相关概念与存储&#xff0c;还不了解的可以去补补课。 …

解决安装jieba失败的问题

1. 问题描述 在pycharm中通过Python Interpreter下载jieba库或者直接下载jieba压缩包等方式都无法解决import jieba报错的问题。 2. 问题解决 直接在pycharm的控制台中输入pip install jieba 下载jieba&#xff0c;当然通过这个方式下载很慢&#xff0c;所以使用镜像。 pip i…

超详细的Vue脚手架

文章目录 Node.js介绍安装快速入门控制台输出使用函数模块化编程 npm包管理器介绍命令初始化命令本地安装(了解)全局安装(掌握)批量下载淘宝npm镜像(建议使用) Webpack介绍安装快速入门方式一&#xff1a;webpack原始方式方式二&#xff1a;基于NPM方式 webpack-dev-server 开发…
最新文章