Canal adapter同步MySQL到ES,部分时间字段始终同步不过来

不管现实多么惨不忍睹,都要持之以恒地相信,这只是黎明前短暂的黑暗而已。不要惶恐眼前的难关迈不过去,不要担心此刻的付出没有回报,别再花时间等待天降好运。真诚做人,努力做事!你想要的,岁月都会给你。Canal adapter同步MySQL到ES,部分时间字段始终同步不过来,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

1.需要看一下包含_date字段的映射类型,如果是date那么就需要格式化一下,如果不是直接字符串存进去就行了
DATE_FORMAT(a.IN_OUT_DATE, ‘%Y-%m-%d’) as IN_OUT_DATE,
sql中也需要验证包含_date字段同时es中也是date类型的,是否都格式化

2.还有包含time的字段是一样的道理,前提是映射也是date类型
UNIX_TIMESTAMP(DATE_FORMAT(a.AUDIT_TIME, ‘%Y-%m-%d %H:%i:%s’)) * 1000 as AUDIT_TIME,

**

将包含 ‘date’ 的字段使用了 DATE_FORMAT 转换,只需要年月日就行,包含time的字段需要年月日时分秒!!

**
在这里插入图片描述
在这里插入图片描述
解决思路:把查出来的字符串格式化一下

MySQL查出来的20180116120000这个如何转换成2018-01-16
这是一个常见的需求,我们通常在MySQL中使用DATE或DATETIME函数将字符串格式转换为日期或日期时间格式。但是,你的数字并不符合MySQL直接转换的标准格式。你需要先将它转换为标准的日期格式字符串。

假设这个数字存在名为my_column的列中,所在表为my_table,你可以使用以下SQL查询来实现:

SELECT DATE_FORMAT(STR_TO_DATE(my_column, '%Y%m%d%H%i%s'), '%Y-%m-%d') as formatted_date
FROM my_table;

这个查询的工作方式是:

  1. 使用STR_TO_DATE函数将你的数字转换为一个日期时间值。‘%Y%m%d%H%i%s’ 是一个格式字符串,它告诉MySQL如何解析数字。在这个例子中,‘%Y’是四位数年份,’%m’是月份,‘%d’是日期,’%H’是小时,‘%i’是分钟,’%s’是秒。
  2. 然后,使用DATE_FORMAT函数将日期时间值转换为你需要的格式,‘%Y-%m-%d’,其中’%Y’表示四位数年份,‘%m’表示月份,’%d’表示日期。

请注意,这个查询假设你的数字始终代表有效的日期和时间。如果这不是情况,你可能需要更复杂的处理。

然而最好保留时分秒

如果你需要保留时间部分,你可以简单地调整DATE_FORMAT函数的格式字符串以包含时、分、秒。例如,如果你需要格式为 ‘2018-01-16 12:00:00’,你可以使用以下查询:

SELECT DATE_FORMAT(STR_TO_DATE(CRT_TIME, '%Y%m%d%H%i%s'), '%Y-%m-%d %H:%i:%s') as formatted_date
FROM tbl_ps_device_info;

在这个查询中,'%Y-%m-%d %H:%i:%s' 是一个格式字符串,其中 %Y 代表四位数年份,%m 代表月份,%d 代表日期,%H 代表小时,%i 代表分钟,%s 代表秒。因此,DATE_FORMAT函数将日期时间值转换为这种格式。

举个例子:
从tbl_ps_device_info表中查CRT_TIME这个字段

如果你想从tbl_ps_device_info表中查询CRT_TIME字段,并将其转换为日期格式(如 ‘2018-01-16’),你可以使用类似的查询:

SELECT DATE_FORMAT(STR_TO_DATE(CRT_TIME, '%Y%m%d%H%i%s'), '%Y-%m-%d') as formatted_date
FROM tbl_ps_device_info;

这个查询会从tbl_ps_device_info表中获取所有的CRT_TIME记录,然后使用STR_TO_DATE函数将它们转换为日期时间,然后使用DATE_FORMAT函数将日期时间转换为你需要的日期格式。

同样,这个查询假设CRT_TIME始终代表有效的日期和时间。如果可能有无效的日期时间,你可能需要更复杂的处理,例如使用IF函数检查STR_TO_DATE的结果是否为NULL

在这里插入图片描述

最终写成完整SQL:

SELECT 
    info.DEVICE_NO as _id, 
    info.DEVICE_NO, 
    info.DEVICE_NAME, 
    info.DEVICE_TYPE, 
    info.PARK_NO, 
    info.CHNO_NO, 
    info.IF_CONTROL, 
    info.CONTROLTIMES,
    info.STATUS, 
    info.STATUS_CHANGE_TIME, 
    DATE_FORMAT(STR_TO_DATE(info.CRT_TIME, '%Y%m%d%H%i%s'), '%Y-%m-%d %H:%i:%s') as CRT_TIME, 
    info.UPD_TIME, 
    info.OPR_FLAG, 
    info.ITEMID, 
    info.DELETED,
    info.INOUTTYPE, 
    info.IF_DOWN, 
    info.SUB_DEVICE_TYPE, 
    info.ORG_ID 
FROM 
    tbl_ps_device_info info
    --------
    #注意最后的分号也不能写,不然会拼接where条件错误

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/181595.html

(0)
飞熊的头像飞熊bm

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!