概述
在数据处理中,经常遇到的一种数据类型就是JSON,MySQL数据库解析JSON,参考
json_merge with group by
需求:
对于如下多条json array数据,希望通过其他字段group by实现拼接,得到[{"ruleId": 36, "ruleName": "包赔"},{"ruleId": 27, "ruleName": "定期彩虹"},{"ruleId": 28, "ruleName": "理财产品"}]
这样的完整的数据
json_merge貌似无法实现?
解决方案:concat('[', group_concat(DISTINCT substring(hit_rule, 2, char_length(hit_rule) - 2)), ']')
注意:
- 不能使用
length
,而要使用char_length
,一个中文字符等于3个英文字符;
- 增加一个DISTINCT用于去重。但是distinct是对
substring(hit_rule, 2, char_length(hit_rule) - 2)
整体进行distinct的,而这个结果是一个json array,不同的记录行完全可能含有相同的json object,只能到业务代码层去进行distinct? - 当数据量上来后,group_concat拼接的结果不是一个json!!因为默认的group_concat有长度限制。临时性的解决方法:在SQL前追加一条
SET SESSION group_concat_max_len=102400;
。执行时需要选中前述设置语句(当然两个分号的SQL语句不能写在mybatis mapper xml文件里面)。永久性的解决方法:找DBA在MySQL配置文件中加上group_concat_max_len = 102400
- 若数据库里面存在空的json array(非脏数据),即
hit_rule=[]
,上面的concat结果会得到脏数据,即不是一个合法的json array,例如:[,{"ruleId": 36, "ruleName": "包赔"}]
,不过!在使用阿里的fastjson这个jar包时,JSONArray.parseArray()
不会出错,能兼容!!
参考
MySQL修改group_concat的长度限制
mysql-json-merge-and-group-by
mysql-distinct-on-a-group-concat
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/142247.html