使用 Qualitis 和 Spring Boot 在 Linkis 平台上提升数据质量，一站式解决方案

《开源精选》是我们分享 Github、Gitee 等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的 Qualitis 是一个数据质量管理平台，支持对各种数据源进行质量验证、通知和管理。用于解决数据处理引起的各种数据质量问题。

项目概述

Qualitis 基于 Spring Boot 向 Linkis 平台提交质量模型任务。提供数据质量模型构建、数据质量模型执行、数据质量验证、数据质量生成报告等功能。

同时，Qualitis 提供财务级资源隔离、管理和访问控制的企业级特性。也保证了在高并发、高性能、高可用的场景下也能正常工作。

特征

• 数据质量模型定义

支持以下数据质量模型：

1.单表模型。

2.多表模型。

3.定制模型。

同时，Qualitis 预置了多个数据质量验证模板，包括空校验、空白校验、数校验、枚举校验等常用校验，简化了数据质量模型定义。

• 数据质量模型调度

支持数据质量模型调度。

• 数据质量报告

支持生成数据质量报告。

• 日志管理

支持数据质量任务的管理。

• 异常数据管理

支持异常数据存储，快速定位问题。

• 支持工作流支持在工作流当中进行数据质量校验

工作流必装DataSphereStudio.

• 管理员控制台

提供管理员控制台界面，支持人员管理，权限管理，权限管理，元数据管理等管理功能。

系统架构图

快速部署

1. 基础软件安装

Gradle (4.9)

MySQL (5.5+)

JDK (1.8.0_141)

Hadoop (2.7.2)

Hive (1.2.1)

Zookeeper (3.4.9)

Linkis (0.9.1)，需要 Spark 引擎。

2.下载

地址：https://github.com/WeBankFinTech/Qualitis/releases

3.编译

gradle clean distZip

安装

解压

zip

unzip qualitis-{version}.zip

tar

tar -zxvf qualitis-{VERSION}.tar.gz

连接 MySQL 并初始化数据

mysql -u {USERNAME} -p {PASSWORD} -h {IP} --default-character-set=utf8 
source conf/database/init.sql

修改配置

vim conf/应用程序-dev.yml

修改以下配置：

## 数据库配置
spring.datasource.username= 
spring.datasource.password= 
spring.datasource.url=

##数据库配置，同上
task.persistence.username= 
task.persistence.password= 
task.persistence.address=

## 动物园管理员地址
zk.address=