最近更改 - 搜索:

功能总览?

产品介绍?

安装指南

用户指南

文档下载


FAQ.chm

调度专题.pdf

项目成员管理专题.pdf

数据质量与报告推送配置专题指导.pdf

edit SideBar

数据质量管理

数据质量管理:通过建立数据质量评估标准和管理规范,及时发现、监测定位、跟踪解决各类数据质量问题,形成数据质量问题的闭环处理,以保证数据质量的稳定可靠


规则模板配置

自定义SQL类型

Step1:

进入数据质量管理页面后,点击数据治理下拉列表中的【规则模板配置】,进入规则模板配置页面,如下图所示。

Step2:

进入规则配置页面后,点击模板分类下的具体分类中的【新增规则模板】或选定模板分类后点击右上角的【新增模板】,弹出规则配置弹框,如下图所示。

Step3:

在弹出中模板规则配置弹框中,设置模板名称、模板类型(这里选择自定义SQL)以及过滤表达式,如下图所示。

参数说明:

参数描述
模板名称设置模板名称
质量维度和新建模板时选定的维度一致
模板类型选自定义SQL
过滤表达式如果模板类型选择自定义SQL,则支持SQL语句编写,输出必须是单行单列。输入的字段名用$1...$N指代,表名用$table指代
规则字段规则字段置为表级规则,同时置灰不可修改
校验方式目前仅支持与固定值比较方式
比较方式包括大于、大于等于、等于、不等于、小于和小于等于6种比较方式
描述该规则的描述信息

Step4:

规则配置完成,可在右则列表中进行查看,如下图所示。

过滤表达式类型

Step1:

进入数据质量管理页面后,点击数据治理下拉列表中的【规则模板配置】,进入规则模板配置页面,如下图所示。

Step2:

进入规则配置页面后,点击模板分类下的具体分类中的【新增规则模板】或选定模板分类后点击右上角的【新增模板】,弹出规则配置弹框,如下图所示。

Step3:

在弹出中模板规则配置弹框中,设置模板名称、模板类型以及过滤表达式,如下图所示。

参数说明:

参数描述
模板名称设置模板名称
质量维度创建模板时选择的质量维度
模板类型选过滤表达式
过滤表达式支持生成where表达式,表达式可以通过辅助生成按钮生成。列名用$1...$N指代
辅助生成用于生成过滤表达式,支持展示和选择所有的内置函数,用户可以组合这些函数完成表达式生成
描述该规则的描述信息

Step4:

规则配置完成,可在右则列表中进行查看,如下图所示。

任务规则管理

新建检测任务

Step1:进入数据质量管理页面后,默认进入的任务规则管理页面,该页面左侧为检测任务目录,即在原有数据资源目录分层中在多加一层,右侧为任务规则配置页面,如下图所示。

Step2:点击检测目录中的表列表后的...为该数据资源新建检测任务,如下图所示。

Step3:在新建的检测任务弹框中,配置任务名称、调度策略以及数据读取策略,配置完成,点击【确定】,检测任务新建成功,如下图所示。

Step4:任务新建成功后,到对应的数据资源目录下,可看到该数据资源的检测任务,如下图所示。

新建规则

在左侧检测任务目录中选择具体的检测任务后,点击右侧的【新增规则】按钮,进行任务规则配置,如下图所示。

从模板创建

Step1:

在左侧检测任务目录中选择具体的检测任务后,点击右侧的【新增规则】按钮,选择【从模板创建】,如下图所示。

Step2:

在规模配置弹框中,选择模板,并替换模板中的$1为真是的字段名,配置完成,点击【确定】,如下图所示。

Step3:

确定后,规则创建成功,可在当前页面规则列表中查看,如下图所示。

自定义创建

Step1:

在左侧检测任务目录中选择具体的检测任务后,点击右侧的【新增规则】按钮,选择【自定义创建】,如下图所示。

Step2:

在规模配置弹框中,自定义类型选择表达式过滤,输入过滤表达式,配置完成,点击【确定】,如下图所示。

Step3:

确定后,规则创建成功,可在当前页面规则列表中查看,如下图所示。

编辑规则

点击规则列表后的【编辑】,在弹出的规则编辑弹框中,根据实际情况修改表达式或者名称、质量维度,修改完成,点击【确定】,如下图所示。

删除规则

点击规则列表后的【更多操作】--【删除】,弹出删除确认对话框,点击【确定】,规则删除成功,如下图所示。

复制规则

点击规则列表后的【更多操作】--【复制】,规则立即复制成功,如下图所示。

试跑

规则配置完成后,可以点击【试跑】按钮,运行当前的检测规则。

上一次检查结果

试跑完成或需要查看最近依次的质量检查结果,可点击【上一次检查结果】或结果监控标签页查看质量检测结果。。

结果监控

结果监控用于查看当前数据资源的数据质量监控任务运行情况。

结果监控列表用于查看所有数据质量监控任务运行情况,可以完成任务检索和列表展示功能。 查询支持资源名称、质量检测任务名称、状态和开始时间、结束时间的检索。 列表展示质量检测任务、状态、数据资源名称、得分、责任人、创建时间、开始时间和结束时间、操作等。从数据资源中心进入的数据质量页面,仅展示该数据资源的质量检测结果。

点击公共功能中心-数据质量-结果监控,进入监控列表,如下图所示。

当点击【结果查看】按钮后,如果任务运行成功,可以查看详细的评分情况。其他情况则结果查看不可点。

质量展示

系统支持从多个维度展示系统的数据质量情况。 最上方展示总览情况,显示质量检测总次数,平均质量评分、今日质量检测次数和今日质量评分。 下面报表支持输出近七天平均质量评分TOP10、近七天平均质量评分最低TOP10、近七天平均质量评分分布,以及按照不同的质量维度展示检测结果分布。根据维度的不同,最下面的结果分布展示的数量也不同。

返回 公共功能中心

编辑 - 版本历史 - 打印 - 最近更改 - 搜索
本页面最后修订于:2021年-01月-19日