安装指南 用户指南 文档下载 |
数据资源中心 /
数据标准化数据接入完成后,可以对接入数据进行标准化操作,这里以接入的mysql数据为例介绍如何进行数据标准化。 创建标准化任务
点击左侧菜单【资源中心】图标,进入数据资源首页,在左侧原始层选中需要标准化的库表,点击右侧表详情里面的【标准化配置:去配置】按钮,开始标准化配置操作,如下图所示: ![]() 选择数据来源
选择数据来源,配置数据接入方式,支持全量接入和增量接入,如下图所示: ![]() 选择数据存储
配置数据存储策略,选择存储引擎、连接信息,存储策略(支持覆盖和追加两种模式),输入标准化后落地的数据库名、数据表名,如下图所示: ![]() 定义信息转换规则
定义清洗转换规则,可进行数据探查、变更列数量、添加备注、重命名、函数配置、全量大小写转换、备注批量导入等操作,如下图所示: ![]() 参数说明: 定义去重策略
配置去重策略,去重属性配置待去重的列,排序列和类型用于设置在重复的列按排序列排序,并保留第一条。还可配置过滤、脏数据等,如下图所示: ![]() 参数说明: 配置调度策略
配置调度策略,在发布时有效,如下图所示: ![]() 参数说明:
运行标准化任务
点击【立即运行】按钮,运行标准化流程,如下图所示: ![]() 运行成功后,页面提示用户运行成功,如下图所示: ![]() 发布标准化任务点击【发布】按钮,发布任务,如下图所示: ![]() 发布成功后,页面提示用户发布成功,如下图所示: ![]() 结果查询
运行成功后,点击【结果比对】按钮,可查看原始数据和标准化数据的比对结果,如下图所示: ![]() 标准化完成后,返回到数据资源目录,标准层会新增刚刚标准化后的表,如下图所示: ![]() 标准化完成后,点击【任务管理】进入任务列表查看生成的标准化任务,如下图所示: ![]() 任务列表结果查询,如下图所示: ![]() 返回 数据资源中心 |