DQC介绍

DQC
数据质量监控平台
目前支持在云端调度系统中的DT及ODPS SQL数据质量校验

功能特点
•1、支持多种模板级规则

•2、可扩展的模板表达式

•3、支持强弱不同程度校验

•4、支持红橙级别告警

•5、校验规则与任务分离

•6、分区级别质量校验

•7、分区级别质量报告

•8、项[......]

Read more

摩萨德介绍

摩萨德
监控天网上任务的运行情况,保障重要任务在合理的规定时间前产出。

强保障监控:保障重要任务的产出
弱保障监控:任务出错,完成,未完成提醒

任务:对数据进行处理的作业
基线:任务组,可以设置基线时间,表示这组任务的要求产出时间
业务线:有时也称之为应用或者项目,通常表示一个具体的业务项目。[......]

Read more

ODPS存储优化TIPS

存储优化分三块:

1、【未管理表】设置生命周期

2、【空表】【废弃开发表】删除或设置合理生命周期

3、【保留周期过长的表】

a 不需要保存太久的直接设置合理的生命周期

b 不确定需要保存多久和确实需要保留很久的,通过下面方法绕过:

由于健康分的计算主要是通过【3月最大访问】指标计算。该指[......]

Read more