DQC
数据质量监控平台
目前支持在云端调度系统中的DT及ODPS SQL数据质量校验

功能特点
•1、支持多种模板级规则

•2、可扩展的模板表达式

•3、支持强弱不同程度校验

•4、支持红橙级别告警

•5、校验规则与任务分离

•6、分区级别质量校验

•7、分区级别质量报告

•8、项目级规则

术语
DQC Data Quality Center数据质量中心
强规则 符合一定条件会阻塞任务的规则.设置强规则后,数据质量超过红色阈值会阻塞此天网任务子继续运行.
弱规则 不会阻塞任务.
橙色阈值 用户设置超过此阈值会报警,处理级别优先级一般较低.
红色阈值 用户设置超过此阈值会报警,处理级别优先级一般较高.

公式:
表的平均波动率:一段时间内每日环比的均值
表的平均记录数:记录数的每日均值
表的平均报警数:报警数的每日均值
最近30天的最大波动率:max( |(最近30天记录数最大值-最近30天记录数均值)/最近30天记录数均值|,|(最近30天记录数最小值-最近30天记录数均值)/最近30天记录数均值| )
最近30天的最小波动率: min( |(最近30天记录数最大值-最近30天记录数均值)/最近30天记录数均值|,|(最近30天记录数最小值-最近30天记录数均值)/最近30天记录数均值| )
参考

http://docs.alibaba-inc.com/pages/viewpage.action?pageId=239025791

http://baike.corp.taobao.com/index.php/%E5%9C%A8%E4%BA%91%E7%AB%AF%EF%BC%88DXP%EF%BC%89%E5%BA%94%E7%94%A8%E5%AE%9E%E4%BE%8B?spm=0.0.0.0.8PiiQR#DQC.E9.85.8D.E7.BD.AE

http://gitlab.alibaba-inc.com/guojun.cgj/dqc-doc/wikis/User_Manual?spm=0.0.0.0.XAGPYa

 

发表评论