DQC介绍

DQC
数据质量监控平台
目前支持在云端调度系统中的DT及ODPS SQL数据质量校验

功能特点
•1、支持多种模板级规则

•2、可扩展的模板表达式

•3、支持强弱不同程度校验

•4、支持红橙级别告警

•5、校验规则与任务分离

•6、分区级别质量校验

•7、分区级别质量报告

•8、项[......]

Read more

DQC
数据质量监控平台
目前支持在云端调度系统中的DT及ODPS SQL数据质量校验

功能特点
•1、支持多种模板级规则

•2、可扩展的模板表达式

•3、支持强弱不同程度校验

•4、支持红橙级别告警

•5、校验规则与任务分离

•6、分区级别质量校验

•7、分区级别质量报告

•8、项[......]

Read more

摩萨德介绍

摩萨德
监控天网上任务的运行情况,保障重要任务在合理的规定时间前产出。

强保障监控:保障重要任务的产出
弱保障监控:任务出错,完成,未完成提醒

任务:对数据进行处理的作业
基线:任务组,可以设置基线时间,表示这组任务的要求产出时间
业务线:有时也称之为应用或者项目,通常表示一个具体的业务项目。[......]

Read more

push日志收容现状(截至20151020)

  • 目前三种push日志收容到了3张TT表中:

三种push日志:

ios push
tt订阅日志名 push_ios_amap_log
odps表名 a[......]

Read more

IDB申请DRDS执行DDL(建表、修改表结构)流程——分库分表

在DRDS上申请执行分库分表的DDL需要4步:
1、在IDB上提建表申请单
2、主管审批,DBA审批
3、发按日期分表的DDL邮件给DBA(指定日期范围)
4、DBA分表建好后,通知刈刀,在DRDS中配置分库分表策略

分库分表DDL的IDB申请流程(第1、2步)同单库单表,这篇主要介绍第3、4步骤[......]

Read more