后端服务及可视化工作计划

智能监控系统

指标监控(系统指标和业务指标)

  • 监控接入权限系统
  • 重构目前监控流程,改善交互

服务性能监控(按如下指标设计)

  • 平均响应时长(目前不超过100ms)
  • 响应时长长尾比例,超过1s的请求,不超过千分之五
  • 错误比例,即非200返回,不超过万分之五
  • 服务的响应时长和错误率不和QPS正相关,否则有可能是服务承载能力遇到瓶颈,考虑优化或扩容
  • 对于波动,看是否有规律的波动,还是偶尔的抖动,其次看波动的幅度(百分比)和绝对值, 三看波动的持续时间,波动服务较大,切超过5分钟的,自动报警

数据质量监控

  • 建立分析模型[......]

Read more

IDB申请DRDS执行DDL(建表、修改表结构)流程——单库单表

ODPS存储优化TIPS

存储优化分三块:

1、【未管理表】设置生命周期

2、【空表】【废弃开发表】删除或设置合理生命周期

3、【保留周期过长的表】

a 不需要保存太久的直接设置合理的生命周期

b 不确定需要保存多久和确实需要保留很久的,通过下面方法绕过:

由于健康分的计算主要是通过【3月最大访问】指标计算。该指标计算的是一个表最近三个月的访问分区的最大日期跨度。

1)、进入【个人存储优化】页面,该页面显示的表名列表默认是按影响权重倒序排列的

http://meta.alibaba-inc.com/manage/personal/health/storage.html?spm=0.0.0.0.iaz8C[......]

Read more

简单与美-论 Simple and Usable

Giles Colborne或许没有想到,他为设计师所写的一本交互设计书籍会成为国内产品经理必读书目之一。在一次社区访谈中,Colborne认为产品经理从到关注市场的倾向转化到关注设计策略,坚持简单性原则,能够帮助产品经理和设计师建立共同语境。
其实比起设计策略,我更关注简单性如何融入产品,甚至是构造,形成产品的核心理念。如何定义简单,简单性能够为产品带来怎样的好处,如何实现产品的简单性?
中文译本在书名翻译中采用了简约这个词,译文中间杂简约和简单的混用,这一点或许会让读者困惑。实际上简单和简约之间的化用,也无可厚非。简约也通“精约”,文心雕龙中,形容文体之核字省句,剖析毫厘者也。乍看也颇[......]

Read more

认真吃饭吧-读书小感

陆陆续续读完了汪曾祺先生的《谈吃》,感慨颇多。近一年不曾写作,原本若有若无的笔力,更是退化得苟延残喘。决意还是随意多写写,或者某些不值一提的回忆,能够在未来某个时刻感动自己。世人所谓,不忘初心。不忘孰不易,何况初心乎。

回到《谈吃》这本书,书名有些奇怪,应该是一本合集。搜罗的都是汪先生间杂回忆的散文和序,偶有重复。先生行文随意,亲和可人,气度自然。全书共计七卷,不少是讲他在西南联大时候读书,昆明的吃食。读起来,思绪万千,口水纵横。读到韭菜花一章,先生寥寥数笔,切实挠人痒处。

曲靖韭菜花是白色的,乃以韭菜和切得极细的,风干的萝卜丝同腌成,很香,味道不很成而有一种说不出的淡淡的甜味。曲靖韭[......]

Read more

数据挖掘工作流

目前带着一个小组在做全面的用户画像的工作,不少同学都是第一次接触数据挖掘的工作。于是总结了一个较为简单,通用的数据挖掘工作流,也贴出作为自己的工作结果吧。

数据挖掘工作流
=========
#### 1 收集数据
收集数据一般是补充外部数据,包括采用爬虫和接口,获取,补充目前数据不足部分。Python scrapy,requests是很好的工具。

#### 2 准备数据
主要包括数据清洗,预处理,错值纠正,缺失值填补。连续值离散化,去掉异常值,以及数据归一化的过程。同时需要根据准备采用的挖掘工具准备恰当的数据格式。

#### 3 分析数据
通过初步统计、分析以及可[......]

Read more

恍若隔世与从头越

光阴虽无刃,抽走留伤痕。在看不见的城市与远山中,总能看到一些飘渺的梦,五颜六色,或如出自靡靡的江南,带着无数迦蓝的香火味。又或如,漠漠的塞北,偶尔响起的一声驼铃。这些梦如泡影,膨胀伴随稀薄,在察觉之前破灭。记忆汹涌而至,无声溜走。蛛丝马迹,又似曾相识,实际只是人面桃花。

冬天,等不到黑云压境的天空的倾盆大雨,以及白昼里迷糊的水汽。记忆模糊,却缺乏了追回的勇气。不同的人都翻过一页又一页,好像只有我不愿意被光阴淹没。时间却是那么公平,像河像花,会流逝会枯萎。