push日志收容现状(截至20151020)

  • 目前三种push日志收容到了3张TT表中:

三种push日志:

ios push
tt订阅日志名 push_ios_amap_log
odps表名 autonavi_aos_dw.s_amap_push_raw_ioslog

agoo push
tt订阅日志名 push_agoo_amap_log
odps表名 autonavi_aos_dw.s_amap_push_raw_agoolog

um pus[......]

Read more

开放平台App字典表的统计分析报告

 1. 摘要:

目前开放平台中关于应用有三个字段 log_keylog_apnlog_pkg,三者之间是一种多对多(N:N:N)的关系,不能唯一标识一个应用。通过对开放平台最近一周的数据统计分析,在16029 key 中,81%key对应着唯一的pkgapn,但keypkg之间1:1对应以及keyapn之间1:1对应的都只占38%,三者间唯一相互对应的只占key总数的29%

对于一个key对应多个pkgapn,可能由于开发者有一个key,但开发了很多的app,产生了很多个不同包名pkg和应用名apn;而pkg对应到很多apn大多由于apn乱码或者有着很多杂乱的名称。

文[......]

Read more

SQL 书写习惯整理

随着当前我们平台的不断发展与壮大,业务及需求的不断迭代更新,今后在用到SQL的地方也越来越多。
所以大家在写SQL的时候,都尽量以相同的习惯和组织格式去写,由于写的格式和习惯比较相似,结构比较清楚,
以便于今后大家更容易读懂对方代码,快速理解业务。
注:由于ODPS中的查询语句最终是转换成MR(MAP  REDUCE )编程计算模型的形式来运行,这就导致我么现在用的HQL(HIVE SQL LANGUAGE) 跟传统数据库如(SQLSERVER,MYSQL等)有 本质区别。 在ODPS,由于是离线批量处理,系统吞吐量大,所以对大数据的处理能力很强,但是一旦数据发生倾斜,会导致最终的千万级[......]

Read more

“开发者大会-高德数据统计需求”提炼与思考

商圈

  • 十一期间,北京中关村商圈和杭州的各商圈在性别比例上都接近于2:1,可能有以下几个原因造成:中国男女比例失衡、男性更爱旅游、男性在旅游过程中更多的使用手机、阿里提供的性别属性存在一定误差
  • 十一期间,杭州最热门商圈为西湖、西溪、上塘
  • 十一当天,杭州本地人跑的最远的商圈为威平(73.8km)、千岛湖艺术馆(35.2km)、凤川(34.2km);西湖商圈只有周边的杭州人会去凑热闹,平均距离8.3km
  • 十一当天,中关村比例最大的人群集中在18~36岁,占总人群的77%,分析有两个原因:这个年龄段是手机使用者的主要人群,中关村更加吸引青年人
  • 十一期间,在中[......]

Read more

自定义报表系统需求调研

     从面临的问题说起,我们已经有优秀的启明星平台,可以解决绝大多数的数据上的问题。但是还是有很多临时的需求像长尾一样,总是存在。例如:导出任意组合列的数据、合并任意两个埋点统计等。

     面对这些问题,我们怎么变被动为主动?有没有理论基础支撑去解决这些问题?答案是olap多维分析。简单说建立维表和事实表关系,例如星型模型,通过表关联去统计。

     OLAP基本元素:立方体cube、维度、度量、成员(eg:非洲、亚洲)、单元(eg:东半球)、元组(可以多个多维,但每个维度只能一个成员,eg:路线)、集合(可以多个维度多个成员,但是顺序必须一致)、轴维度(row,colum)、切[......]

Read more

SonarQube

SonarQube环境已经搭建完成,希望大家今后能够接入sonar, 用以把控代码质量。

Eclipse接入Sonar

修改settings.xml

修改maven 本地仓库的配置文件,在profiles中加入下面的profile

 

eclipse 配置

下载插件

在eclipse marketplace 搜 sonar ,并下载相关插件, 目前的版本是 SonarQube 3.4.0

Eclipse Sonar

插件配置

1. 在sonar插件中配置服务地址

Eclipse Sonar

2. 在Sonar控制台创建响应的project (利[......]

Read more