MongoDB集群与LBS应用系列(二)–与Hadoop集成

长期以来,我每开个系列,只有兴趣写一篇,很难持之与恒。为了克服这个长久以来的性格弱点,以及梳理工作半年的积累。最近一个月会写两篇关于Mongo在地理大数据方面的实践和应用,一篇关于推荐系统的初期准备过程,一篇用户行为矩阵的可视化。希望能够立言为证,自我监督。

1.驱动准备

言归正传,前文MongoDB集群部署完毕之后,CRUD就是主要需求。NoSQL与普通关系数据库不同的是,避免采用ORM框架对数据库做操作,这样会带来明显的性能下降[1]。使用原生的Driver是一个较为合理的选择,Mongo支持的语言非常多,包括JS,Java,C,C++,Python,Scala等[2]。

如果是[......]

Read more

MongoDB集群与LBS应用系列(一)

1. 概念

MongoDB作为著名的NoSQL,早已非常流行。它的地理应用也非常成熟,被foursquare用于生产环境也已经多时。本文主要记录今年6月份的一个地理产品中,使用MongoDB的过程和遇到的一些问题以及解决方案。我们在原型系统搭建时候,使用了三台机器,搭建MongoDB ReplicationSet 集群,作为地理数据库以使用。

2. 集群部署

2.1 硬件资源

三台操作系统为CentOS 64bit version6.4的服务器,IP地址和域名

2.2 软件安装

2.2.1 创建MongoDB专有的[......]

Read more

仲夏呓语

  如荒芜的城市,很多记忆,过往看起来如此重要和珍惜,都如烟黯然。痛苦和欢乐,都无足轻重…生活的轨迹,超出掌控的范围。容忍痛苦的能力,只是逃避问题的借口。
  如同无数个仲夏夜,我做起那些绮丽以及飘渺的梦。

图处理系列 (一)–网络生成与图入度计算

图论网络科学都会涉及到大量对图的特性的统计计算,一般将与图数据相关的统计、挖掘、可视化统称为图处理。本系列文章主要希望探讨多方面的图处理理论与方法,包括图的统计性质、表示方法、计算算法、计算模型以及基于图论的数据挖掘等内容。文章只有在必要的情况下区分网络的概念,所以文章术语中的图与网络将混用。

 1.图处理引擎

目前通用的图处理软件主要包括两种。一种主要基于遍历算法、实时的图数据库,如 Neo4j OrientDB DEX , 和 InfiniteGraph .另一种则是以图顶点为中心的消息传递批处理的并行引擎,如Hama Golden Orb Giraph , 和 [......]

Read more

部署ArcGIS JS API 离线包(Tomcat与IIS)

ArcGIS Javascript API 在国内访问一直非常缓慢,Ersi也没有部署国内CDN的意思,但是它提供了离线安装包。安装过程其实挺简单的,就是有些繁琐, Tomcat的部署不太清晰。主要为了记录一下,便于以后查阅。

    1.下载离线包

首先下载ArcGIS JS API 离线包需要注册一个免费的帐号,注册地址为:https://webaccounts.esri.com/cas/index.cfm 。然后进入ESRI官网下载页面选择下载,版本: v2.7v3.0v3.2 .如果访问缓慢的话,可以从微盘下载:v2.7, v3.0, v3.2 .

      2.安装离[......]

Read more

空间分析读书笔记

1.定义
  内容:
地统计数据(geostatistical data)、格数据(lattice data)、点格局(point patterns)。一般空间模型:{Z(s):s∈D}
空间分析覆盖:sptial analysis、spatial data analysis 、spatial statistics 、geostatistics(数据分析模型、图形分析模型、基于空间过程机理的空间动力学模型)
   区别:
  • 地统计:统计学的矩方法、变异函数和最小二乘法进行空间现行推测的克里格方法
  • 空间统计和空间数据分析包含点状分布现象的空间格局识别,着重于研建空间结构回归[......]

Read more