001用户行为分析整体架构.md · i_moon/bigdata-learning

# 用户行为分析整体架构
通常情况下，一个常见的数据平台，整个数据处理过程大致可以分为5个步骤:

>* 数据接入
>* 数据传输
>* 数据建模/存储
>* 数据查询
>* 数据可视化/反馈

在用户行为数据分析系统中，整个流程细化出来形成一张技术架构图如下：
![整体架构](resources/pic/main.png)

## 1. 数据采集系统
数据采集通常是通过前端埋点或者后端埋点采集用户的浏览行为，点击行为数据。两者通常需要配合使用，一些前端浏览行为，比如交互操作发生的页面位置等数据只有前端能拿到，而一些后端隐秘的数据，通常不会暴露给前端，涉及这类数据采集时只能在后端。

前端采集又发展出3类主流的采集方式，即代码埋点、可视化埋点，无埋点。各种方案的具体差异这里就不在做对比，对比分析参见： [用户行为数据采集方案对比](002用户行为数据采集方案对比.md)

通常WEB页面会采用JS SDK进行采集，对于一些原生APP的操作行为，需要专门针对android/IOS平台的SDK，而后端一般会提供更为通用的接口。另外对于一些历史数据，通常还会提供专门的批量导入工具。

## 2. 数据接入系统

数据接入系统，通常不论是前端还是后端采集，采集到的数据会发送到专门的数据接入系统，该系统的职责通常负责快速接收各端发来的数据，通常不做过多的处理逻辑。比较常见的方案都是直接通过nginx直接接收数据上报请求。请求发送的数据会被记录到nginx的访问日志中。日志已文本的形式保留在采集服务器，这时通常会采用文本数据采集工具将日志数据发送到日志队列中，采集工具有很多，比较常见的开源方案，有elastic stack中的filebeat系列,flume,阿里云的logtail等等。而日志队列开源方案一般就采用kafka，而阿里云对应的就是logstore。

## 3. ETL子系统/计算系统
数据接入后，原始数据通常还需要一些加工处理方便后续的使用，比如用户的IP地址，或者GPS信息，需要转换成具体的国家、省、市区；还有浏览器的UserAgent信息，需要解析出用户使用环境信息，比如系统版本，浏览器版本，手机型号等等。这个时候一般就直接对接流处理系统，或者公有云上的函数计算系统。常用的开源的流计算系统有spark streaming, storm, flink，阿里云对应的流计算系统是StreamCompute。另外阿里云推荐使用函数计算系统来完成一些ETL任务，比如函数计算服务中就内置一些函数模板，用于转换前面提到的IP，UserAgent信息。

## 4. 存储子系统
经过前面ETL子系统初加工的数据，一般会直接存储于HDFS中，或者阿里云的OSS这类分布式文件系统中，作为后面数仓和即席查询的数据来源。而对于清洗转换后的结果，如果是粗粒度的清洗，清洗完后仍然有大量数据需要存储的，同时也需要高并发读写的场景，通常采用Hbase或者阿里云的TableStore来存储。而对于那些清洗完后只有少量数据的就直接存储在关系型数据库中比如MySQL中，方便作为后续的数据可视化展示。通常优先采用关系型数据库存储清洗后的结果。因为HBASE这类专门应对大并发读写，大数据量存储的系统，没有关系型数据库查询友好。

## 5. 数据仓库
面对大量的用户行为的原始数据，我们通常都需要面向不同的分析主题来做各种清洗计算规则，提交作业后台跑这些清洗任务，清洗计算完成后存入存储系统，方便后续的可视化，这个过程的特点是数据规模比较大，通常需要分钟级，小时级才能完成清洗计算。这里通常用的技术包括Hive，Kylin这些数仓方案，阿里云则对应Maxcompute，都可以采用SQL的方案来完成清洗计算。这类方案特点是能处理的数据规模较大，但是对时效性要求不那么高的，就是我们通常说的T+1出数据，今天的数据，明天出结果。

## 6. 交互式查询、即席查询系统
前面的数仓方案，由于时效性问题，并不能满足所有的分析场景。而在面对那些及时性要求特别高的场景，或者说临时性的分析场景，时髦的叫法是“数据探索”类的场景，又出现了专门ad-hoc，交互式查询，即席查询工具。这类工具的特点就是处理的数据规模通常比关系型数据库要大，又比HIVE这类数仓系统数据规模要小，但是通常秒级返回查询结果，可以应对“数据探索”的场景，可以快速“出活”。这类工具开源的有Facebook开源的Presto，Cloudera的Impala,阿里云推出的ADS分析型数据库，都能应对这类场景。这类工具为了追求速度，通常都是基于内存计算的方案，所以使用成本上来说要比基于磁盘型的数仓方案高出不少。

如果不是万亿级别的超大数据规模，而又对使用成本不是那么敏感的，对时效性要求较高的公司，通常直接采用这类系统来进行数据分析，全量计算省去数据清洗过程，简化架构。市面上新兴的用户行为数据分析提供商神策数据就是采用Impala作为底层计算查询系统，也是出于简化系统架构，方便客户私有化部署。

这里有一个各方案数据规模、响应时间对比图:

![数据规,模响应时间对比图](resources/pic/main-1.png)

## 7. 数据可视化系统
数据最终要通过UI界面呈现出来，或者通过API的方式把数据暴露给业务系统，就需要有专门的数据可视化子系统来负责。通过简单的界面配置，配置出各种丰富的图表，对不同的分析主题进行诠释。

i_moon/bigdata-learning

简介

发行版

贡献者

近期动态

i_moon/bigdata-learning .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

i_moon/bigdata-learning