基于spark流处理,模拟数据,统计数据,分析数据。大致架构:python脚本产生模拟数据(数据源),flume采集数据并且缓存到kafka中存储,接着spark消费并处理kafka中的数据,将结果存放至hbase(底层是hdfs)中。最后将数据进行可视化编程,javaweb项目,使用了springboot框架和echarts。
请参考用户行为分析(spark)
基于sklearn的常用机器学习算法探究。
最近一年贡献:51 次
最长连续贡献:5 日
最近连续贡献:1 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。