传统大数据分析工具以Hadoop、Spark为代表,集成了大量的技术框架, 对用户来说又重又笨又不灵活,难以维护和驾驭,国际和国内的敏捷型BI工具在对接时又面临性能、友好性、定制化能力弱的缺点。本项目独辟蹊径,以阿里开源的DataX为ETL工具,以列式数据库ClickHouse做为中间数据存储源,通过视图关联构建大数据集,解决亿万级数据的即时分析性能,再辅以强大的数据可视化设计前端,通过用户自定义菜单和模板进行呈现,实现用户的自助式分析和探索。通过灵活的预警功能,设置一些自定义的监控指标,当监控指标超过异常值时,系统会自动以短信、邮件或微信、钉钉等消息推送至相关人员,变原来的被动查询为主动推送,这样就能够及时发现问题。通过结合人工智能算法的预测模型,可以就未来的趋势做一下预测。通过以上的技术实现,实现企业不同数据源的集中整合,统一呈现。
最近更新: 3年多前