oss-server是针对项目开发时提供的小型对象存储系统,开发者在针对文件上传时业务剥离,同时方便文件迁移,为满足单个项目,多个系统的情况下,提供统一的oss服务
spark原理及源码剖析的笔记包含核心组件的运行机制(Master、Worker、SparkContext等)、任务调度的原理、Shuffle原理、内存管理、数据倾斜处理、Spark优化等内容
* 异步批量架构是解决复杂业务处理、数据分析、科学计算等耗时工作任务,这些任务被安排在特定的服务器上执行,被统一规划、拆分成子任务、统一调度、并发执行,大大提高了执行效率和可靠性,另外异步批量架构可以部署在网络内的任意服务器或PC上形成企业的云计算。 * openHandX batch本身是异步批量调度框架,支持多服务器分布式计算,可以制定复杂的业务流程,比较适合ETL、复杂报表等大型数据计算。也可以与现有的联机交易对接,提高联机系统的运算能力。
EasyTask是一种Java语言编写的并发任务执行框架,目的在于提高任务处理性能,采用多线程,屏蔽处理细节,封装线程池和阻塞队列每个批量任务拥有自己的上下文环境,并发安全的容器保存每个任务,自动清除已完成和过期任务实现DelayQueue延时队列,实现简单,方便注册提交工作任务,提供查询任务执行情况。
支持插件化、可视化的数据异构框架mykit-data,支持MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、增量数据同步。完全的插件化、可视化操作。通过日志最大限度的避免同步过程中的数据丢失。支持查看同步的数据和详细的日志信息。
🔥🔥🔥轻量级动态线程池,内置监控告警功能,基于主流配置中心(默认支持Nacos、Apollo,可通过SPI自定义实现)。Lightweight dynamic threadpool, with monitoring and alarming functions, base on popular config centers, can be customized through SPI.
SeaTunnel 是一个非常易用的支持海量数据实时同步的超高性能分布式数据集成平台,每天可以稳定高效同步数百亿数据,已在近百家公司生产上使用。
flink笔记相关,涉及 1. 流处理技术概览及flink核心特性 2. Flink集群及部署相关 3. Flink API使用及原理 4. Flink 状态管理及容错 5. Flink Table & SQL实践 6. Flink Runtime设计与实现 7. Flink 监控与性能优化 8. Flink 组件栈介绍与使用
Dlink 为 Apache Flink 而生,让 Flink SQL 更加丝滑。它是一个交互式的 FlinkSQL Studio,可以在线开发、补全、校验 、执行、预览 FlinkSQL,支持 Flink 官方所有语法及其增强语法,并且可以同时对多 Flink 集群实例进行提交、停止、SavePoint 等运维操作,如同您的 IntelliJ IDEA For Flink SQL。
框架说明 Light_drtc是一个轻量级分布式实时计算框架,它可以帮助你快速实现自定义的实时计算平台