PowerJob:一款强大且开源的分布式调度与计算框架

2020-06-23 00:00:00 集群 执行 支持 调度 处理器

项目名称:PowerJob

项目作者:假诗人

开源许可协议:Apache-2.0

项目地址:https://gitee.com/KFCFans/OhMyScheduler

项目简介

PowerJob(原OhMyScheduler)是全新一代分布式调度与计算框架,其主要功能特性如下:

  • 使用简单:提供前端Web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能。
  • 定时策略完善:支持CRON表达式、固定频率、固定延迟和API四种定时调度策略。
  • 执行模式丰富:支持单机、广播、Map、MapReduce四种执行模式,其中Map/MapReduce处理器能使开发者寥寥数行代码便获得集群分布式计算的能力。
  • 执行器支持广泛:支持Spring Bean、内置/外置Java类、Shell、Python等处理器,应用范围广。
  • 运维便捷:支持在线日志功能,执行器产生的日志可以在前端控制台页面实时显示,降低debug成本,极大地提高开发效率。
  • 依赖精简:小仅依赖关系型数据库(MySQL/PostgreSQL/Oracle/MS SQLServer...)
  • 高可用&高性能:调度服务器经过精心设计,一改其他调度框架基于数据库锁的策略,实现了无锁化调度。部署多个调度服务器可以同时实现高可用和性能的提升(支持无限的水平扩展)。
  • 故障转移与恢复:任务执行失败后,可根据配置的重试策略完成重试,只要执行器集群有足够的计算节点,任务就能顺利完成

适用场景

  • 有定时执行需求的业务场景:如每天凌晨全量同步数据、生成业务报表等。
  • 有需要全部机器一同执行的业务场景:如使用广播执行模式清理集群日志。
  • 有需要分布式处理的业务场景:比如需要更新一大批数据,单机执行耗时非常长,可以使用Map/MapReduce处理器完成任务的分发,调动整个集群加速计算。

同类产品对比

项目截图

脚本处理器的简单试用:在任务管理界面直接创建任务,将脚本内容复制进去即可。

Java 处理器的试用

创建任务:任务录入示例如下,注意:处理器信息的填写格式为 容器ID#全限定类名

目前该项目作者处于全职维护状态,所以大家如果有好的意见和建议的话,欢迎点击后面的链接前往项目主页和作者取得联系:gitee.com/KFCFans/OhM…


相关文章