PiFlow(大数据流水线系统) v1.6
收藏
举报
PiFlow是一个简单易用,功能强大的大数据流水线系统。包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。特性:1、简单易用可视化配置流水线。监控流水线。查看流水线日志。检查点功能。2、扩展性强:支持自定义开发数据处理组件。3、性能优越:基于分布式计算引擎Spark开发。4、功能强大:提供100+的数据处理组件。包括Hadoop 、Spark、MLlib、Hi
作者:
暂无 演示网站:
暂无 当前版本:
v1.6 日期:
2023-10-25 相关链接:
Home Page 所属分类:
数据管理 、Scala 软件评级:
下载人气:
556
源码属性
授权 | 开源 |
大小 | 93.91MB |
语言 | Scala |
运行环境 | Scala |
功能介绍
PiFlow是一个简单易用,功能强大的大数据流水线系统。包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能。
特性:
1、简单易用
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
2、扩展性强:
支持自定义开发数据处理组件。
3、性能优越:
基于分布式计算引擎Spark开发。
4、功能强大:
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
环境要求:
JDK 1.8
Spark-2.11.8
Apache Maven 3.1.0
Spark-2.1.0 及以上版本
Hadoop-2.6.0
PiFlow(大数据流水线系统)下载地址 已被下载556次
付费服务
模板/插件