申请专栏作者 参展
投稿发布
您的当前位置:主页 > 数据挖掘 > 正文

架构师必知的各种开源实时流处理系统

来源:未知 时间:2019-03-28
请支持本站,点击下面的广告后浏览!

这里对目前业界开源的一些实时流处理系统做一次小结,作为日后进行技术调研的参考资料。 可思数据sykv.com,sykv.cn

S4 可思数据sykv.com,sykv.cn

S4(Simple Scalable Streaming System)是Yahoo发布的一个开源流计算平台,它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台,在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用,开发语言为Java。

可思数据sykv.com,sykv.cn

项目链接:http://incubator.apache.org/s4/(注:S4 0.5.0已支持TCP链接及状态恢复等特性) 本文来自可思数据(sykv.com),转载请联系本站及注明出处

Storm 可思数据-AI,sykv.com幸运飞艇七码倍投公式,深度学习,机器学习,神经网络

Storm是Twitter开源的分布式实时计算系统,Storm通过简单的API使开发者可以可靠地处理无界持续的流数据,进行实时计算,开发语言为Clojure和Java,非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多:实时分析、在线机器学习、持续计算、分布式RPC、ETL处理,等等。

可思数据-AI,sykv.com幸运飞艇七码倍投公式,深度学习,机器学习,神经网络

项目链接:http://storm-project.net

可思数据-www.sykv.cn,sykv.com

StreamBase 可思数据-AI,sykv.com幸运飞艇七码倍投公式,深度学习,机器学习,神经网络

StreamBase是一个关于复杂事件处理(CEP)、事件流处理的平台。其本身是商业应用软件,但提供了Developer Edition,开发语言为Java。 内容来自可思数据sykv.com

项目链接:http://www.streambase.com

本文来自可思数据(sykv.com),转载请联系本站及注明出处

HStreaming

可思数据sykv.com,sykv.cn

HStreaming构建在Hadoop之上,可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大数据,开发语言为Java。 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

项目链接:http://www.hstreaming.com 可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

Esper & NEsper 本文来自可思数据(sykv.com),转载请联系本站及注明出处

Esper是专门进行复杂事件处理(CEP)的流处理平台,Java版本为Esper,.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统,不论是历史的还是实时的消息。 可思数据sykv.com

项目链接:http://esper.codehaus.org 可思数据sykv.com,sykv.cn

Kafka 可思数据sykv.com,sykv.cn

Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统,主要用于处理活跃的流式数据,开发语言为Scala。

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

项目链接:http://incubator.apache.org/kafka

可思数据sykv.com

Scribe 可思数据-幸运飞艇七码倍投公式资讯平台sykv.com

Scribe是Facebook开源的日志收集系统,开发语言为C,通过Thrift可以支持多种常用客户端语言,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。Scribe通常与Hadoop结合使用,Scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。

可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

项目链接:http://github.com/facebook/scribe 内容来自可思数据sykv.com

Flume 本文来自可思数据(sykv.com),转载请联系本站及注明出处

Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统,用于收集、聚合以及移动大量日志数据,开发语言为Java。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。

可思数据-幸运飞艇七码倍投公式资讯平台sykv.com

项目链接:http://incubator.apache.org/flume

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思数据 版权所有 ?? ICP备案:京ICP备14056871号

幸运飞艇七码倍投公式资讯?? 幸运飞艇七码倍投公式资讯?? 幸运飞艇七码倍投公式资讯?? 幸运飞艇七码倍投公式资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭