Teddy

Spark Streaming监控平台,支持任务部署与告警、自启动
Alternatives To Teddy
Project NameStarsDownloadsRepos Using ThisPackages Using ThisMost Recent CommitTotal ReleasesLatest ReleaseOpen IssuesLicenseLanguage
Flink Learning13,198
a month agoapache-2.0Java
flink learning blog. http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例,还有 Flink 落地应用的大型项目案例(PVUV、日志存储、百亿数据实时去重、监控告警)分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》
Coolplayspark3,333
10 months ago35Scala
酷玩 Spark: Spark 源代码解析、Spark 类库等
Scio2,4361345 days ago82March 30, 2020133apache-2.0Scala
A Scala API for Apache Beam and Google Cloud Dataflow.
Spark1,87816a month ago20June 01, 2022181mitC#
.NET for Apache® Spark™ makes Apache Spark™ easily accessible to .NET developers.
Lakesoul1,281
20 hours ago2July 08, 20229apache-2.0Scala
LakeSoul is an end-to-end, realtime and cloud native Lakehouse framework with fast data ingestion, concurrent update and incremental data analytics on cloud storages for both BI and AI applications.
Killrweather1,174
6 years ago23apache-2.0Scala
KillrWeather is a reference application (work in progress) showing how to easily integrate streaming and batch data processing with Apache Spark Streaming, Apache Cassandra, Apache Kafka and Akka for fast, streaming computations on time series data in asynchronous event-driven environments.
Utils4s1,033
4 years ago5Scala
scala、spark使用过程中,各种测试用例以及相关资料整理
Mobius939
64 months ago22January 29, 201788mitC#
C# and F# language binding and extensions to Apache Spark
Spark Redis88516 months ago10March 09, 2020121bsd-3-clauseScala
A connector for Spark that allows reading and writing to/from Redis cluster
Streaming Readings640
a year ago2
Streaming System 相关的论文读物
Alternatives To Teddy
Select To Compare


Alternative Project Comparisons
Readme

Teddy 泰迪

项目背景 公司的spark集群是CDH,暂时不能良好的支持spark2.2的streaming,所以考虑自己写一个监控程序。 至于为什么要起这样一个名字,一方面公司的项目大多以狗狗的名字命名,另外,自己还养了一只小泰迪(名字叫做 三月),希望自己也能用心的对待这个项目。

主要功能

  1. Streaming任务部署
  2. 任务监控与告警
  3. 任务自启动
  4. (new)任务资源自定义配置
  5. (new)Spark Streaming代码零侵入

效果展示

首页 任务配置 jar包管理 配置浏览

使用说明

前提:

  1. 部署web服务的机器上需要有spark(否则无法提交任务)
  2. 部署web服务的机器上需要能使用app命令操作yarn(否则无法手动停止任务)

1 主要需要注意的参数

###########
# 环境配置 #
###########

# 本地spark的安装目录
spark.home=/var/lib/hadoop-hdfs/app/spark

# 本地资源的上传目录
lib.home=/home/xinghailong/monitor/lib/

# spark任务重定向日志文件,如果不嫌弃,可以直接重定向到日志文件
log.file=/home/xinghailong/monitor2/teddy/logs/teddy.log

# yarn的连接地址,用于Http方式查询spark任务的状态
yarn.cluster=hnode1:8088,hnode2:8088

# 邮件配置
mail.host=smtp.mxhichina.com
[email protected]
mail.passwd=123

###########
# 性能配置 #
###########

# 告警时间配置,秒单位,默认一分钟
# 注意:如果告警时间很短,小心邮件爆炸!
alert.interval=60

# 状态刷新时间配置,秒单位,默认5秒钟
state.refresh.interval=5

# 自动重启间隔时间,3分钟
# 注意:如果自定重启时间很短,可能会导致任务的重复启动
auto.restart.interval=180

# 尝试重启的次数
auto.restart.retries=3

2 启动teddy

下载代码后执行mvn install,即可编译打包项目工程。如果不想编译,也可以直接下载下面的版本:

待补充

编译后,在target目录下,可以找到对应的teddy-release压缩包。 目前仅支持Linux系统,修改相应的环境配置,启动即可。

链接

  1. httpClient快速入门
  2. httpClient tutorial
  3. spring boot
  4. spring data jpa
  5. apache hadoop yarn
  6. jquery插件
  7. spark
  8. DERBY快速指南
  9. derby用户手册
  10. derby开发者指南
Popular Streaming Projects
Popular Spark Projects
Popular Networking Categories
Related Searches

Get A Weekly Email With Trending Projects For These Categories
No Spam. Unsubscribe easily at any time.
Java
Spring
Spark
Streaming
Hadoop
Jpa
Http Client