Flink Notes
| Project Name | Stars | Downloads | Repos Using This | Packages Using This | Most Recent Commit | Total Releases | Latest Release | Open Issues | License | Language |
|---|---|---|---|---|---|---|---|---|---|---|
| Flink | 20,943 | 26 | 284 | 19 hours ago | 62 | September 22, 2021 | 1,016 | apache-2.0 | Java | |
| Apache Flink | ||||||||||
| Flink Cdc Connectors | 3,744 | a day ago | 708 | apache-2.0 | Java | |||||
| CDC Connectors for Apache Flink® | ||||||||||
| Flink Training Course | 2,815 | 3 years ago | 17 | |||||||
| Flink 中文视频课程（持续更新...） | ||||||||||
| Quicksql | 1,939 | 6 months ago | 84 | mit | Java | |||||
| A Flexible, Fast, Federated(3F) SQL Analysis Middleware for Multiple Data Sources | ||||||||||
| Flinkstreamsql | 1,873 | 5 months ago | 86 | apache-2.0 | Java | |||||
| 基于开源的flink，对其实时sql进行扩展；主要实现了流与维表的join，支持原生flink SQL所有的语法 | ||||||||||
| Dinky | 1,869 | a day ago | 139 | apache-2.0 | Java | |||||
| Dinky is an out of the box one-stop real-time computing platform dedicated to the construction and practice of Unified Streaming & Batch and Unified Data Lake & Data Warehouse. Based on Apache Flink, Dinky provides the ability to connect many big data frameworks including OLAP and Data Lake. | ||||||||||
| Flink Streaming Platform Web | 1,550 | 8 days ago | 27 | mit | Java | |||||
| 基于flink的实时流计算web平台 | ||||||||||
| Lakesoul | 1,280 | a day ago | 2 | July 08, 2022 | 10 | apache-2.0 | Scala | |||
| LakeSoul is an end-to-end, realtime and cloud native Lakehouse framework with fast data ingestion, concurrent update and incremental data analytics on cloud storages for both BI and AI applications. | ||||||||||
| Athenax | 1,219 | 3 years ago | n,ull | apache-2.0 | Java | |||||
| SQL-based streaming analytics platform at scale | ||||||||||
| Pythondatascience Collections | 615 | 2 years ago | 3 | |||||||
| 最全数据分析资料汇总（含python、爬虫、数据库、大数据、tableau、统计学等） | ||||||||||
flink-notes
flink的一些学习材料，将在github上持续更新
一、官方资料索引
- Flink中文官方文档 | 综合类，中文，不太全
- Flink官方博客 | 读官方博客与文档是学习的首选方向
- Flink中文社区ververica | Flink中文社区,大量学习资料和视频
- Apache Flink 中文用户邮件列表
- Apache Flink 用户邮件列表 | 英文，更活跃
- Flink社区包 https://flink-packages.org/
- Flink-FLIP | Flink Improvement Proposals
二、技术博客索引
-
JarkWu的博客 | Flink committer
-
jrwang的flink源码解读系列 | 源码解读质量不错
-
VinoYang的博客 | Flink项目活跃贡献者，主要是flink早期的一些文章
-
flink-china:flink-training-course | 本系列课程由 Apache Flink Community China 官方出品。主要是钉钉群里的直播视频和PPT
-
realguoshuai的Hadoop生态圈中常用大数据组件文档 | 包含Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos
-
zhisheng17的flink博客 | 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容，适合入门学习。 不过一些内容可能要到他付费的知识星球才能看到。
-
heibaiying/BigData-Notes | 包含Hadoop\Hive\Spark\Storm\Flink\Hbase\Kafka\Zookeeper\Flume\Sqoop\Azkaban\Scala等模块的文章
-
Flink Forward Asia 2019 | 资料位于Flink中文社区ververica.cn
-
Flink Forward China 2018 | 资料位于github
-
youtube: Flink Forward San Francisco 2015-2017 | 需要翻
wall上外网 -
collabH | 470+ star的项目
三、优秀文章索引
1、基础入门
-
flink web 上传的jar包在哪里？ | ${flink-web-url}/#/job-manager/config 的
web.tmpdir配置相关 -
聊聊flink的ParameterTool | flink程序使用启动参数时会用到
2、进阶
Flink on yarn
- Flink on yarn 官方文档 | Session-Cluster和Per-Job-Cluster模式
Metric
- Flink metric 官方文档 | Counter\Gauge\Meter\Histogram
- 详解 Flink 指标、监控与告警 |
算子
- fanrui:在 Flink 算子中使用多线程如何保证不丢数据？ | 基于CyclicBarrier实现,提高 CPU 利用率
- Flink有什么办法解决由于Key partition造成的数据倾斜问题？ ---待补充
- Flink WaterMark分析
checkpoint
- Flink Checkpoint 问题排查实用指南
- Flink 1.11 Unaligned Checkpoint 解析 | 反压下的checkpoint
OPS
- Flink 流式计算在节省资源方面的简单分析 | Apache Flink 在小米的发展;含与spark的模型对比。
- Flink HA & 恢复策略 &并发度 --待补充
- Flink 中的应用部署：当前状态与新应用模式 | Flink 1.11 引入了 Application 模式（应用模式）
- 数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验
CEP
CDC
- Flink SQL CDC 上线！我们总结了 13 条生产实践经验 | Flink SQL CDC 在生产环境的落地实践以及总结的实战经验
- Flink SQL CDC 的介绍和教程 | B站视频
- flink-cdc-connectors 项目官网 | flink-cdc-connectors 项目官网 github
- 自定义 Format 消费 Maxwell CDC 数据
SQL
源码分析
misc
3、Flink应用文章
ETL
机器学习
4、官方实用文档索引
5、比赛
四、学习书籍
-
pdf:《追源索骥：透过源码看懂Flink核心框架的执行流程.pdf》 | from github
-
pdf:《Introduction to Apache Flink》 | 英文版,100多页的小册子
-
pdf:《Flink基础教程》(《Introduction to Apache Flink》中文版) | 上面那本书《Introduction to Apache Flink》的中文版
-
微信读书:《深入理解Flink:实时大数据处理实践》 | 包含一部分FlinkML
-
微信读书:《Flink原理、实战与性能优化》 | github源码地址 https://github.com/zlb1028/learning-flink
-
flink中文社区出品: 《flink知识图谱》 | 脑图形式: 一图在手,学好flink不愁! (此图待深入学习)
五、相关开源项目
1、flinkx:基于flink实现的分布式数据同步工具
- flinkx | 自己的一篇学习总结《数据同步工具Flinkx的研究与实践》
2、flinkk8soperator
3、Alink
六、开发实践
1、入门案例
- WordCount:统计单词出现的频率
2、电商行为分析系列
可以参考尚硅谷的这篇文档自由发挥
-
状态编程:订单超时告警
-
Connect:Flink双流处理:实时对账实现
3、FlinkSQL
- wuchong: Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
- wuchong: Demo：基于 Flink SQL 构建流式应用 | Kafka, MySQL, Elasticsearch, Kibana, docker
4、Cloudera的flink教程
七、企业案例
- Tencent
- 阿里巴巴
- B站
- ByteDance(字节跳动)
- Criteo
- eBay
- DellEMC
- DiDi(滴滴)
- Intel
……
内容过多，汇聚到独立页面。详见 这里！
八、flink-weekly学习摘要
摘取***Flink Weekly***中自己感兴趣的一些部分
九、MISC
- 如何从小白成长为 Apache Committer? | 希望自己2~3年内也能成为一个Apache Committer
微信公众号
更多文章与内容请关注:
