flink

Flink状态监控介绍

对于需要 7 * 24 小时不间断运行的流式计算程序来说,能实时监控程序运行状况、出现异常告警能立即响应并快速定位问题是必须具备的能力。

继续阅读

Apache Flink 1.6 Documentation: Jobs and Scheduling

这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。

继续阅读

Apache Flink 1.6 Documentation: Component Stack

Component Stackhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html#component-stack组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。

继续阅读

Flink Distributed Runtime Environment

Flink分布式运行时环境

  1. Tasks and Operator Chains 任务和操作链
  2. Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端
  3. Task Slots and Resources 任务执行槽和资源
  4. State Backends 转态后端
  5. Savepoints 保存点

继续阅读

Flink Dataflow Programming Model

Dataflow Programming Model

数据流编程模型

  1. Levels of Abstraction :数据处理层抽象
  2. Programs and Dataflows 编程和数据流
  3. Parallel Dataflows 并行数据流
  4. Windows 窗口
  5. Time 时间
  6. Stateful Operations 带状态的操作
  7. Checkpoints for Fault Tolerance 容错检查点
  8. Batch on Streaming 基于流的批处理

继续阅读