关于StreamX后续版本功能的讨论

[wolfboys]

以下罗列了关于StreamX后续版本相关功能的一些idea. 欢迎大家踊跃讨论和参与:

• 批任务调度集成,并且提供任务调度接口(提供restapi方式操作任务)
• 模块不合理不规范的重新规整
• 增加更多任务的操作按钮和相关功能(如查看实时部署实时日志,任务复制)
• udf,connector等统一管理(如上传udf,connector,解析出关键信息,后续任务可以直接使用)
• 平台HA支持
• 基于语法树的sql解析,语法验证
• sql智能补全
• ui react重构(大版本,需讨论评估)
• sql开发工作台,debug, select(大版本,需讨论评估)
• 元数据接入(大版本,需讨论评估)
• StreamX on k8s 部署支持.

[karlsun2010]

1 支持本地jar包上传方式部署任务。

[wolfboys]

已支持

[karlsun2010]

批任务调度集成 具体是指什么呢？ 怎么还要支持批任务

[fforever14]

全局任务参数: 我们在使用jar包提交任务的方式中, 数据库连接信息等是通过任务参数的方式传递进去的, 由于使用的是同一套环境, 所以很多个任务传递的参数都是一致的, 每个参数手动配置的话, 容易出错;
可以增加一个全局参数管理, 通过${param}的方式在任务参数或者sql的with段中使用, 在实际提交时将相应参数替换后提交.

[wolfboys]

好主意

[Whojohn]

我个人认为 sql 可以做的事情，当然很多坑还没挖出来，有些不好填

[Whojohn]

Sql 并行度问题

填第一个坑

背景

1. Flink sql 现阶段只支持 sink的并行度的修改。
2. 我们场景中需要实现source的并行度修改。如：算法标签，外部调用，partition数远远小于等需要的并发等场景。
3. 官方只实现了 sink 并行度的修改： https://issues.apache.org/jira/browse/FLINK-19727
4. 未来官方是肯定会实现。因为源码中已经包含了 source并行度相关的接口，但是没有具体实现

解决方案

思路：通过控制 streamGraph实现。

实现demo：https://github.com/Whojohn/flink-sql/blob/main/src/main/java/sqlstreamgraph/ChangeSourceDemo.java

[SoberChina]

建议支持代码分支变更吧~

[xinzhuxiansheng]

支持多个Kubernetes集群

[zhouhongyu888]

把spark任务集成进来吧