Spark on K8S(mode=cluster) kyuubi 找不到 driver 地址

[fuhaiq]

嗨～已经在 K8S 上部署了 Kyuubi 引擎使用 Spark on K8S，在 spark.submit.deployMode=client 下，一切工作正常。

但是在 spark.submit.deployMode=cluster 下，Driver 会以一个 Pod 单独启动起来，然后拉起对应的 Executor。此时 Kyuubi 是通过 Pod 的 hostname 来找 Driver 的，而在 K8S 里，Pod 之间不能直接通信，必须借助 Service

此时，如果手动创建一个和 hostname 同名的 Service 指向这个 Driver，是可以正常工作的。

请问有什么解决方法么？

[pan3793]

Please try turn off kyuubi.frontend.connection.url.use.hostname

[preetsindhal]

Hi,
I have similar issue, driver is trying to connect to kyuubi pod, i have set kyuubi.frontend.connection.url.use.hostname=false but didn't work.

[pan3793]

Which version are you using?

[preetsindhal]

this, from logs
INFO org.apache.kyuubi.server.KyuubiServer: Version: 1.7.0-SNAPSHOT, Revision: , Branch: , Java: 1.8, Scala: 2.12, Spark: 3.2.2, Hadoop: 3.3.4, Hive: 3.1.3, Flink: 1.15.2, Trino: 363