CB-FW returns error and gets stuck if etcd is not ready

[jihoon-seo]

CC: @powerkimhub

• SP, TB, LB, DF 등에서 cb-store를 활용하고 있습니다.
• 예를 들어, CB Helm chart - SP의 store_conf.yaml 파일에서
  cb-store 모드를 etcd로 설정하고
  ./operator run을 실행하면
• Helm 에는 기본적으로는 여러 subchart들의 실행 순서를 지정하는 기능이 없어서
  etcd Pod & Svc가 이용 가능한 상태로 바뀌기 전에
  CB-Spider Pod가 실행되어 etcd로 접속 시도를 합니다.
• cb-store가 일정 시간을 기다리지만
  etcd Pod & Svc가 이용 가능한 상태로 바뀌기 전이므로
  다음과 같은 에러가 발생합니다 (timeout).

[CLOUD-BARISTA].[ERROR]: 2021-07-14 19:46:52 etcd-driver.go:214, github.com/cloud-barista/cb-store/store-drivers/etcd-driver.InitializeDriver() - context deadline exceeded

• 이후, SP 의 API를 호출하여 Key-Value store를 이용하는 작업을 수행하려고 하면 다음과 같은 에러가 발생합니다.

{
  "message": "no etcd environment available to connect"
}

이는 각 FW의 파드/컨테이너를 재시작하기 전까지는 해결되지 않습니다.

[안]

1. cb-store에 적절한 수정을 가한다.
   (e.g. Wait until etcd gets ready..?)
2. 각 FW에 적절한 수정을 가한다.
   (e.g. Wait until etcd gets ready..?)
3. Helm 에는 기본적으로는 여러 subchart들의 실행 순서를 지정하는 기능이 없으므로
   다른 방법을 써서 여러 subchart들의 실행 순서를 지정한다.

[seokho-son]

@jihoon-seo kubernetes의 활성 프로브/ 준비성 프로브/스타트업 프로브 등의 기능을 활용하면 어떨까요?
https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/#%EC%96%B8%EC%A0%9C-%ED%99%9C%EC%84%B1-%ED%94%84%EB%A1%9C%EB%B8%8C%EB%A5%BC-%EC%82%AC%EC%9A%A9%ED%95%B4%EC%95%BC-%ED%95%98%EB%8A%94%EA%B0%80

[jihoon-seo]

@seokho-son 의견 감사합니다.
K8s의 컨테이너 프로브 기능은
K8s의 컨트롤 플레인이 각 컨테이너(예: etcd) 프로브를 체크하고
이상이 있으면 해당 컨테이너/파드(예: etcd)를 재시작하는 것으로 보입니다.

본문의 경우는 etcd가 ready 상태로 바뀔 때까지 CB-Spider 등이 기다려야 하는 상황입니다.
제가 검색을 해 본 결과, 이 경우에 대해서 프로브를 사용하는 사용하는 사례를 찾지 못했습니다. 😢

혹시 사례를 알고 있으시면 알려 주시면 감사하겠습니다.. 😊

[jihoon-seo]

• [What is the equivalent for depends_on in kubernetes]

  • This was purposefully left out. The reason being is that applications should be responsible for their connect/re-connect logic for connecting to service(s) such as a database. This is outside the scope of Kubernetes.

  • initContainers 를 사용하라는 답변들
• [Kubernetes - wait for other pod to be ready]
  • initContainers 를 사용하라는 답변들

  • Yes, it's possible using Init Containers (also, see this blog post for some background re timing) but a better, more Kubernetes-native pattern is to use retries and timeouts rather than hard-coding dependencies in this way.

• [How to wait for the other container completed execution in k8s?]
  • initContainers 를 사용하라는 답변들
• [Deploy Helm Charts in order of dependencies]
  • Helmfile을 사용하라는 답변

  You should look into helmfile and split your stack into one helmfile per application. Since helmfiles inside a folders are applied in an alphabetically order you can ensure the order through file naming conventions.

  • initContainers 를 사용하라는 답변
  • Helmsman을 사용하라는 답변
• [Helm Subchart order of execution in an umbrella chart]
  • initContainers 를 사용하라는 답변

[powerkimhub]

[안]

1. cb-store에 적절한 수정을 가한다.
   (e.g. Wait until etcd gets ready..?)

일단, (안1) 측면에서 cb-store를 다음처럼 수정해보겠습니다.

[AS-IS]

• ETCD dial timeout: 5sec

[TO-BE]

• ETCD dial timeout: 120sec

[powerkimhub]

@jihoon-seo

• 반영했습니다. 시험해보시고 좀더 개선이 필요하면 알려주시기 바랍니다.
• https://github.com/cloud-barista/cb-store/releases/tag/v0.4.1

[jihoon-seo]

시험 결과: 해결되었습니다.

[cb-store를 업데이트한 CB-Spider: no etcd environment available to connect 에러 발생하지 않음]

❯ kubectl logs cb-spider-7d76b779cd-5j7r8 -n cloud-barista   
2
[CB-SPIDER].[INFO]: 2021-07-20 08:54:19 CBSpiderRuntime.go:343, github.com/cloud-barista/cb-spider/api-runtime/rest-runtime.ApiServer() - **** Rest Auth Disabled **** 

  <CB-Spider> Multi-Cloud Infrastructure Federation Framework
     - AdminWeb: http://129.254.75.178:31024/spider/adminweb
     - REST API: http://129.254.75.178:31024/spider
     - Go   API: grpc://129.254.75.178:2048

####################################################################
## 1. Create Cloud Connction Config
####################################################################
{
  "DriverLibFileName": "mock-driver-v1.0.so",
  "DriverName": "mock-driver01",
  "ProviderName": "MOCK"
}

null

{
  "KeyValueInfoList": [
    {
      "Key": "Region",
      "Value": "default"
    },
    {
      "Key": "Zone",
      "Value": "default"
    }
  ],
  "ProviderName": "MOCK",
  "RegionName": "mock-seoul"
}

{
  "ConfigName": "mock-seoul",
  "CredentialName": "mock-credential01",
  "DriverName": "mock-driver01",
  "ProviderName": "MOCK",
  "RegionName": "mock-seoul"
}

---

[cb-store를 업데이트하지 않은 CB-Tumblebug: no etcd environment available to connect 에러 발생]

❯ kubectl logs cb-tumblebug-7bd49b6c9b-j9tdv -n cloud-barista
[CLOUD-BARISTA].[ERROR]: 2021-07-20 09:06:09 namespace.go:219, github.com/cloud-barista/cb-tumblebug/src/core/common.ListNsId() - no etcd environment available to connect 
[CLOUD-BARISTA].[ERROR]: 2021-07-20 09:06:09 orchestration.go:82, github.com/cloud-barista/cb-tumblebug/src/core/mcis.OrchestrationController() - no etcd environment available to connect

####################################################################
## 2. Namespace: Create
####################################################################
{
  "message": "no etcd environment available to connect"
}

[jihoon-seo]

오늘 다시 해 보니, CB-Spider 는 해결되었는데,
cb-store v0.4.1 을 적용한
CB-Tumblebug v0.4.2 에서는
여전히 no etcd environment available to connect 를 출력합니다.
좀 더 조사가 필요하겠습니다.

[powerkimhub]

@jihoon-seo 해결되었나요?

[jihoon-seo]

@powerkimhub
etcd를 사용하는 CB FW 전부 (Spider, Tumblebug, Ladybug, Dragonfly, restapigw) 파드에
etcd가 available한지를 체크하는 initContainers를 추가하는 PR (#147) 을 올렸습니다.
테스트 해 보니 위의 문제가 발생하지 않습니다. 😊