ch08.md

8장. 데이터 분포 시프트와 모니터링

moderated by 튜브

📝 목차

• 8.1. 머신러닝 시스템 장애 원인
  • 8.1.1. 소프트웨어 시스템 장애
  • 8.1.2. 머신러닝 한정 장애
• 8.2. 데이터 분포 시프트
  • 8.2.1. 데이터 분포 시프트 유형
  • 8.2.2. 일반적인 데이터 분포 시프트
  • 8.2.3. 데이터 분포 시프트 감지
  • 8.2.4. 데이터 분포 시프트 해결
• 8.3. 모니터링과 관찰 가능성
  • 8.3.1. 머신러닝 관련 지표
  • 8.3.2. 모니터링 도구
  • 8.3.3. 관찰 가능성

---

8.1. 머신러닝 시스템 장애 원인

• ML 시스템에서는 운영 지표(레이턴시, 스루풋 등)와 ML 성능 지표(모델의 예측 정확도 등)를 모두 신경 써야 한다.
• 운영 지표는 시간 초과, 웹 페이지의 404 오류, 메모리 부족 오류, 세그멘테이션 결함 등 운영 중단을 수반해 보다 감지하기 쉽다.
• 하지만 ML 시스템은 종종 **조용히 실패(fail silenty)**하고 프로덕션 환경에서 성능 측정과 모니터링이 이루어져야 하므로 하므로 성능 지표를 감지하는 것은 비교적 어렵다.

8.1.1. 소프트웨어 시스템 장애

• ML에 속하지 않는 시스템에서 발생하는 장애
• 소프트웨어 시스템 장애를 해결하기 위해서는 전통적인 소프트웨어 기술이 중요하다.

의존성 장애

• 시스템이 의존성을 갖는 소프트웨어 패키지 혹은 코드베이스에 중단이 발생해 시스템이 중단되는 경우
• 의존성을 유지 관리하는 서드 파티가 더 이상 존재하지 않을 때 특히 자주 발생

배포 실패

• 모델의 이전 버전 바이너리를 배포하는 경우
• 시스템에 특정 파일을 읽거나 쓰는 권한이 없는 경우

하드웨어 오류

다운타임 또는 충돌

• 예컨데 AWS나 호스팅 서비스에서 시스템 구성 요소가 실행되는 경우, 해당 서버가 다운되면 시스템도 다운된다.

8.1.2. 머신러닝 한정 장애

• ML 시스템과 관련된 장애
• 전체 장애에서 차지하는 비중은 낮지만 탐지하거나 수정하기 어렵고, ML 시스템이 온전히 사용되지 못하게 한다.

프로덕션 환경 데이터가 훈련 데이터와 다른 경우

• ML 모델의 학습은 모델이 훈련 데이터에 내재된 분포를 학습한 후에 그것을 통해 본 적 없는 데이터에 대해 정확한 예측값을 만들어내도록 하는 과정이다. 따라서 학습 데이터와 본 적 없는 데이터가 유사한 분포에서 나와야 하며, 본 적 없는 데이터를 학습 데이터 분포와 동일한 정상 분포(staionary distribution)에서 추출했다고 가정한다.
• 하지만 이 가정은 아래 두 가지 이유로 옳지 않다.
  1. 학습 데이터셋이 프로덕션 환경의 데이터를 정확하게 표현하도록 큐레이팅하기는 매우 어렵다.
  2. 현실 세계는 정상성(stationarity)을 갖지 않는다. 모든 것은 변하며 데이터 분포는 시프트한다. (2019년 이전 사람들이 중국 우한을 검색하는 이유는 주로 여행 정보를 얻기 위함이겠지만, 코로나19 이후에는 코로나19의 발원지를 알고 싶기 때문일 가능성이 높다)
• 데이터 시프트처럼 보이는 것들 사실 대부분 (ML 시스템의 복잡성과 잘못된 배포 관행으로 인한) 내부 오류이다. (p.284)

에지 케이스

• 에지 케이스는 보통 동일한 분포에서 나온 데이터 샘플이지만, 모델이 잘 작동하지 않는 데이터 샘플 수가 급증했다면 내재된 데이터의 분포가 시프트하지 않았나 의심해볼 수 있다.
• 에지 케이스는 자율 주행 자동차, 의료 진단, 교통 관제, e-디스커버리 등 안전이 중요한 모든 애플리케이션에서 ML 시스템을 망가뜨릴 수 있다.
• 이상치는 다른 데이터 포인트와 성질이 크게 다른 데이터 포인트 데이터를 의미하지만, 에지 케이스는 모델 성능을 비정상적으로 떨어뜨리는 데이터 포인트이다. 일부 이상치는 에지 케이스가 될 수 있지만 모든 에지 케이스가 이상치는 아니다.

퇴행성(degenerate) 피드백 루프

• 예측 자체가 피드백에 영향을 미치고, 이 피드백이 모델의 다음번 반복 학습에 영향을 미칠 때 발생한다.
• 예) 노래 추천 시스템에서 추천 순위가 높은 노래(A)가 최상단에 보이므로, 사용자는 해당 노래를 클릭할 확률이 높다. 처음에는 그 다음 순위 노래(B)와 추천 점수가 미세하게 달랐지만, 시간이 지날수록 그 차이는 벌어진다.
• '노출 편향', '인기도 편향', '필터 거품', '에코 체임버' 등 다양한 용어로 불린다.
• 퇴행성 피드백 루프가 발생함에 따라 시스템 출력이 점차 단조로워질 수 있다.

감지

• 추천 시스템에서는 과거 상호 작용(조회수, 좋아요, 구매 등)을 통해 항목의 인기도를 측정함으로써, 시스템이 오프라인일 때도 시스템이 오프라인일 때도 퇴행성 피드백 루프를 감지할 수 있다.
• 항목의 인기도는 롱테일 법칙을 따른다. 즉, 소수 항목만 다수 사용자와 상호 작용이 발생하고 대부분 항목은 상호 작용이 거의 발생하지 않는다. (롱테일 그래프와 롱테일 법칙 그리고 파레토 법칙)
• 롱테일 항목(long-tail item)의 총체적 다양성(aggregate diversity)과 평균 적용 범위(average coverage), 인기도 대비 적중률 등 다양한 지표들은 추천 시스템 출력의 다양성을 측정하는 데 도움이 될 수 있다.

교정

1. 무작위화

   • 예) 추천 시스템에서 사용자에게 추천 순위가 높은 항목과 함께 무작위 항목을 보여주고, 그에 대한 사용자 피드백을 받아서 항목의 실제 경쟁력을 결정하는 방법
   • 다양성을 개선하는 한편 사용자 경험을 저하시킬 수 있다.
   • 지능적인 탐색 전략을 통해 허용 가능한 예측 정확도 손실 폭을 정해놓고 그 안에서 항목 다양성을 높일 수 있다. (9.2.5절 '밴딧')

2. 위치 피처

   • 숫자 혹은 부울(예: 예측값이 첫 번째에 보이는지 여부) 추천 항목의 위치에 따른 편향을 보완한다. (자연어 처리의 위치 임베딩과는 다르다.)

^{⬆️ 위로 이동}

8.2. 데이터 분포 시프트

• 지도 학습에서 모델이 동작하는 데이터가 시간에 따라 변하는 현상
• 모델이 훈련된 데이터의 분포를 원본 분포(soucre distribution), 모델이 추론을 실행하는 데이터의 분포를 대상 분포(target distribution)라고 한다.

8.2.1. 데이터 분포 시프트 유형

공변량 시프트(covariate shift)

• 입력의 분포(P(X))는 변하지만 입력이 주어졌을 때 출력의 조건부 확률(P(Y|X))은 동일하게 유지되는 경우
• 예를 들어, 유방암을 예측하는 작업에서 추론 데이터보다 학습 데이터에 40세 이상 여성이 더 많다면 입력 변수 '나이'(X)에 대한 분포는 상이하다. 하지만 연령이 정해진 데이터 포인트, 예컨대 40세 이상인 데이터 포인트가 유방에 거릴 확률(P(Y|X))은 일정하다.
• 모델 개발 시 데이터 선택 프로세스에 내재된 편향(예: 특정 클래스의 샘플이 부족한 경우, 능동적 학습 프로세스에서 휴리스틱에 따라 해당 모델에 유용한 샘플을 선택하는 경우 등) 때문에 공변량 시프트가 발생할 수 있다.
• 프로덕션 환경에서는 환경 혹은 애플리케이션 사용 방식이 크게 변함(예: 마케팅 캠페인 시행)에 따라 발생한다.
• 이를 해결하기 위해 드물게 발생하는 클래스를 더 잘 학습하도록 오버샘플링을 하기도 한다.
• 실제 입력 분포가 훈련 입력 분포와 어떻게 다를지 미리 알 수 있다면 중요도 가중치 조정과 같은 기술로 학습할 수 있지만, 현실에서는 분포가 어떻게 변할지 알 수 있는 경우가 많지 않다.

레이블 시프트(label shift)

• *P(Y)*가 변하지만 *P(Y|X)*가 동일하게 유지되는 경우
• 예를 들어, 공변량 시프트의 유방암 예측 사례는 레이블 시프트라고 볼 수도 있다.
• 레이블 시프트는 공변량 시프트와 밀접하게 관련되지만 공변량 시프트가 반드시 레이블 시프트를 동반하는 것은 아니다.

개념 드리프트(concept drift)

• 입력 분포(P(X))가 동일하게 유지되지만 정해진 입력에 대한 출력의 조건부 분포(P(Y|X))가 변하는 경우
• 많은 경우 개념 드리프트는 주기적이거나 계절적이다.

8.2.2. 일반적인 데이터 분포 시프트

피처 변화

• 신규 피처가 추가되거나, 이전 피처가 제거되거나, 피처 값의 가능한 범위가 변한 경우

레이블 스키마 변화

• 레이블 시프트의 경우 P(Y)가 변하고 P(X|Y)는 그대로 유지되지만, 레이블 스키마가 변하면 P(Y)와 P(X|Y)가 모두 변한다.
• 스키마는 데이터 구조를 설명한다. 예: {양성: 0, 음성: 1}과 같이 각 클래스를 정숫값에 대응시키는 딕셔너리
• 회귀의 경우 레이블 값의 가능한 범위가 변하면서, 분류의 경우 신규 클래스로 인해 레이블 스키마 변화가 발생할 수 있다.

8.2.3. 데이터 분포 시프트 감지

통계적 방법

• 평균, 중앙값, 분산 등의 통계값이 크게 다르다면 추론 시 분포가 학습 시 분포에서 상당히 시프트했을 수 있다.
• 2-표본 가설 검정, 최소 제곱 밀도 함수 차이 검정, 최대 평균 불일치(MMD), 커널 MMD 등의 기법을 사용해 두 모집단 간의 차이가 통계적으로 유의한지 보다 정교하게 확인할 수 있다.
• 2-표본 검정은 고차원 데이터보다 저차원 데이터에서 더 작동할 때가 많으므로 데이터의 차원을 줄이는 것이 좋다.

시프트를 감지하기 위한 시간 척도 윈도

• 시프트는 공간과 시간이라는 두 가지 차원에서 발생할 수 있다. 공간적 시프트는 접속 지점이 달라짐에따라, 시간적 시프트는 시간이 지남에 따라 발생한다.
• 시간적 시프트를 감지하는 일반적인 접근법은 ML 애플리케이션에 대한 입력 데이터를 시계열 데이터로 처리하는 것이다.
• 많은 회사에서 학습 데이터 분포를 기본 분포로 사용하며 특정 세분화 수준(예: 시간, 일)별 프로덕션 데이터 분포를 모니터링한다. 시간 척도 윈도가 작을수록 데이터 분포의 변화를 더 빨리 감지할 수 있다.
• 실시간 데이터 분석을 처리하는 플랫폼은 병합 연산을 제공하는데, 이를 통해 작은 시간 척도 윈도에 대한 통계를 병합해 크기가 큰 시간 척도 윈도에 대한 통계를 생성할 수 있다.

8.2.4. 데이터 분포 시프트 해결

• 주요 접근법
  • 대규모 데이터셋으로 모델을 훈련하는 방법
  • 새로운 레이블을 요구하지 않으면서 훈련된 모델을 대상 분포에 적응시키는 방법
  • 대상 분포에서 레이블이 지정된 데이터를 가져와 모델을 재훈련하는 방법
• 시스템 자체를 시프트에 더욱 강건하게 설계함으�로써 데이터 분포 시프트 자체를 발생하지 않도록 하거나 시스템이 시프트에 더 쉽게 적응하도록 설계할 수도 있다.

^{⬆️ 위로 이동}

8.3. 모니터링과 관찰 가능성

• 모니터링은 문제가 발생했을 때 판단에 도움이 될 수 있는 다양한 지표를 추적, 측정, 기록하는 작업을 말한다.
• 관찰 가능성(observability)은 가시성(시스템의 무엇이 잘못됐는지)을 제공하는 방식으로 시스템을 설정하는 것을 말한다.
• 일정 수준의 관찰 가능성 없이는 모니터링이 불가능하다.

8.3.1. 머신러닝 관련 지표

정확도 관련 지표 모니터링

• 모델 성능 저하 여부를 확인하는 데 가장 직접적으로 도움이 되는 지표이다.
• 사용자 피드백의 일부를 통해 자연 레이블을 추론하여 계산할 수 있다. (예: 사용자 클릭율, 시청 지속 시간, 좋아요, 싫어요 등)

예측값 모니터링

• 예측값은 보통 차원이 낮으므로 시각화하기 쉬우며 요약 통계량을 계산하거나 해석하기 쉽다.
• 모델 가중치와 편향값이 변하지 않는다면 예측 분포의 변화는 일반적으로 내재된 입력 분포의 변화를 의미한다.
• 비정상적인 응답, 응답 레이턴시 등을 모니터링하기도 한다.

피처 모니터링

• 원시 입력 데이터와 비교하면 사전에 정의한 스키마에 따라 잘 구조화되어 있다.
• 피처 검증(feature validation): 피처가 기대하는 스키마를 잘 따르는지 확인한다.
• 2-표본 검정: 피처 혹은 피처 집합의 내재 분포가 시프트했는지 감지할 수 있다.
• 피처 혹은 피처 집합은 보통 고차원이므로 검정을 수행하기 전에 차원을 줄여야 한다.
• 피처 모니터링을 수행할 때 아래와 같은 문제가 있을 수 있다.
  1. 프로덕션 환경 모델이 수백 개일 수 있다. (각 모델은 보통 수백 개의 피처를 사용한다.)
  2. 추적 기능은 디버깅에는 유용하지만 모델 성능 저하를 감지하는 데는 그다지 유용하지 않을 수 있다.
  3. 피처 추출은 다양한 서비스에서 다양한 라이브러리를 사용해 다양한 단계에서 이루어지므로, 피처에서 유해한 변화를 감지하더라도 이 변화가 내재하는 문제가 무엇인지 감지하지 못할 수 있다.
  4. 피처가 따르는 스키마가 시간에 따라 바뀔 수 있다.
• 그럼에도 불구하고 피처 모니처링은 매우 중요하다. 적합한 피처 모니터링 솔루션을 선택해 위 문제를 해소할 수 있다.

원시 입력 모니터링

• 원시 입력이 처리되기 전에 모니터링하는 것을 말한다.
• 원시 입력 데이터는 데이터 플랫폼 팀이 관리하며 ML 엔지니어는 데이터 웨어하우스에서만 데이터를 질의할 수 있으므로 원시 입력 데이터에 직접 접근할 수 없는 경우가 많다.

8.3.2. 모니터링 도구

로그

• 디버깅과 분석 목적으로 시스템 개발자가 관심을 가질 만한 모든 것을 기록한다.
  • 예: 컨테이너 구동이 시작된 시점, 필요한 메모리의 양, 함수가 호출된 시점, 함수 실행 완료 시점, 함수가 호출하는 다른 함수, 함수 입출력, 충돌, 스택 적, 오류 코드 등
• 오늘날 소프트웨어는 과거보다 다양한 구성 요소로 이루어지기 때문에 이벤트를 감지해도 문제가 어느 지점인지 찾기가 더 어렵다.
• 로그가 커지고 관리하기 어려워지면서 로그 관리 툴 시장 규모는 2021년 23억 달러, 2026년 41억 달러(추정) 규모이다.
• ML을 활용힌 로그 분석도 널리 사용되고 있다.
  • 비정상적인 시스템 이벤트를 탐지하는 이상 탐지 모델
  • 서비스에 장애가 발생했을 때 유관 서비스에서 영향받을 확률을 ML 모델이 계산
• 많은 기업에서 로그를 배치 처리한다. 스파크, 하둡, 하이브 클러스터 내의 배치 프로세스를 사용해 효율적으로 처리할 수 있다.
• 다만, 이상 현상이 발생하는 즉시 발견하려면 이벤트가 로깅되는 동시에 처리하려면 로그 처리는 스트림 처리가 된다. 카프카나 아마존 키네시스 같은 실시간 전송을 사용해 이벤트가 로깅되는 즉시 전송하고, KSQL이나 플링크 SQL과 같은 스트리밍 SQL 엔진을 활용해 이벤트를 실시간으로 검색한다.

대시보드

• 시각화를 통해 숫자만으로 파악하기 힘들던 숫자 사이 관계를 파악할 수 있다.
• 엔지니어가 아닌 사람도 모니터링 할 수 있게 해 준다.
• 다만 그래프를 정확히 활용하려면 경험과 통계적 지식이 필요하다.
• 대시보드에 지표가 과도하게 많으면 역효과(부패한 대시보드 현상)가 날 수 있으므로, 올바른 지표를 선택하고 하위 수준 지표를 추상화하는 작업이 필요하다.

경고

• 구성 요소
  • 경고 정책: 경고가 발생할 조건을 지정
  • 알림 채널: 조건이 충족되면 알림 받을 사람을 지정
  • 경고 설명: 경고에 대한 상세한 설명
• 너무 많은 경고로 인해 경보 피로나 경고에 둔감해지는 것을 막기 위해 경고 발생 조건을 의미있게 설정하는 것이 중요하다.

8.3.3. 관찰 가능성

• 소프트웨어 시스템이 복잡해지면서, 업계에서 '모니터링' 대신 '관찰 가능성'이라는 용어를 사용하기 시작했다.
• 런타임에 시스템에서 수집한 출력을 사용해 소프트웨어의 복잡한 동작을 이해하는 데 더 나은 가시성을 제공한다.
• 시스템 내부 상태와 출력 간의 관계에 특별한 가정을 두지 않는 모니터링과 달리, 시스템 내부 상태는 외부 출력에 대한 지식으로 추론할 수 있다고 가정한다.
• 시스템이 관찰 가능하다면 시스템 코드와 지표만 보고도 무엇이 잘못됐는지 파악할 수 있다.
• ML에서 관찰 가능성은 모델의 해석 가능성을 포함한다.

^{⬆️ 위로 이동}