moderated by ํ๋ธ
- 8.1. ๋จธ์ ๋ฌ๋ ์์คํ ์ฅ์ ์์ธ
- 8.2. ๋ฐ์ดํฐ ๋ถํฌ ์ํํธ
- 8.3. ๋ชจ๋ํฐ๋ง๊ณผ ๊ด์ฐฐ ๊ฐ๋ฅ์ฑ
- ML ์์คํ ์์๋ ์ด์ ์งํ(๋ ์ดํด์, ์ค๋ฃจํ ๋ฑ)์ ML ์ฑ๋ฅ ์งํ(๋ชจ๋ธ์ ์์ธก ์ ํ๋ ๋ฑ)๋ฅผ ๋ชจ๋ ์ ๊ฒฝ ์จ์ผ ํ๋ค.
- ์ด์ ์งํ๋ ์๊ฐ ์ด๊ณผ, ์น ํ์ด์ง์ 404 ์ค๋ฅ, ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ ์ค๋ฅ, ์ธ๊ทธ๋ฉํ ์ด์ ๊ฒฐํจ ๋ฑ ์ด์ ์ค๋จ์ ์๋ฐํด ๋ณด๋ค ๊ฐ์งํ๊ธฐ ์ฝ๋ค.
- ํ์ง๋ง ML ์์คํ ์ ์ข ์ข **์กฐ์ฉํ ์คํจ(fail silenty)**ํ๊ณ ํ๋ก๋์ ํ๊ฒฝ์์ ์ฑ๋ฅ ์ธก์ ๊ณผ ๋ชจ๋ํฐ๋ง์ด ์ด๋ฃจ์ด์ ธ์ผ ํ๋ฏ๋ก ํ๋ฏ๋ก ์ฑ๋ฅ ์งํ๋ฅผ ๊ฐ์งํ๋ ๊ฒ์ ๋น๊ต์ ์ด๋ ต๋ค.
- ML์ ์ํ์ง ์๋ ์์คํ ์์ ๋ฐ์ํ๋ ์ฅ์
- ์ํํธ์จ์ด ์์คํ ์ฅ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด์๋ ์ ํต์ ์ธ ์ํํธ์จ์ด ๊ธฐ์ ์ด ์ค์ํ๋ค.
- ์์คํ ์ด ์์กด์ฑ์ ๊ฐ๋ ์ํํธ์จ์ด ํจํค์ง ํน์ ์ฝ๋๋ฒ ์ด์ค์ ์ค๋จ์ด ๋ฐ์ํด ์์คํ ์ด ์ค๋จ๋๋ ๊ฒฝ์ฐ
- ์์กด์ฑ์ ์ ์ง ๊ด๋ฆฌํ๋ ์๋ ํํฐ๊ฐ ๋ ์ด์ ์กด์ฌํ์ง ์์ ๋ ํนํ ์์ฃผ ๋ฐ์
- ๋ชจ๋ธ์ ์ด์ ๋ฒ์ ๋ฐ์ด๋๋ฆฌ๋ฅผ ๋ฐฐํฌํ๋ ๊ฒฝ์ฐ
- ์์คํ ์ ํน์ ํ์ผ์ ์ฝ๊ฑฐ๋ ์ฐ๋ ๊ถํ์ด ์๋ ๊ฒฝ์ฐ
- ์์ปจ๋ฐ AWS๋ ํธ์คํ ์๋น์ค์์ ์์คํ ๊ตฌ์ฑ ์์๊ฐ ์คํ๋๋ ๊ฒฝ์ฐ, ํด๋น ์๋ฒ๊ฐ ๋ค์ด๋๋ฉด ์์คํ ๋ ๋ค์ด๋๋ค.
- ML ์์คํ ๊ณผ ๊ด๋ จ๋ ์ฅ์
- ์ ์ฒด ์ฅ์ ์์ ์ฐจ์งํ๋ ๋น์ค์ ๋ฎ์ง๋ง ํ์งํ๊ฑฐ๋ ์์ ํ๊ธฐ ์ด๋ ต๊ณ , ML ์์คํ ์ด ์จ์ ํ ์ฌ์ฉ๋์ง ๋ชปํ๊ฒ ํ๋ค.
- ML ๋ชจ๋ธ์ ํ์ต์ ๋ชจ๋ธ์ด ํ๋ จ ๋ฐ์ดํฐ์ ๋ด์ฌ๋ ๋ถํฌ๋ฅผ ํ์ตํ ํ์ ๊ทธ๊ฒ์ ํตํด ๋ณธ ์ ์๋ ๋ฐ์ดํฐ์ ๋ํด ์ ํํ ์์ธก๊ฐ์ ๋ง๋ค์ด๋ด๋๋ก ํ๋ ๊ณผ์ ์ด๋ค. ๋ฐ๋ผ์ ํ์ต ๋ฐ์ดํฐ์ ๋ณธ ์ ์๋ ๋ฐ์ดํฐ๊ฐ ์ ์ฌํ ๋ถํฌ์์ ๋์์ผ ํ๋ฉฐ, ๋ณธ ์ ์๋ ๋ฐ์ดํฐ๋ฅผ ํ์ต ๋ฐ์ดํฐ ๋ถํฌ์ ๋์ผํ ์ ์ ๋ถํฌ(staionary distribution)์์ ์ถ์ถํ๋ค๊ณ ๊ฐ์ ํ๋ค.
- ํ์ง๋ง ์ด ๊ฐ์ ์ ์๋ ๋ ๊ฐ์ง ์ด์ ๋ก ์ณ์ง ์๋ค.
- ํ์ต ๋ฐ์ดํฐ์ ์ด ํ๋ก๋์ ํ๊ฒฝ์ ๋ฐ์ดํฐ๋ฅผ ์ ํํ๊ฒ ํํํ๋๋ก ํ๋ ์ดํ ํ๊ธฐ๋ ๋งค์ฐ ์ด๋ ต๋ค.
- ํ์ค ์ธ๊ณ๋ ์ ์์ฑ(stationarity)์ ๊ฐ์ง ์๋๋ค. ๋ชจ๋ ๊ฒ์ ๋ณํ๋ฉฐ ๋ฐ์ดํฐ ๋ถํฌ๋ ์ํํธํ๋ค. (2019๋
์ด์ ์ฌ๋๋ค์ด
์ค๊ตญ ์ฐํ
์ ๊ฒ์ํ๋ ์ด์ ๋ ์ฃผ๋ก ์ฌํ ์ ๋ณด๋ฅผ ์ป๊ธฐ ์ํจ์ด๊ฒ ์ง๋ง, ์ฝ๋ก๋19 ์ดํ์๋ ์ฝ๋ก๋19์ ๋ฐ์์ง๋ฅผ ์๊ณ ์ถ๊ธฐ ๋๋ฌธ์ผ ๊ฐ๋ฅ์ฑ์ด ๋๋ค)
- ๋ฐ์ดํฐ ์ํํธ์ฒ๋ผ ๋ณด์ด๋ ๊ฒ๋ค ์ฌ์ค ๋๋ถ๋ถ (ML ์์คํ ์ ๋ณต์ก์ฑ๊ณผ ์๋ชป๋ ๋ฐฐํฌ ๊ดํ์ผ๋ก ์ธํ) ๋ด๋ถ ์ค๋ฅ์ด๋ค. (p.284)
- ์์ง ์ผ์ด์ค๋ ๋ณดํต ๋์ผํ ๋ถํฌ์์ ๋์จ ๋ฐ์ดํฐ ์ํ์ด์ง๋ง, ๋ชจ๋ธ์ด ์ ์๋ํ์ง ์๋ ๋ฐ์ดํฐ ์ํ ์๊ฐ ๊ธ์ฆํ๋ค๋ฉด ๋ด์ฌ๋ ๋ฐ์ดํฐ์ ๋ถํฌ๊ฐ ์ํํธํ์ง ์์๋ ์์ฌํด๋ณผ ์ ์๋ค.
- ์์ง ์ผ์ด์ค๋ ์์จ ์ฃผํ ์๋์ฐจ, ์๋ฃ ์ง๋จ, ๊ตํต ๊ด์ , e-๋์ค์ปค๋ฒ๋ฆฌ ๋ฑ ์์ ์ด ์ค์ํ ๋ชจ๋ ์ ํ๋ฆฌ์ผ์ด์ ์์ ML ์์คํ ์ ๋ง๊ฐ๋จ๋ฆด ์ ์๋ค.
- ์ด์์น๋ ๋ค๋ฅธ ๋ฐ์ดํฐ ํฌ์ธํธ์
์ฑ์ง
์ด ํฌ๊ฒ ๋ค๋ฅธ ๋ฐ์ดํฐ ํฌ์ธํธ ๋ฐ์ดํฐ๋ฅผ ์๋ฏธํ์ง๋ง, ์์ง ์ผ์ด์ค๋๋ชจ๋ธ ์ฑ๋ฅ
์ ๋น์ ์์ ์ผ๋ก ๋จ์ด๋จ๋ฆฌ๋ ๋ฐ์ดํฐ ํฌ์ธํธ์ด๋ค. ์ผ๋ถ ์ด์์น๋ ์์ง ์ผ์ด์ค๊ฐ ๋ ์ ์์ง๋ง ๋ชจ๋ ์์ง ์ผ์ด์ค๊ฐ ์ด์์น๋ ์๋๋ค.
- ์์ธก ์์ฒด๊ฐ ํผ๋๋ฐฑ์ ์ํฅ์ ๋ฏธ์น๊ณ , ์ด ํผ๋๋ฐฑ์ด ๋ชจ๋ธ์ ๋ค์๋ฒ ๋ฐ๋ณต ํ์ต์ ์ํฅ์ ๋ฏธ์น ๋ ๋ฐ์ํ๋ค.
- ์) ๋ ธ๋ ์ถ์ฒ ์์คํ ์์ ์ถ์ฒ ์์๊ฐ ๋์ ๋ ธ๋(A)๊ฐ ์ต์๋จ์ ๋ณด์ด๋ฏ๋ก, ์ฌ์ฉ์๋ ํด๋น ๋ ธ๋๋ฅผ ํด๋ฆญํ ํ๋ฅ ์ด ๋๋ค. ์ฒ์์๋ ๊ทธ ๋ค์ ์์ ๋ ธ๋(B)์ ์ถ์ฒ ์ ์๊ฐ ๋ฏธ์ธํ๊ฒ ๋ฌ๋์ง๋ง, ์๊ฐ์ด ์ง๋ ์๋ก ๊ทธ ์ฐจ์ด๋ ๋ฒ์ด์ง๋ค.
- '๋ ธ์ถ ํธํฅ', '์ธ๊ธฐ๋ ํธํฅ', 'ํํฐ ๊ฑฐํ', '์์ฝ ์ฒด์๋ฒ' ๋ฑ ๋ค์ํ ์ฉ์ด๋ก ๋ถ๋ฆฐ๋ค.
- ํดํ์ฑ ํผ๋๋ฐฑ ๋ฃจํ๊ฐ ๋ฐ์ํจ์ ๋ฐ๋ผ ์์คํ ์ถ๋ ฅ์ด ์ ์ฐจ ๋จ์กฐ๋ก์์ง ์ ์๋ค.
- ์ถ์ฒ ์์คํ ์์๋ ๊ณผ๊ฑฐ ์ํธ ์์ฉ(์กฐํ์, ์ข์์, ๊ตฌ๋งค ๋ฑ)์ ํตํด ํญ๋ชฉ์ ์ธ๊ธฐ๋๋ฅผ ์ธก์ ํจ์ผ๋ก์จ, ์์คํ ์ด ์คํ๋ผ์ธ์ผ ๋๋ ์์คํ ์ด ์คํ๋ผ์ธ์ผ ๋๋ ํดํ์ฑ ํผ๋๋ฐฑ ๋ฃจํ๋ฅผ ๊ฐ์งํ ์ ์๋ค.
- ํญ๋ชฉ์ ์ธ๊ธฐ๋๋ ๋กฑํ ์ผ ๋ฒ์น์ ๋ฐ๋ฅธ๋ค. ์ฆ, ์์ ํญ๋ชฉ๋ง ๋ค์ ์ฌ์ฉ์์ ์ํธ ์์ฉ์ด ๋ฐ์ํ๊ณ ๋๋ถ๋ถ ํญ๋ชฉ์ ์ํธ ์์ฉ์ด ๊ฑฐ์ ๋ฐ์ํ์ง ์๋๋ค. (๋กฑํ ์ผ ๊ทธ๋ํ์ ๋กฑํ ์ผ ๋ฒ์น ๊ทธ๋ฆฌ๊ณ ํ๋ ํ ๋ฒ์น)
- ๋กฑํ ์ผ ํญ๋ชฉ(long-tail item)์ ์ด์ฒด์ ๋ค์์ฑ(aggregate diversity)๊ณผ ํ๊ท ์ ์ฉ ๋ฒ์(average coverage), ์ธ๊ธฐ๋ ๋๋น ์ ์ค๋ฅ ๋ฑ ๋ค์ํ ์งํ๋ค์ ์ถ์ฒ ์์คํ ์ถ๋ ฅ์ ๋ค์์ฑ์ ์ธก์ ํ๋ ๋ฐ ๋์์ด ๋ ์ ์๋ค.
-
๋ฌด์์ํ
- ์) ์ถ์ฒ ์์คํ ์์ ์ฌ์ฉ์์๊ฒ ์ถ์ฒ ์์๊ฐ ๋์ ํญ๋ชฉ๊ณผ ํจ๊ป ๋ฌด์์ ํญ๋ชฉ์ ๋ณด์ฌ์ฃผ๊ณ , ๊ทธ์ ๋ํ ์ฌ์ฉ์ ํผ๋๋ฐฑ์ ๋ฐ์์ ํญ๋ชฉ์ ์ค์ ๊ฒฝ์๋ ฅ์ ๊ฒฐ์ ํ๋ ๋ฐฉ๋ฒ
- ๋ค์์ฑ์ ๊ฐ์ ํ๋ ํํธ ์ฌ์ฉ์ ๊ฒฝํ์ ์ ํ์ํฌ ์ ์๋ค.
- ์ง๋ฅ์ ์ธ ํ์ ์ ๋ต์ ํตํด ํ์ฉ ๊ฐ๋ฅํ ์์ธก ์ ํ๋ ์์ค ํญ์ ์ ํด๋๊ณ ๊ทธ ์์์ ํญ๋ชฉ ๋ค์์ฑ์ ๋์ผ ์ ์๋ค. (9.2.5์ '๋ฐด๋ง')
-
์์น ํผ์ฒ
- ์ซ์ ํน์ ๋ถ์ธ(์: ์์ธก๊ฐ์ด ์ฒซ ๋ฒ์งธ์ ๋ณด์ด๋์ง ์ฌ๋ถ) ์ถ์ฒ ํญ๋ชฉ์ ์์น์ ๋ฐ๋ฅธ ํธํฅ์ ๋ณด์ํ๋ค. (์์ฐ์ด ์ฒ๋ฆฌ์ ์์น ์๋ฒ ๋ฉ๊ณผ๋ ๋ค๋ฅด๋ค.)
- ์ง๋ ํ์ต์์ ๋ชจ๋ธ์ด ๋์ํ๋ ๋ฐ์ดํฐ๊ฐ ์๊ฐ์ ๋ฐ๋ผ ๋ณํ๋ ํ์
- ๋ชจ๋ธ์ด ํ๋ จ๋ ๋ฐ์ดํฐ์ ๋ถํฌ๋ฅผ
์๋ณธ ๋ถํฌ
(soucre distribution), ๋ชจ๋ธ์ด ์ถ๋ก ์ ์คํํ๋ ๋ฐ์ดํฐ์ ๋ถํฌ๋ฅผ๋์ ๋ถํฌ
(target distribution)๋ผ๊ณ ํ๋ค.
- ์ ๋ ฅ์ ๋ถํฌ(P(X))๋ ๋ณํ์ง๋ง ์ ๋ ฅ์ด ์ฃผ์ด์ก์ ๋ ์ถ๋ ฅ์ ์กฐ๊ฑด๋ถ ํ๋ฅ (P(Y|X))์ ๋์ผํ๊ฒ ์ ์ง๋๋ ๊ฒฝ์ฐ
- ์๋ฅผ ๋ค์ด, ์ ๋ฐฉ์์ ์์ธกํ๋ ์์ ์์ ์ถ๋ก ๋ฐ์ดํฐ๋ณด๋ค ํ์ต ๋ฐ์ดํฐ์ 40์ธ ์ด์ ์ฌ์ฑ์ด ๋ ๋ง๋ค๋ฉด ์ ๋ ฅ ๋ณ์ '๋์ด'(X)์ ๋ํ ๋ถํฌ๋ ์์ดํ๋ค. ํ์ง๋ง ์ฐ๋ น์ด ์ ํด์ง ๋ฐ์ดํฐ ํฌ์ธํธ, ์์ปจ๋ 40์ธ ์ด์์ธ ๋ฐ์ดํฐ ํฌ์ธํธ๊ฐ ์ ๋ฐฉ์ ๊ฑฐ๋ฆด ํ๋ฅ (P(Y|X))์ ์ผ์ ํ๋ค.
- ๋ชจ๋ธ ๊ฐ๋ฐ ์ ๋ฐ์ดํฐ ์ ํ ํ๋ก์ธ์ค์ ๋ด์ฌ๋ ํธํฅ(์: ํน์ ํด๋์ค์ ์ํ์ด ๋ถ์กฑํ ๊ฒฝ์ฐ, ๋ฅ๋์ ํ์ต ํ๋ก์ธ์ค์์ ํด๋ฆฌ์คํฑ์ ๋ฐ๋ผ ํด๋น ๋ชจ๋ธ์ ์ ์ฉํ ์ํ์ ์ ํํ๋ ๊ฒฝ์ฐ ๋ฑ) ๋๋ฌธ์ ๊ณต๋ณ๋ ์ํํธ๊ฐ ๋ฐ์ํ ์ ์๋ค.
- ํ๋ก๋์ ํ๊ฒฝ์์๋ ํ๊ฒฝ ํน์ ์ ํ๋ฆฌ์ผ์ด์ ์ฌ์ฉ ๋ฐฉ์์ด ํฌ๊ฒ ๋ณํจ(์: ๋ง์ผํ ์บ ํ์ธ ์ํ)์ ๋ฐ๋ผ ๋ฐ์ํ๋ค.
- ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋๋ฌผ๊ฒ ๋ฐ์ํ๋ ํด๋์ค๋ฅผ ๋ ์ ํ์ตํ๋๋ก ์ค๋ฒ์ํ๋ง์ ํ๊ธฐ๋ ํ๋ค.
- ์ค์ ์ ๋ ฅ ๋ถํฌ๊ฐ ํ๋ จ ์ ๋ ฅ ๋ถํฌ์ ์ด๋ป๊ฒ ๋ค๋ฅผ์ง ๋ฏธ๋ฆฌ ์ ์ ์๋ค๋ฉด ์ค์๋ ๊ฐ์ค์น ์กฐ์ ๊ณผ ๊ฐ์ ๊ธฐ์ ๋ก ํ์ตํ ์ ์์ง๋ง, ํ์ค์์๋ ๋ถํฌ๊ฐ ์ด๋ป๊ฒ ๋ณํ ์ง ์ ์ ์๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ง ์๋ค.
- *P(Y)*๊ฐ ๋ณํ์ง๋ง *P(Y|X)*๊ฐ ๋์ผํ๊ฒ ์ ์ง๋๋ ๊ฒฝ์ฐ
- ์๋ฅผ ๋ค์ด, ๊ณต๋ณ๋ ์ํํธ์ ์ ๋ฐฉ์ ์์ธก ์ฌ๋ก๋ ๋ ์ด๋ธ ์ํํธ๋ผ๊ณ ๋ณผ ์๋ ์๋ค.
- ๋ ์ด๋ธ ์ํํธ๋ ๊ณต๋ณ๋ ์ํํธ์ ๋ฐ์ ํ๊ฒ ๊ด๋ จ๋์ง๋ง ๊ณต๋ณ๋ ์ํํธ๊ฐ ๋ฐ๋์ ๋ ์ด๋ธ ์ํํธ๋ฅผ ๋๋ฐํ๋ ๊ฒ์ ์๋๋ค.
- ์ ๋ ฅ ๋ถํฌ(P(X))๊ฐ ๋์ผํ๊ฒ ์ ์ง๋์ง๋ง ์ ํด์ง ์ ๋ ฅ์ ๋ํ ์ถ๋ ฅ์ ์กฐ๊ฑด๋ถ ๋ถํฌ(P(Y|X))๊ฐ ๋ณํ๋ ๊ฒฝ์ฐ
- ๋ง์ ๊ฒฝ์ฐ ๊ฐ๋ ๋๋ฆฌํํธ๋ ์ฃผ๊ธฐ์ ์ด๊ฑฐ๋ ๊ณ์ ์ ์ด๋ค.
- ์ ๊ท ํผ์ฒ๊ฐ ์ถ๊ฐ๋๊ฑฐ๋, ์ด์ ํผ์ฒ๊ฐ ์ ๊ฑฐ๋๊ฑฐ๋, ํผ์ฒ ๊ฐ์ ๊ฐ๋ฅํ ๋ฒ์๊ฐ ๋ณํ ๊ฒฝ์ฐ
- ๋ ์ด๋ธ ์ํํธ์ ๊ฒฝ์ฐ P(Y)๊ฐ ๋ณํ๊ณ P(X|Y)๋ ๊ทธ๋๋ก ์ ์ง๋์ง๋ง, ๋ ์ด๋ธ ์คํค๋ง๊ฐ ๋ณํ๋ฉด P(Y)์ P(X|Y)๊ฐ ๋ชจ๋ ๋ณํ๋ค.
- ์คํค๋ง๋ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ์ค๋ช ํ๋ค. ์: {์์ฑ: 0, ์์ฑ: 1}๊ณผ ๊ฐ์ด ๊ฐ ํด๋์ค๋ฅผ ์ ์ซ๊ฐ์ ๋์์ํค๋ ๋์ ๋๋ฆฌ
- ํ๊ท์ ๊ฒฝ์ฐ ๋ ์ด๋ธ ๊ฐ์ ๊ฐ๋ฅํ ๋ฒ์๊ฐ ๋ณํ๋ฉด์, ๋ถ๋ฅ์ ๊ฒฝ์ฐ ์ ๊ท ํด๋์ค๋ก ์ธํด ๋ ์ด๋ธ ์คํค๋ง ๋ณํ๊ฐ ๋ฐ์ํ ์ ์๋ค.
- ํ๊ท , ์ค์๊ฐ, ๋ถ์ฐ ๋ฑ์ ํต๊ณ๊ฐ์ด ํฌ๊ฒ ๋ค๋ฅด๋ค๋ฉด ์ถ๋ก ์ ๋ถํฌ๊ฐ ํ์ต ์ ๋ถํฌ์์ ์๋นํ ์ํํธํ์ ์ ์๋ค.
- 2-ํ๋ณธ ๊ฐ์ค ๊ฒ์ , ์ต์ ์ ๊ณฑ ๋ฐ๋ ํจ์ ์ฐจ์ด ๊ฒ์ , ์ต๋ ํ๊ท ๋ถ์ผ์น(MMD), ์ปค๋ MMD ๋ฑ์ ๊ธฐ๋ฒ์ ์ฌ์ฉํด ๋ ๋ชจ์ง๋จ ๊ฐ์ ์ฐจ์ด๊ฐ ํต๊ณ์ ์ผ๋ก ์ ์ํ์ง ๋ณด๋ค ์ ๊ตํ๊ฒ ํ์ธํ ์ ์๋ค.
- 2-ํ๋ณธ ๊ฒ์ ์ ๊ณ ์ฐจ์ ๋ฐ์ดํฐ๋ณด๋ค ์ ์ฐจ์ ๋ฐ์ดํฐ์์ ๋ ์๋ํ ๋๊ฐ ๋ง์ผ๋ฏ๋ก ๋ฐ์ดํฐ์ ์ฐจ์์ ์ค์ด๋ ๊ฒ์ด ์ข๋ค.
- ์ํํธ๋ ๊ณต๊ฐ๊ณผ ์๊ฐ์ด๋ผ๋ ๋ ๊ฐ์ง ์ฐจ์์์ ๋ฐ์ํ ์ ์๋ค. ๊ณต๊ฐ์ ์ํํธ๋ ์ ์ ์ง์ ์ด ๋ฌ๋ผ์ง์๋ฐ๋ผ, ์๊ฐ์ ์ํํธ๋ ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ๋ฐ์ํ๋ค.
- ์๊ฐ์ ์ํํธ๋ฅผ ๊ฐ์งํ๋ ์ผ๋ฐ์ ์ธ ์ ๊ทผ๋ฒ์ ML ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ํ ์ ๋ ฅ ๋ฐ์ดํฐ๋ฅผ ์๊ณ์ด ๋ฐ์ดํฐ๋ก ์ฒ๋ฆฌํ๋ ๊ฒ์ด๋ค.
- ๋ง์ ํ์ฌ์์ ํ์ต ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ๊ธฐ๋ณธ ๋ถํฌ๋ก ์ฌ์ฉํ๋ฉฐ ํน์ ์ธ๋ถํ ์์ค(์: ์๊ฐ, ์ผ)๋ณ ํ๋ก๋์ ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ๋ชจ๋ํฐ๋งํ๋ค. ์๊ฐ ์ฒ๋ ์๋๊ฐ ์์์๋ก ๋ฐ์ดํฐ ๋ถํฌ์ ๋ณํ๋ฅผ ๋ ๋นจ๋ฆฌ ๊ฐ์งํ ์ ์๋ค.
- ์ค์๊ฐ ๋ฐ์ดํฐ ๋ถ์์ ์ฒ๋ฆฌํ๋ ํ๋ซํผ์ ๋ณํฉ ์ฐ์ฐ์ ์ ๊ณตํ๋๋ฐ, ์ด๋ฅผ ํตํด ์์ ์๊ฐ ์ฒ๋ ์๋์ ๋ํ ํต๊ณ๋ฅผ ๋ณํฉํด ํฌ๊ธฐ๊ฐ ํฐ ์๊ฐ ์ฒ๋ ์๋์ ๋ํ ํต๊ณ๋ฅผ ์์ฑํ ์ ์๋ค.
- ์ฃผ์ ์ ๊ทผ๋ฒ
- ๋๊ท๋ชจ ๋ฐ์ดํฐ์ ์ผ๋ก ๋ชจ๋ธ์ ํ๋ จํ๋ ๋ฐฉ๋ฒ
- ์๋ก์ด ๋ ์ด๋ธ์ ์๊ตฌํ์ง ์์ผ๋ฉด์ ํ๋ จ๋ ๋ชจ๋ธ์ ๋์ ๋ถํฌ์ ์ ์์ํค๋ ๋ฐฉ๋ฒ
- ๋์ ๋ถํฌ์์ ๋ ์ด๋ธ์ด ์ง์ ๋ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ ๋ชจ๋ธ์ ์ฌํ๋ จํ๋ ๋ฐฉ๋ฒ
- ์์คํ ์์ฒด๋ฅผ ์ํํธ์ ๋์ฑ ๊ฐ๊ฑดํ๊ฒ ์ค๊ณํจ์ผ๏ฟฝ๋ก์จ ๋ฐ์ดํฐ ๋ถํฌ ์ํํธ ์์ฒด๋ฅผ ๋ฐ์ํ์ง ์๋๋ก ํ๊ฑฐ๋ ์์คํ ์ด ์ํํธ์ ๋ ์ฝ๊ฒ ์ ์ํ๋๋ก ์ค๊ณํ ์๋ ์๋ค.
๋ชจ๋ํฐ๋ง
์ ๋ฌธ์ ๊ฐ ๋ฐ์ํ์ ๋ ํ๋จ์ ๋์์ด ๋ ์ ์๋ ๋ค์ํ ์งํ๋ฅผ ์ถ์ , ์ธก์ , ๊ธฐ๋กํ๋ ์์ ์ ๋งํ๋ค.๊ด์ฐฐ ๊ฐ๋ฅ์ฑ
(observability)์ ๊ฐ์์ฑ(์์คํ ์ ๋ฌด์์ด ์๋ชป๋๋์ง)์ ์ ๊ณตํ๋ ๋ฐฉ์์ผ๋ก ์์คํ ์ ์ค์ ํ๋ ๊ฒ์ ๋งํ๋ค.- ์ผ์ ์์ค์ ๊ด์ฐฐ ๊ฐ๋ฅ์ฑ ์์ด๋ ๋ชจ๋ํฐ๋ง์ด ๋ถ๊ฐ๋ฅํ๋ค.
- ๋ชจ๋ธ ์ฑ๋ฅ ์ ํ ์ฌ๋ถ๋ฅผ ํ์ธํ๋ ๋ฐ ๊ฐ์ฅ ์ง์ ์ ์ผ๋ก ๋์์ด ๋๋ ์งํ์ด๋ค.
- ์ฌ์ฉ์ ํผ๋๋ฐฑ์ ์ผ๋ถ๋ฅผ ํตํด ์์ฐ ๋ ์ด๋ธ์ ์ถ๋ก ํ์ฌ ๊ณ์ฐํ ์ ์๋ค. (์: ์ฌ์ฉ์ ํด๋ฆญ์จ, ์์ฒญ ์ง์ ์๊ฐ, ์ข์์, ์ซ์ด์ ๋ฑ)
- ์์ธก๊ฐ์ ๋ณดํต ์ฐจ์์ด ๋ฎ์ผ๋ฏ๋ก ์๊ฐํํ๊ธฐ ์ฌ์ฐ๋ฉฐ ์์ฝ ํต๊ณ๋์ ๊ณ์ฐํ๊ฑฐ๋ ํด์ํ๊ธฐ ์ฝ๋ค.
- ๋ชจ๋ธ ๊ฐ์ค์น์ ํธํฅ๊ฐ์ด ๋ณํ์ง ์๋๋ค๋ฉด ์์ธก ๋ถํฌ์ ๋ณํ๋ ์ผ๋ฐ์ ์ผ๋ก ๋ด์ฌ๋ ์ ๋ ฅ ๋ถํฌ์ ๋ณํ๋ฅผ ์๋ฏธํ๋ค.
- ๋น์ ์์ ์ธ ์๋ต, ์๋ต ๋ ์ดํด์ ๋ฑ์ ๋ชจ๋ํฐ๋งํ๊ธฐ๋ ํ๋ค.
- ์์ ์ ๋ ฅ ๋ฐ์ดํฐ์ ๋น๊ตํ๋ฉด ์ฌ์ ์ ์ ์ํ ์คํค๋ง์ ๋ฐ๋ผ ์ ๊ตฌ์กฐํ๋์ด ์๋ค.
- ํผ์ฒ ๊ฒ์ฆ(feature validation): ํผ์ฒ๊ฐ ๊ธฐ๋ํ๋ ์คํค๋ง๋ฅผ ์ ๋ฐ๋ฅด๋์ง ํ์ธํ๋ค.
- 2-ํ๋ณธ ๊ฒ์ : ํผ์ฒ ํน์ ํผ์ฒ ์งํฉ์ ๋ด์ฌ ๋ถํฌ๊ฐ ์ํํธํ๋์ง ๊ฐ์งํ ์ ์๋ค.
- ํผ์ฒ ํน์ ํผ์ฒ ์งํฉ์ ๋ณดํต ๊ณ ์ฐจ์์ด๋ฏ๋ก ๊ฒ์ ์ ์ํํ๊ธฐ ์ ์ ์ฐจ์์ ์ค์ฌ์ผ ํ๋ค.
- ํผ์ฒ ๋ชจ๋ํฐ๋ง์ ์ํํ ๋ ์๋์ ๊ฐ์ ๋ฌธ์ ๊ฐ ์์ ์ ์๋ค.
- ํ๋ก๋์ ํ๊ฒฝ ๋ชจ๋ธ์ด ์๋ฐฑ ๊ฐ์ผ ์ ์๋ค. (๊ฐ ๋ชจ๋ธ์ ๋ณดํต ์๋ฐฑ ๊ฐ์ ํผ์ฒ๋ฅผ ์ฌ์ฉํ๋ค.)
- ์ถ์ ๊ธฐ๋ฅ์ ๋๋ฒ๊น ์๋ ์ ์ฉํ์ง๋ง ๋ชจ๋ธ ์ฑ๋ฅ ์ ํ๋ฅผ ๊ฐ์งํ๋ ๋ฐ๋ ๊ทธ๋ค์ง ์ ์ฉํ์ง ์์ ์ ์๋ค.
- ํผ์ฒ ์ถ์ถ์ ๋ค์ํ ์๋น์ค์์ ๋ค์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํด ๋ค์ํ ๋จ๊ณ์์ ์ด๋ฃจ์ด์ง๋ฏ๋ก, ํผ์ฒ์์ ์ ํดํ ๋ณํ๋ฅผ ๊ฐ์งํ๋๋ผ๋ ์ด ๋ณํ๊ฐ ๋ด์ฌํ๋ ๋ฌธ์ ๊ฐ ๋ฌด์์ธ์ง ๊ฐ์งํ์ง ๋ชปํ ์ ์๋ค.
- ํผ์ฒ๊ฐ ๋ฐ๋ฅด๋ ์คํค๋ง๊ฐ ์๊ฐ์ ๋ฐ๋ผ ๋ฐ๋ ์ ์๋ค.
- ๊ทธ๋ผ์๋ ๋ถ๊ตฌํ๊ณ ํผ์ฒ ๋ชจ๋์ฒ๋ง์ ๋งค์ฐ ์ค์ํ๋ค. ์ ํฉํ ํผ์ฒ ๋ชจ๋ํฐ๋ง ์๋ฃจ์ ์ ์ ํํด ์ ๋ฌธ์ ๋ฅผ ํด์ํ ์ ์๋ค.
- ์์ ์ ๋ ฅ์ด ์ฒ๋ฆฌ๋๊ธฐ ์ ์ ๋ชจ๋ํฐ๋งํ๋ ๊ฒ์ ๋งํ๋ค.
- ์์ ์ ๋ ฅ ๋ฐ์ดํฐ๋ ๋ฐ์ดํฐ ํ๋ซํผ ํ์ด ๊ด๋ฆฌํ๋ฉฐ ML ์์ง๋์ด๋ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์์๋ง ๋ฐ์ดํฐ๋ฅผ ์ง์ํ ์ ์์ผ๋ฏ๋ก ์์ ์ ๋ ฅ ๋ฐ์ดํฐ์ ์ง์ ์ ๊ทผํ ์ ์๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค.
- ๋๋ฒ๊น
๊ณผ ๋ถ์ ๋ชฉ์ ์ผ๋ก ์์คํ
๊ฐ๋ฐ์๊ฐ ๊ด์ฌ์ ๊ฐ์ง ๋งํ ๋ชจ๋ ๊ฒ์ ๊ธฐ๋กํ๋ค.
- ์: ์ปจํ ์ด๋ ๊ตฌ๋์ด ์์๋ ์์ , ํ์ํ ๋ฉ๋ชจ๋ฆฌ์ ์, ํจ์๊ฐ ํธ์ถ๋ ์์ , ํจ์ ์คํ ์๋ฃ ์์ , ํจ์๊ฐ ํธ์ถํ๋ ๋ค๋ฅธ ํจ์, ํจ์ ์ ์ถ๋ ฅ, ์ถฉ๋, ์คํ ์ , ์ค๋ฅ ์ฝ๋ ๋ฑ
- ์ค๋๋ ์ํํธ์จ์ด๋ ๊ณผ๊ฑฐ๋ณด๋ค ๋ค์ํ ๊ตฌ์ฑ ์์๋ก ์ด๋ฃจ์ด์ง๊ธฐ ๋๋ฌธ์ ์ด๋ฒคํธ๋ฅผ ๊ฐ์งํด๋ ๋ฌธ์ ๊ฐ ์ด๋ ์ง์ ์ธ์ง ์ฐพ๊ธฐ๊ฐ ๋ ์ด๋ ต๋ค.
- ๋ก๊ทธ๊ฐ ์ปค์ง๊ณ ๊ด๋ฆฌํ๊ธฐ ์ด๋ ค์์ง๋ฉด์ ๋ก๊ทธ ๊ด๋ฆฌ ํด ์์ฅ ๊ท๋ชจ๋ 2021๋ 23์ต ๋ฌ๋ฌ, 2026๋ 41์ต ๋ฌ๋ฌ(์ถ์ ) ๊ท๋ชจ์ด๋ค.
- ML์ ํ์ฉํ ๋ก๊ทธ ๋ถ์๋ ๋๋ฆฌ ์ฌ์ฉ๋๊ณ ์๋ค.
- ๋น์ ์์ ์ธ ์์คํ ์ด๋ฒคํธ๋ฅผ ํ์งํ๋ ์ด์ ํ์ง ๋ชจ๋ธ
- ์๋น์ค์ ์ฅ์ ๊ฐ ๋ฐ์ํ์ ๋ ์ ๊ด ์๋น์ค์์ ์ํฅ๋ฐ์ ํ๋ฅ ์ ML ๋ชจ๋ธ์ด ๊ณ์ฐ
- ๋ง์ ๊ธฐ์ ์์ ๋ก๊ทธ๋ฅผ ๋ฐฐ์น ์ฒ๋ฆฌํ๋ค. ์คํํฌ, ํ๋ก, ํ์ด๋ธ ํด๋ฌ์คํฐ ๋ด์ ๋ฐฐ์น ํ๋ก์ธ์ค๋ฅผ ์ฌ์ฉํด ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ ์ ์๋ค.
- ๋ค๋ง, ์ด์ ํ์์ด ๋ฐ์ํ๋ ์ฆ์ ๋ฐ๊ฒฌํ๋ ค๋ฉด ์ด๋ฒคํธ๊ฐ ๋ก๊น ๋๋ ๋์์ ์ฒ๋ฆฌํ๋ ค๋ฉด ๋ก๊ทธ ์ฒ๋ฆฌ๋ ์คํธ๋ฆผ ์ฒ๋ฆฌ๊ฐ ๋๋ค. ์นดํ์นด๋ ์๋ง์กด ํค๋ค์์ค ๊ฐ์ ์ค์๊ฐ ์ ์ก์ ์ฌ์ฉํด ์ด๋ฒคํธ๊ฐ ๋ก๊น ๋๋ ์ฆ์ ์ ์กํ๊ณ , KSQL์ด๋ ํ๋งํฌ SQL๊ณผ ๊ฐ์ ์คํธ๋ฆฌ๋ฐ SQL ์์ง์ ํ์ฉํด ์ด๋ฒคํธ๋ฅผ ์ค์๊ฐ์ผ๋ก ๊ฒ์ํ๋ค.
- ์๊ฐํ๋ฅผ ํตํด ์ซ์๋ง์ผ๋ก ํ์ ํ๊ธฐ ํ๋ค๋ ์ซ์ ์ฌ์ด ๊ด๊ณ๋ฅผ ํ์ ํ ์ ์๋ค.
- ์์ง๋์ด๊ฐ ์๋ ์ฌ๋๋ ๋ชจ๋ํฐ๋ง ํ ์ ์๊ฒ ํด ์ค๋ค.
- ๋ค๋ง ๊ทธ๋ํ๋ฅผ ์ ํํ ํ์ฉํ๋ ค๋ฉด ๊ฒฝํ๊ณผ ํต๊ณ์ ์ง์์ด ํ์ํ๋ค.
- ๋์๋ณด๋์ ์งํ๊ฐ ๊ณผ๋ํ๊ฒ ๋ง์ผ๋ฉด ์ญํจ๊ณผ(๋ถํจํ ๋์๋ณด๋ ํ์)๊ฐ ๋ ์ ์์ผ๋ฏ๋ก, ์ฌ๋ฐ๋ฅธ ์งํ๋ฅผ ์ ํํ๊ณ ํ์ ์์ค ์งํ๋ฅผ ์ถ์ํํ๋ ์์ ์ด ํ์ํ๋ค.
- ๊ตฌ์ฑ ์์
- ๊ฒฝ๊ณ ์ ์ฑ : ๊ฒฝ๊ณ ๊ฐ ๋ฐ์ํ ์กฐ๊ฑด์ ์ง์
- ์๋ฆผ ์ฑ๋: ์กฐ๊ฑด์ด ์ถฉ์กฑ๋๋ฉด ์๋ฆผ ๋ฐ์ ์ฌ๋์ ์ง์
- ๊ฒฝ๊ณ ์ค๋ช : ๊ฒฝ๊ณ ์ ๋ํ ์์ธํ ์ค๋ช
- ๋๋ฌด ๋ง์ ๊ฒฝ๊ณ ๋ก ์ธํด ๊ฒฝ๋ณด ํผ๋ก๋ ๊ฒฝ๊ณ ์ ๋๊ฐํด์ง๋ ๊ฒ์ ๋ง๊ธฐ ์ํด ๊ฒฝ๊ณ ๋ฐ์ ์กฐ๊ฑด์ ์๋ฏธ์๊ฒ ์ค์ ํ๋ ๊ฒ์ด ์ค์ํ๋ค.
- ์ํํธ์จ์ด ์์คํ ์ด ๋ณต์กํด์ง๋ฉด์, ์ ๊ณ์์ '๋ชจ๋ํฐ๋ง' ๋์ '๊ด์ฐฐ ๊ฐ๋ฅ์ฑ'์ด๋ผ๋ ์ฉ์ด๋ฅผ ์ฌ์ฉํ๊ธฐ ์์ํ๋ค.
- ๋ฐํ์์ ์์คํ ์์ ์์งํ ์ถ๋ ฅ์ ์ฌ์ฉํด ์ํํธ์จ์ด์ ๋ณต์กํ ๋์์ ์ดํดํ๋ ๋ฐ ๋ ๋์ ๊ฐ์์ฑ์ ์ ๊ณตํ๋ค.
- ์์คํ ๋ด๋ถ ์ํ์ ์ถ๋ ฅ ๊ฐ์ ๊ด๊ณ์ ํน๋ณํ ๊ฐ์ ์ ๋์ง ์๋ ๋ชจ๋ํฐ๋ง๊ณผ ๋ฌ๋ฆฌ, ์์คํ ๋ด๋ถ ์ํ๋ ์ธ๋ถ ์ถ๋ ฅ์ ๋ํ ์ง์์ผ๋ก ์ถ๋ก ํ ์ ์๋ค๊ณ ๊ฐ์ ํ๋ค.
- ์์คํ ์ด ๊ด์ฐฐ ๊ฐ๋ฅํ๋ค๋ฉด ์์คํ ์ฝ๋์ ์งํ๋ง ๋ณด๊ณ ๋ ๋ฌด์์ด ์๋ชป๋๋์ง ํ์ ํ ์ ์๋ค.
- ML์์ ๊ด์ฐฐ ๊ฐ๋ฅ์ฑ์ ๋ชจ๋ธ์ ํด์ ๊ฐ๋ฅ์ฑ์ ํฌํจํ๋ค.