음악 감정 분류

[UiinKim]

몇 초마다 감정 결정 : 감정은 0.5초마다 뽑아 놓고 코드, bpm 변화하는 곳마다 감정 detection하여 데이터셋에 추가
-> Deam dataset으로 직접 구축한 모델에 pre-trained -> 해당 모델로 우리 dataset labeling
음악적 특징은 코드 바뀌는 부분마다 코드 추출, bpm 변화하는 곳마다 bpm 추출, 다운비트 추출, key 추출
학습 시에는 모델 그대로에 추가적인 부분만 수정하여 학습
추론 시에 EmoUNet에 MHA 연결하여서 감정->bpm->chord prograssion으로 구성하여 노이즈 제거
추론 시 일기(텍스트)로부터 감정 추출하여 emotion detection 필요
그 외의 모든 모델은 Mustango와 동일하게 사용

[UiinKim]

bpm이 바뀌는 부분에 대한 감정 확인
텍스트 모델은 감정 분류가 되도록 혹은 valence와 arousal로 표현되도록 모델 선정 (이에 대한 훈련도 필요할수도) -> 상담
훈련시 : 감정(valence, arousal) -> bpm -> 코드
추론시 : 감정(텍스트) -> bpm -> 코드 생성
wav -> VAE(encoder) -> LDM(노이즈 추가) -> 가우시안 노이즈 -> LDM(노이즈 제거), Emo-UNet(감정 -> bpm -> chord) ->
VAE(decoder) -> GAN(품질 향상) -> output

[UiinKim]

만들어진 데이터셋 다른 모델들에 넣어서 실험해보기