728x90 Study (Data Science)/Paper Research11 SSSD (Diffusion-based Time Series Forecasting) MAE : 0.02 시계열 예측 시간순으로 정렬된 과거 데이터 포인트를 기반으로 미래 값을 예측하는 데 사용되는 방법 기존모델 1. ARIMA (AutoGregressice Integrated Moving Average) : 자기회귀"누적"이동평균 정상성 : 모든 시점의 평균과 분산이 동일하고, 공분산은 시차만 같으면 동일한 상태 자기회귀(AR) : 이전에 관측된 값이 이후의 값에 영향을 미치는 상황이동평균(MA) : 평균이 시간에 따라 변화하는 경향자기회귀이동평균 (ARMA)자기회귀누적이동평균 (ARIMA) : 비정상 시계열에 대해 d차로 차분 변환한 ARMA 모형즉, 비정상 시계열을 d번 차분하여 정상화 한 후에, ARMA 차수를 결정하게 됨. => 간단, 단기예측에 좋으나, 비선형 데이터나 장기예측.. 2023. 10. 5. Disney FVAE (관람객 표정 분석 AI) https://studios.disneyresearch.com/wp-content/uploads/2019/04/FactorizedVariationalAutoencodersfor-ModelingAudienceReactionstoMovie-1.pdf Dataset 400 seat theatre that hosted multiple viewings of multiple movies over a twelve month period Modeling stage 1. TF MF (Matrix Factorization)은 원래 linear layer. 하지만 이를 VAE (Variational Autoencoder)를 사용해 non-linear로 바꿔 latent value를 갖게 했음. 행렬분해 variable de.. 2023. 5. 22. ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models (2023.2.9) https://arxiv.org/pdf/2302.04456.pdf Meaning diffusion으로 waveform을 생성하는 최초의 음악생성모델 (참고한 text-to-speech는 speech 생성함) 투표된 인기댓글을 활용함으로써 free-form text 의 데이터 부족을 해소. 두 가지 conditional model 비교를 통해 end-to-end의 성능을 증명 관련성이 높고, 고품질의 음악을 생성할 수 있음을 보여줌. Dataset 인기댓글 : 수준이 높고, 악기, 장르 및 감정에 대한 음악 정보가 많았음. 그래서 (인기댓글 - 음악) 병렬데이터 수집 Model U-Net for diffusion. 14개 convolutional block layers 로 down - up 노이즈를 추가하.. 2023. 4. 15. Diffusion 1 (DDPM, DDIM, Guided Diffusion, DDGAN) 참고강의 https://www.youtube.com/watch?v=jaPPALsUZo8 https://www.youtube.com/watch?v=jaPPALsUZo8 강의노트 원본 -> 노이즈 로 갔다가 다시 노이즈 -> 원본으로 돌아오면서, 디노이징하는 법을 학습하는 것. (앱실론학습) 디노이징 하는 법을 다 익힌 모델은 노이즈에서 정규분포에 따른 latent value로 새로운 이미지를 생성할 수 있음. Forward process : 이미지-> 가우시안노이즈 (정규분포, N(m,시그마제곱)= N(0,1))로 만드는 과정 X0 ----------> Xt-1 ------> Xt Xt = a * Xt-1 + b*noise Xt는 그전시점의 Xt-1에 (weight는 아니고 상수) 곱한것 + bias에 노.. 2023. 4. 3. SCARF) SELF-SUPERVISED CONTRASTIVE LEARNINGUSING RANDOM FEATURE CORRUPTION (2022.03) Keyword Paper SCARF: SELF-SUPERVISED CONTRASTIVE LEARNING USING RANDOM FEATURE CORRUPTION Dara Bahri / Google / 2022.05 https://arxiv.org/pdf/2106.15147.pdf (Github address) Abstract 기존의 연구들은 괄목할만한 성과가 있었음에도 불구하고 (e.g. autoencoder), domain의 바운더리에서 벗어나질 못했다. 실제 세상에서 tabular 한 데이터에도 도메인 상관없이 범용적으로 쓸 수 있는 모델이 없었다. SCARF는 입력 데이터의 일부 특징을 무작위로 선택하여 해당 특징들의 확률 분포에서 샘플링한 값으로 대체하여 입력 데이터의 뷰를 생성하는 방법 실제 7.. 2023. 3. 24. CLEP) Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning (2022.07) Keyword Paper Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning Minju Park/SNU/2022.07 https://arxiv.org/pdf/2207.13909.pdf Points 추천은 좋아하는 것을 제시하는 것보다 싫어하는 것을 제시하지 않는 것이 더 중요하다. 즉, recall이 아니라 False Positive Rate가 더 중요하다. CLEP-N가 FPR 부문에서 우수하다. 여기서는 추천까지 3단계를 나누어서 설명했고, 이 중 CLEP에 비중을 두고 있다. 세 개의 임베딩으로 거리와 마진을 구해낸다. Feature Exracting SimCLR :performs c.. 2023. 3. 22. CLMR) Contrastive Learning of Musical Representations (2021.03) Keyword Paper Contrastive Learning of Musical Representations Janne Spijkervet / Univ. of Amsterdam / 2021.03 https://arxiv.org/pdf/2103.09410.pdf https://github.com/Spijkervet/CLMR Points Self-supervised Wav파일을 SimCLR에 적용시킴. Used dataset MagnaTagATune Million Song Dataset. Model CLMR증강 무작위로 잘라서 : Randomly cropping a segment from an audio clip. 속도나 피치를 뒤틀어 증강하고 : Applying random speed and pitch .. 2023. 3. 16. NNCLR) Nearest-Neighbor Contrastive Learning of Visual Representations (InfoNCE / 2021.10) Keyword NNCLR InfoNCE Paper With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations Debidatta Dwibedi / Google / 2021.10 https://arxiv.org/pdf/2104.14548.pdf https://github.com/MalteEbner/NNCLR Points Self-supervised learning algorithm NNCLR(NearestNeighbor Contrastive Learning of visual Representations) 을 제시함 같은 데이터에서 추출한 점을 positive라고 하는 것이 아니라, 이에 근.. 2023. 3. 15. Triplet Loss (FaceNet / 2015.03) Triplet Loss Paper FaceNet: A Unified Embedding for Face Recognition and Clustering Florian Schroff / Google / 2015.03 https://arxiv.org/pdf/1503.03832.pdf https://github.com/davidsandberg/facenet Points Unified system으로 using embeddings generated by the same network architecture에서 can perform multiple tasks할 수 있게 되었음. 일타삼피 (세가지 기능). 상호작용을 단순화할 수 있고 효율적임. 학습에 triplet loss를 사용하여 fast convergence .. 2023. 3. 15. Contrastive Loss (similarity metric / face verification / 2005.06) Contrastive Loss Paper Learning a similarity metric discriminatively, with application to face verification Sumit Chopra (2005.06 / NYU) PDF / Github 없음 Points Recognition, Verification 문제에 method for training a similarity metric from data를 제시함. similar and dissimilar한 포인트 두 개로 계산한 loss라고 하여 contrastive loss라는 말이 처음 유래함. L1 norm을 사용하여 semantic distance를 측정하고, input patterns into a target space 함.. 2023. 3. 13. 이전 1 2 다음 728x90
