728x90 Study (Data Science)121 SSSD (Diffusion-based Time Series Forecasting) MAE : 0.02 시계열 예측 시간순으로 정렬된 과거 데이터 포인트를 기반으로 미래 값을 예측하는 데 사용되는 방법 기존모델 1. ARIMA (AutoGregressice Integrated Moving Average) : 자기회귀"누적"이동평균 정상성 : 모든 시점의 평균과 분산이 동일하고, 공분산은 시차만 같으면 동일한 상태 자기회귀(AR) : 이전에 관측된 값이 이후의 값에 영향을 미치는 상황이동평균(MA) : 평균이 시간에 따라 변화하는 경향자기회귀이동평균 (ARMA)자기회귀누적이동평균 (ARIMA) : 비정상 시계열에 대해 d차로 차분 변환한 ARMA 모형즉, 비정상 시계열을 d번 차분하여 정상화 한 후에, ARMA 차수를 결정하게 됨. => 간단, 단기예측에 좋으나, 비선형 데이터나 장기예측.. 2023. 10. 5. Disney FVAE (관람객 표정 분석 AI) https://studios.disneyresearch.com/wp-content/uploads/2019/04/FactorizedVariationalAutoencodersfor-ModelingAudienceReactionstoMovie-1.pdf Dataset 400 seat theatre that hosted multiple viewings of multiple movies over a twelve month period Modeling stage 1. TF MF (Matrix Factorization)은 원래 linear layer. 하지만 이를 VAE (Variational Autoencoder)를 사용해 non-linear로 바꿔 latent value를 갖게 했음. 행렬분해 variable de.. 2023. 5. 22. 자주 사용했던 리눅스 명령어 기록하기 제발좀 까먹지마라 나님아 - pwd, cd, ls - conda create -n test1020 python=3.9 anaconda : test1020이라는 env 만들면서 python 3.9 깔고, 해당버전이랑 호환안되는 셋트상품도 anaconda 넣으면 다같이 깔아줌. - conda activate test1020 ( deactivate) - conda remove env test1020 - conda install -c conda-forge pytorch torchaudio (conda-forge = 해당호환셋트상품) - sudo apt-get install jupyter-notebook : sudo 관리자 권한이고, apt-get 할때도, apt 할때도 있음 - jupyter notebook :.. 2023. 4. 29. ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models (2023.2.9) https://arxiv.org/pdf/2302.04456.pdf Meaning diffusion으로 waveform을 생성하는 최초의 음악생성모델 (참고한 text-to-speech는 speech 생성함) 투표된 인기댓글을 활용함으로써 free-form text 의 데이터 부족을 해소. 두 가지 conditional model 비교를 통해 end-to-end의 성능을 증명 관련성이 높고, 고품질의 음악을 생성할 수 있음을 보여줌. Dataset 인기댓글 : 수준이 높고, 악기, 장르 및 감정에 대한 음악 정보가 많았음. 그래서 (인기댓글 - 음악) 병렬데이터 수집 Model U-Net for diffusion. 14개 convolutional block layers 로 down - up 노이즈를 추가하.. 2023. 4. 15. Diffusion 2 (Stable diffusion) 참고강의 https://www.youtube.com/watch?v=Z8WWriIh1PU 강의노트 기존 Diffusion 과 Stable Diffusion의 차이 1. 노이즈 추가방법이 다름 Diffusion : 픽셀 단위로 가우시안 노이즈 추가 Stable D : 레이어 단위로 가우시안 노이즈 추가 ; 기존 D보다 더 복잡한 이미지 생성 가능, 안정적, diversity향상 2. 다른 모델과의 연동 Stable D는 다른 모델과 콜라보가 가능 (e.g. AE, CLIP 등) S.D + AE : 안정적이고 고화질의 이미지 생성 목표 S.D + CLIP : image, text를 결합하여 생성 목표콜라보할 두 가지 대표모델 학습순서 AE 학습하고 >> CLIP 학습하고 >> U-net 학습하고 >> Fine.. 2023. 4. 12. Diffusion 1 (DDPM, DDIM, Guided Diffusion, DDGAN) 참고강의 https://www.youtube.com/watch?v=jaPPALsUZo8 https://www.youtube.com/watch?v=jaPPALsUZo8 강의노트 원본 -> 노이즈 로 갔다가 다시 노이즈 -> 원본으로 돌아오면서, 디노이징하는 법을 학습하는 것. (앱실론학습) 디노이징 하는 법을 다 익힌 모델은 노이즈에서 정규분포에 따른 latent value로 새로운 이미지를 생성할 수 있음. Forward process : 이미지-> 가우시안노이즈 (정규분포, N(m,시그마제곱)= N(0,1))로 만드는 과정 X0 ----------> Xt-1 ------> Xt Xt = a * Xt-1 + b*noise Xt는 그전시점의 Xt-1에 (weight는 아니고 상수) 곱한것 + bias에 노.. 2023. 4. 3. AE, DAE, VAE AE (AutoEncoder) 비지도 학습 유형, 인코더와 디코더로 이루어져 있고, 인코더는 차원축소를, 디코더는 생성모델의 역할을 한다. 특징 Unsupervised learning : 학습시 라벨이 없는 unsupervised 방식으로 수행됨. Representation learning : 학습시 Loss는 Negative Maximum Likelihood(nml)로 해석. Dimensionality reduction :학습된 오토인코더의 인코더는 차원 축소의 역할을 하고 Generative model learning : 학습된 오토인코더의 디코더는 생성 역할을 함. 차원 축소를 해야 하는 이유는, 차원이 복잡하면 파라미터가 많아져서 오버피팅이 나게 되고, 복잡도가 떨어지기 때문이다. 차원 축소를 통.. 2023. 3. 31. SCARF) SELF-SUPERVISED CONTRASTIVE LEARNINGUSING RANDOM FEATURE CORRUPTION (2022.03) Keyword Paper SCARF: SELF-SUPERVISED CONTRASTIVE LEARNING USING RANDOM FEATURE CORRUPTION Dara Bahri / Google / 2022.05 https://arxiv.org/pdf/2106.15147.pdf (Github address) Abstract 기존의 연구들은 괄목할만한 성과가 있었음에도 불구하고 (e.g. autoencoder), domain의 바운더리에서 벗어나질 못했다. 실제 세상에서 tabular 한 데이터에도 도메인 상관없이 범용적으로 쓸 수 있는 모델이 없었다. SCARF는 입력 데이터의 일부 특징을 무작위로 선택하여 해당 특징들의 확률 분포에서 샘플링한 값으로 대체하여 입력 데이터의 뷰를 생성하는 방법 실제 7.. 2023. 3. 24. 수렴되지 않는 이유.. Hyperparameter 튜닝: 모델의 학습이 잘 되지 않는 경우, 먼저 Hyperparameter를 조정해보는 것이 좋습니다. 예를 들어, 학습률, 배치 크기, 최적화 알고리즘 등을 변경하여 성능이 개선되는지 확인해볼 수 있습니다. 또한, Contrastive Learning에서는 negative sample의 개수와 temperature parameter도 중요한 hyperparameter입니다. 이러한 hyperparameter를 변경하여 모델의 학습이 개선되는지 확인해보는 것이 좋습니다. Data Augmentation 적용: Contrastive Learning에서 Data Augmentation은 중요한 역할을 합니다. 이는 모델이 다양한 변형된 입력 데이터를 통해 더욱 강건하게 학습할 수 .. 2023. 3. 23. CLEP) Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning (2022.07) Keyword Paper Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning Minju Park/SNU/2022.07 https://arxiv.org/pdf/2207.13909.pdf Points 추천은 좋아하는 것을 제시하는 것보다 싫어하는 것을 제시하지 않는 것이 더 중요하다. 즉, recall이 아니라 False Positive Rate가 더 중요하다. CLEP-N가 FPR 부문에서 우수하다. 여기서는 추천까지 3단계를 나누어서 설명했고, 이 중 CLEP에 비중을 두고 있다. 세 개의 임베딩으로 거리와 마진을 구해낸다. Feature Exracting SimCLR :performs c.. 2023. 3. 22. 이전 1 2 3 4 5 ··· 13 다음 728x90
