728x90 분류 전체보기143 Contrastive Loss (similarity metric / face verification / 2005.06) Contrastive Loss Paper Learning a similarity metric discriminatively, with application to face verification Sumit Chopra (2005.06 / NYU) PDF / Github 없음 Points Recognition, Verification 문제에 method for training a similarity metric from data를 제시함. similar and dissimilar한 포인트 두 개로 계산한 loss라고 하여 contrastive loss라는 말이 처음 유래함. L1 norm을 사용하여 semantic distance를 측정하고, input patterns into a target space 함.. 2023. 3. 13. 유사도 Similarity / 거리 Distance 유클리드 거리(Euclidean distance): 두 점 / 직선 거리 맨해튼 거리(Manhattan distance): 두 점 수직/수평 거리 (블록거리같은 지리적 위치데이터를 측정할 수 있음) 코사인 유사도(Cosine similarity): 두 벡터 / 각도 / 주로 고차원 데이터에 적합 (각도라 차원의 영향을 받지 않음) 자카드 유사도(Jaccard similarity): 두 집합 / 공통 원소 비율 (영상처리) 매치 유사도(Match similarity): 문자열, 시퀀스 데이터 / 부분 문자열이 얼마나 일치하는지를 계산 (문자열 매칭, 검색) 편집 거리(Edit distance): 두 문자열 사이의 삽입, 삭제, 대체 연산의 최소 횟수를 계산 (음성인식, 문자열매칭) 이 중에서 유클리드 거리.. 2023. 3. 12. L1, L2 (loss, regularization, norm) L1 loss : MAE 실제값 yi 와 예측값 f(xi)의 편차의 절댓값의 합 L2 loss : MSE 실제값 yi 와 예측값 f(xi)의 편차의 제곱의 합 Robust : L1 > L2 L1이 outlier에 더 robust 하다. (=loss function이 영향을 덜 받는다) 왜냐하면, L2는 편차에 제곱까지 해버리기 때문에 이상치가 나오면 그 편차를 제곱해서 그 영향이 클 수 밖에 없다. outlier가 무시되길 원하면 비교적 영향을 작게받는 L1 loss가 적합하다. Stablity : L2 > L1 L2 loss는 smooth한 convex 형태의 함수로 그래프또한 원형. 그래서 모든 점에서 미분이 가능하다. 그렇기 때문에 미분이 전부인 딥러닝에서는 L2가 계산에 더 안정적이라고 본다. S.. 2023. 3. 12. 데이터 수집처 한국적 사운드가 있는곳 http://www.ksoundlibrary.kr/front/main/menu/t1_m1.do K-SOUND LIBRARY_한국형 영화효과음원 콘텐츠에 필요한 효과음원 18021건 보유, 소리로 그리는 세상 - 케이사운드 라이브러리 www.ksoundlibrary.kr Sound list http://www.ksoundlibrary.kr/front/images/K-SOUND%20LIBRARY%20LIST.pdf 드럼 비트가 있는곳 https://www.looperman.com/tracks/detail/240245#plays Listen To Secretly Love You Disco Songs At Looperman.com Recorded, written & played in my.. 2023. 3. 11. Contrastive Learning Contrastive Learning for Recommender System (2021.01) https://arxiv.org/pdf/2101.01317.pdf Practical Impliciation The practical implications of this paper are that it provides a new framework for recommender systems, which can be used to improve the performance and accuracy of such systems. This proposed framework includes two main components: a graph contrastive learning module and debiased con.. 2023. 3. 10. Transformer 1 - Positional Encoding Seq2seq의 Encoder-Decoder를 6개 쌓아올린 모델. Enc-Dec x 6 은 아니고, Enc x 6 + Dec x 6임. RNN, LSTM 등의 기존 문장의 연속성을 무시 이를 무시하니 병렬구조가 가능해져서 연산속도가 엄청 빨라졌음. seq2seq처럼 context vector를 중간 병목으로 쓰지 않음. Self attention, 즉 내가 들어가서 내가 나오는 재귀적인 구조임. 문장의 문맥 + 단어의 순서 (위치)까지 attention에 담았음. 논문 : https://arxiv.org/pdf/1706.03762.pdf (Attention is all you need (2017)) 각 모듈이 하는 일을 간단하게 정리하면, Positional Encoding: 입력 문장의 단어들에 위치.. 2023. 3. 9. 이해는 하는게 아니고 오는거다 이해 안간다고 머리 쥐어뜯지 말기 이해가 잘 될때쯤 머리 심고싶지 않으니깐. 시간은 없지만 조급은 하지만 그렇지 않은척하기. 내 머릿속의 노드들이 조그마한 시냅스들이 그 회로를 뚫어줄때까지 묵묵히 이해가 오길 기다리기. 노이해는 어서가고 응이해는 어서와랏. 어차피 시간싸움 결국은 내가 이기니깐. 2023. 3. 7. 3D 음악 사진 : 2D / 영화 : 2D + 시간축 = 3D 사진 : Conv2D / 영화 : Conv3D 그렇다면, 소리 : frequency + time = 2D 음색을 담은소리 : 2D + 배음축(고도차) = 3D 소리 : Conv2D / 음색소리 : Conv3D 어떨까? 음색을 잡아내는 것을 특징추출이라고 생각하고, 사진에서 쓰이는 기법들과 비슷하게 생각하고 있었는데, 소리에 의미를 더하는 개념으로, 임베딩 + 영상처리를 하는 쪽과 연관지어 보면 다른 생각이 날 듯 하다. transformer로 영상을 generator하는 모델을 보면 좋겠다. 일단은 spectrogram은 2D 시각화만 가능하고, 3D로 보여지는 음악에 관련된 시각그래프가 있는지도 알아보고. 2023. 3. 7. 모델 발전과정 3 - GNMT (Google's Seq2seq 8 layers w. Residual) Google's Neural Machie Translation System 2016년 구글의 신경망 번역 시스템 8개 층을 쌓은 Encoder-Decoder 구조 Residual Connection 사용 Bahdanau Attention 채택 토큰 처리를 하지 않고 단어를 그대로 복사하여 적당한 위치에 배치하는 Copy Model을 사용 장점 정확도가 올라감 학습속도 빨라짐 기울기 소실 문제 해결가능 https://norman3.github.io/papers/docs/google_neural_machine_translation.html Google's Neural Machine Translation System. 그리고 \(sigmoid, tanh\) 등의 함수와 element-wise 연산인 \( (\.. 2023. 2. 28. 모델 발전과정 2 - Attention (Bahdanau / Luong) Attention https://arxiv.org/pdf/1409.0473.pdf 0. Abstract The models proposed recently for neural machine translation often belong to a family of encoder–decoders and encode a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder.. 2023. 2. 28. 이전 1 2 3 4 5 6 7 8 ··· 15 다음 728x90
