본문 바로가기
728x90

Study (Data Science)121

추천 시스템 알고리즘/ MF / CSR 추천 시스템(Recommender System) 언제 사용하는가? 아이템은 너무 많고, 유저의 취향이 다양할 때 주요 특징 범주형(이산적) 데이터를 다룬다. 데이터들을 일직선 좌표에 두고 유사도를 계산하여 추천한다. 코사인 유사도 (Cosine similarity) 두 벡터의 방향이 이루는 각에 코사인을 취해 구함. 두 벡터의 방향이 완전히 동일하면 (둘다 왼쪽아래-오른쪽위) : 1, 둘의 교차각이 90도라면 (왼쪽아래-오른쪽위)와 (오른쪽아래-왼쪽위) : 0, 둘의 교차각이 180도라면 (왼쪽아래-오른쪽위)와(오른쪽위-왼쪽아래) : -1 1 ~ -1까지 값을 가지며, 1일수록 유사도가 높음. 사이킷런으로 구사함. 기타 다른 유사도 계산법 코사인 유사도 이외에도 유클리드 거리, 자카드 유사도, 피어슨 상.. 2023. 1. 25.
MLE, MAP / prior, posterior, likelihood 베이지안 머신러닝 모델 모델 파라미터를 고정된 값이 아닌 불확실성(uncertainty)을 가진 확률 변수로 보는 것, 데이터를 관찰하면서 업데이트되는 값으로 보는 것 베이즈 정리(Bayes' theorem) prior(prior probability, 사전 확률) 데이터를 관찰하기 전 파라미터 공간에 주어진 확률 분포 확률분포 먼저 고정 후 데이터 받음. p(θ) likelihood(가능도, 우도) 파라미터의 분포 p(θ)가 정해졌을 때 x라는 데이터가 관찰될 확률 prior 분포를 고정한 후, 주어진 파라미터 분포에 대해서 우리가 갖고 있는 데이터가 얼마나 '그럴듯한지' 계산하는것 p(X=x∣θ) , L(θ∣x) 입력 데이터의 집합을 X, 라벨들의 집합을 Y라고 할 때, likelihood는 파라미터.. 2023. 1. 18.
생성 모델들 / GAN 모델의 종류 판별 모델 (Discriminative Modeling) : 입력된 데이터셋을 특정 기준에 따라 분류하거나, 특정 값을 맞히는 모델 생성 모델 (Generative Modeling) : 학습한 데이터셋과 비슷하면서도 기존에는 없던 새로운 데이터셋을 생성하는 모델. 하기는 모드 생성모델에 해당. Pix2Pix 간단한 이미지를 입력할 경우 실제 사진처럼 보이도록 바꿔줄 때 많이 사용되는 모델 단순화된 이미지(Input Image) 와 실제 이미지(Ground Truth) 가 쌍을 이루는 데이터셋으로 학습을 진행 How to use 스케치로 그려진 그림을 실사화하기 흑백 사진을 컬러로 변환하기 위성사진을 지도 이미지로 변환하기 낮에 찍힌 사진을 밤 배경의 사진으로 변환하기 CycleGAN Pix2.. 2023. 1. 17.
확률과 통계 1. 확률 (Probability) 이항(discrete) / 연속(continuous) 서로 배타적(mutually exclusive) : 시행의 모든 시도에서 한 사건 발생 시 다른 하나사건이 발생하지 않을 경우 집합(set), 원소(elements), 사건(events), 부분집합(subset), 전체집합(universal set), 공집합(null,empty set) 교집합(intersection), 합집합(union), 같음(equality) 여집합(complementary set; Set - A), 차집합(difference; A-B != B-A in Union), 서로소집합(disjoint set; A and B are mutually exclusive) A1​,A2​,…,An​ 이 서로 배.. 2023. 1. 16.
Entropy / Cross - Entropy Entropy 불확실성(uncertainty)에 대한 척도. 예측모델의 궁극적인 목표는 불확실성 제어에 있다. 불확실성이 없을 때, 즉 내가 사람이라는 사실에 있어 entropy는 0이다. 어떤 사건이 같은 비율로 발생한다고 하고, 사건의 갯수를 n이라고 하면, entropy는 log(n)이다. 만약 양념치킨과 후라이드 치킨이 반반일 때의 entropy는 log(2) = 0.69이다. 여기서 2는 사건의 갯수로, 양념을 집거나 후라이드를 집는 사건, 총 2개가 된다. 하지만 치킨맛이 2개가 아닌 여러개고, 맛마다 치킨조각이 다르다면, 공식이 필요해진다. H(q) : 엔트로피 C : 범주갯수 = 치킨 맛이 몇개인가 q : 사건의 확률질량함수 (probability mass function) = 각 사건이 .. 2023. 1. 12.
Regression (회귀) / 이진분류는 회귀인가 분류인가? Regression 두시간 반을 갈아넣어 만든 표..... ㅠㅠㅠㅠㅠ 선형 회귀 분석(Linear Regression) 1. 표기법 종속변수 Y와 한 개 이상의 독립변수 X와의 선형 상관관계를 모델링하는 회귀분석 기법 주어진 데이터에 우리의 선형 식이 잘 맞도록 회귀계수 및 오차를 구하는 것 β : 회귀계수 = weight / ϵ : 종속 변수와 독립 변수 사이에 오차 = bias 수학과의 차이는, W, b는 단순스칼라 값이 아니라 행렬로 거의 대부분 오게됨 2. 용어설명 잔차(residual) 관측값(y_test)과 회귀직선의 예측값(y_pred)과의 차이, 보통 e로 표기 잔차로 그래프를 그린 후에 특정 패턴이 나타나면 회귀직선이 적합하지 않다는 의미. 잔차의 개념을 잘 알면 손실함수를 이해할 수 있.. 2023. 1. 12.
Regularization, Normalization Normalization(정규화) Scaling input features so that they have similar ranges or distributions. - 데이터 전처리 과정 중 하나. - 데이터의 형태를 좀 더 의미있고, 학습에 적합하게 만드는 과정 - z-score, minmax scaler로 value를 0-1 사이로 분포를 조정 Normalization refers to scaling input features so that they have similar ranges or distributions. This can help prevent certain features from dominating others during training which could lead to biase.. 2023. 1. 11.
model.summary 에서의 param# 구하기 param_number = output_size * (input_size + 1) = output_channel_number * (input_channel_number * kernel_height * kernel_width + 1) - for. conv ### num_param 1. conv2d (Conv2D) = 32 * ((3 * 3)+1) = 320 2. conv2d_1 (Conv2D) = 64 * ((32 * 3 * 3)+1) = 18496 3. conv2d_2 (Conv2D) = 64 * ((64 * 3 * 3)+1) = 36928 4. dense(Dense) = 64 * (576+1) = 36928 5. dense_1(Dense) = 10 * (64+1) = 650 ### num_param 1.. 2023. 1. 6.
Convolution Layer 심화학습 퍼실님 Question keras.layers의 Conv2D()는 필터의 크기 (가로, 세로)와 필터의 갯수를 인자로 받습니다. 그러나 각 층의 input 값으로 들어가는 feature map들은 depth가 3, 16, 32 등등 제각각인데요, 그렇다면 Conv2d()의 인자로 depth 정보는 왜 입력하지 않아도 되는걸까요? Conv2D()의 인자 중 필터의 수는 ouput(feature map)의 형태 중 어느 부분에 영향을 줄까요? 필터 수가 늘어나거나, 필터의 크기가 커지는 것은 이미지를 인식하고 해석하는 과정에서 어떤 영향을 줄까요? My Answer 1. input image의 depth (= num of channels = num of feature maps) = filter 의 num o.. 2022. 12. 29.
NLP 기본개념 희소 표현(Sparse Representation) 단어 벡터의 각 차원마다 고유의 의미를 부여하는 방식 (너무 양이 많아 결국 한계가 옴) 분산 표현(Distributed Representation) 유사한 맥락에서 나타나는 단어는 그 의미도 비슷하다 라는 분포가설에서 비롯하여, 유사한 맥락에 나타난 단어들끼리는 두 단어 벡터 사이의 거리를 가깝게 하고, 그렇지 않은 단어들끼리는 멀어지도록 조금씩 조정 Embedding layer 컴퓨터용 단어사전을 만드는 곳 (단어 n개 쓸꺼고 k 깊이(차원)로 표현한 것) Weight이다 Lookup Table이다 (LUT : 주어진 연산에 대해 미리 계산된 결과들의 집합(배열), 매번 계산하는 시간보다 더 빠르게 값을 취득해 갈 수 있도록 사용되는 레퍼런스로 사용.. 2022. 12. 29.
728x90

티스토리툴바