TF-IDF

 

 

TF_IDF

(TF * IDF)

 

A : " a new car, used car, car review"

B : "A friend in need is a friend indeed."

 

Term Frequency Score

어떤단어가 많이 출현할 수록 그 문서와의 관계가 높을 것이다. = 가장 중요한 단어다.

단점 : A friend in need is a friend indeed. 경우, a 와 friend의 tf score가 같아 연관성을 나타내기 부족했음

 

 

IDF 

log (총문장의 갯수 / 이 단어가 출현한 문장의 갯수)