728x90 전체 글137 새 장비 셋팅하기 (맥북) 내가 빨리 셋팅하려고 정리해놓음.. 0. 애플 아이디 만들기 1. 앱스토어에 애플 아이디로 앱 다운받기 (magnet, kakao, slack, chrome) 2. 기본 terminal로 homebrew 설치하기/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 3. brew --version 후,zsh: no such file or directory: 라고 에러 뜨면 경로 추가해주기echo 'export PATH=/opt/homebrew/bin:$PATH' >> ~/.zshrcsource ~/.zshrcbrew --version 4. miniconda 설치, 경로추가 (windows.. 2024. 5. 14. 구글 서치 API Google Search API 구글 검색 API 발급받기 구글 검색결과 크롤링 액션을 사용하기 위한, 구글 검색 API 발급받는 방법을 알려드리겠습니다. 간단한 클릭만으로 발급이 가능하며 자세한 방법은 아래 순서를 참고해 주세요. 🔎Click! 이미지를 클릭하면 예시 화면을 크게 볼 수 있습니다. 구글 로그인 후 API 발급 페이지에 접속합니다. https://developers.google.com/custom-search/v1/overview?hl=ko 페이지 중단의 키 가져오기버튼을 클릭합니다. 검색 API 발급 팝업이 실행되면 이용약관에 동의 후 다음 단계로 이동하세요. API KEY 영역에 발급된 KEY 정보가 나타납니다. KEY 정보는 바티에 계정 연동 시 복사해서 붙여 넣어주세요. KEY 발급 후 관리자 페이지에 접속 후 .. 2024. 4. 14. VIX (미국증시 변동성 지수) 정의 Volatility Index Chicago Board of Options Exchange에서 제공하는 통계치 미래의 시장 변동성에 대한 예측치 DoD 계산방식 옵션의 매수/ 매도 중간점으로 계산됨 자세한 것은 파일로 다운로드함 중요도 ★★★★ 주가 변동성과 밀접한 연관을 가짐 해석방법 주가 하락 -> 지수 상승 주가 상승 -> 지수 하락 인사이트 주가와는 보통 역의 관계에 있음 지수가 상승할 것으로 예상된다면 -> 변동성이 높아질 것이다, 불안정해질 것이다 -> 주가가 떨어질 가능성이 높다는 신호로 투자를 보수적으로 할 수 있음. 지수가 하락할 것으로 예상된다면 -> 변동성이 낮아질 것이다. 안정될 것이다. -> 주가가 상승할 가능성이 높다는 신호로 투자를 공격적으로 할 수 있음. 2024. 1. 12. KR BSI (기업경기실사지수) 정의 Business Survey Index 한국은행에서 국내 전역의 기업가들을 대상으로 한 설문조사를 통해 발표됨 MoM 계산방식 제조업 BSI 비제조업 BSI OECD 기업경기조사 통일기준에 의거, 긍정/보통/부정의 3점 척도를 사용하여 (긍정응답업체수 - 부정응답업체수)/전체응답업체수 * 100 + 100 중요도 ★★★★★ 실물지표와 높은 상관관계를 보임 제조업 BSI 가 더 중요 해석방법 min 0 - max 200 100 이상 : 긍정적으로 응답한 업체수 > 부정적으로 응답한 업체수 100 이하 : 긍정적으로 응답한 업체수 < 부정적으로 응답한 업체수 인사이트 GDP보다 선행 원본 지수자료 : https://www.bok.or.kr/ebook/ecatalog5.jsp?Dir=11 Electro.. 2024. 1. 12. KR CI (한국 경기종합지수) 정의 한국 통계청 선행지수 / 동행지수 MoM 계산방식 선행지수: 경제의 미래상황을 예측하는데 사용되는 지표 (소비자 기대지수, 종합주가지수, 구인구직비율, 장단기 금리차 등 10개 항목) 동행지수: 경제의 현재상황을 나타내는데 사용되는 지표 (서비스업 생산지수, 수입액, 비농가 취업자수 등 8개 항목) 중요도 ★★★★★ 정부 정책 결정에 중요한 역할을 함. 하락하는 경우, 주식시장은 부정적. 정책은 금리 인하나 재정지출을 늘려 경기 부양 상승하는 경우, 주식시장은 긍정적. 정책은 인플레이션을 억제하기 위해 금리 인상 해석방법 경제적 위기가 닥치지 않는 한, 이 지수는 점점 증가하게 됨 그래서 '순환변동치'를 사용하여 추세요인을 제거하여 봐야함 순환변동치 기준, 100 이상: 성장 (선행) / 호황 (동.. 2024. 1. 12. SOX (필라델피아 반도체업종 지수) 정의 미국 필라델피아 증권거래소가 반도체 관련 종목을 대상으로 산정, 발표해온 반도체업종지수(SOX). 나스닥과 뉴욕증시에 상장된 반도체 설계ㆍ제조ㆍ유통업 관련 미국 반도체회사의 주가를 포함하고 있음. 엔비디아, AMD, 인텔, 퀄컴 등 30개종목 포함됨 DoD 해석 SOX가 PMI에 3개월 선행함 관련주 SOXL (SOX ETF) 2024. 1. 12. CLI (OECD 경기선행지수) 정의 Composite Leading Indicator OECD에서 발행되며, 해당 국가의 주요 단기 경제지표 (국가별로는 5~10개)를 이용하여 작성 선행 / 동행지표 지수의 자체값 보다는 6개월 변동률 지표를 더욱 증시 MoM 계산방식 6개 지표 (BSI, 재고지수, 자본수지, 국민주택채권수익률, M1) 로 계산됨 중요도 ★★★★★ 한국 수출의 선행지표로 유용성 높음 6개월 변동률은 한국 수출에 약 5개월 선행함 해석방법 특정시점의 지수 숫자 보다는 시계열상에서의 변동방향 (상승, 하락)에 주목할 필요 100 이상 or 전년 동월대비 증감률이 +이면: 경기팽창 100: 기준 100 이하 or 전년 동월대비 증감률이 -이면: 경기하락 인사이트 전년 동월대비 증감률이 +이면 전년 동월대비 증감률이 +이.. 2024. 1. 12. ISM PMI (구매관리자 지수) 정의 Purchasing Managers Index 미국 공급관리자협회가 미국 전역의 산업별 공급관리자를 대상으로 한 설문조사를 통해 발표됨 제조업 지수 / 서비스업 지수 로 나눠짐 MoM 계산방식 제조업 PMI: 설문 항목 중 5가지 (신규주문, 생산, 고용, 공급자배달, 재고) 지수의 가중치 적용 후 단순 평균으로 산출 서비스업 PMI: 설문 항목 중 4가지 (기업활동, 신규주문, 공급자배달, 고용) 지수의 가중치 적용 후 단순 평균으로 산출 중요도 ★★★★★ 미국의 경기 상황을 가장 신속하게 전달해주는 지표 미국 내에서 제조업 비중은 서비스업에 비해 훨씬 작으며, 계속해서 낮아지고 있음. 그러나, 제조업지수가 서비스업지수에 비해 경기 변동에 더 민감하게 반응하고, Cyclical 하기 때문에 더 중.. 2024. 1. 12. Exception: Install MeCab in order to use it: http://konlpy.org/en/latest/install/ konlpy.. 설치가 너무 힘든데 이거밖에 없다. 급하신 분들을 위해 되는 코드부터 먼저 올린다. # 코랩용 # Mecab 설치 !apt-get update !apt-get install g++ openjdk-8-jdk !pip3 install konlpy JPype1-py3 !bash 2024. 1. 5. 크롬드라이버 에러; service, option, browser, driver... case chrome_options = Options() chrome_options.add_experimental_option("detach", True) chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"]) service = Service(executable_path=ChromeDriverManager().install()) browser = webdriver.Chrome(service=service, options=chrome_options) error types AttributeError: 'NoneType' object has no attribute 'split' TypeError: ChromeDriverMana.. 2023. 12. 7. 프롬프트 엔지니어링 Book Summary (저자: 반병현) 개념 정리 프롬프트 컴퓨터가 사용자에게 보여주는 문구 프롬프트 엔지니어링 AI가 사용자에게 보여주는 응답을 잘 할 수 있게 엔지니어링 하는 것 가스라이팅이나 제일브레이크 시도 역시 우리 입맛에 맞도록 AI의 응답을 수정하기 위한 것 (단순하게 질문 잘하는 방법이 아님) 태스크 프롬프트 (Task Prompt) AI에게 업무를 지시하는 것. 평문형 태스크 프롬프트 "아재개그는 즐거워" 영어로 번역해줘. 하이퍼파라미터형 테스크 프롬프트 Task: translation (Korean->English) "아재개그는 즐거워" 이 외에도 인코더기반 Task: 요약, 분석, 감정분석 디코더기반 Task: 텍스트확장 (한두문장 주고 이 문장을 토대로 확장된 작문작업 하는것) 아주 잘함. 특히 요약은 어텐션 주력분야라 .. 2023. 12. 6. Transformer까지의 모델들 5분에 정리하기 (word2vec / seq2seq / attention) word2vec 인코더만 붙여놓은 상태 빈칸맞추기, 어울리는 단어 찾기 할 . 수있음 seq2seq 인코더와 디코더를 붙였음 단어가 아닌 문장의 의미를 이해하여 latent space에 매칭시켜 디코더로 다른언어 번역이 용이 latent space 의 크기가 고정되어있다는 한계가 있었음 인코더의 성능이 좋아지면, AI의 이해력이 좋아지고, 디코더의 성능이 좋아지면, AI의 표현력이 좋아진다. 그럼, 그냥 인코더를 여러개 쓰고, 디코더를 여러개쓰면 이해력과 표현력이 좋아지지 않을까? 어텐션 넣어서? 잠깐, Attention이란? rough하게 그려보면, 우리나라 사람들은 너무 잘 이해할 수 있음. I'll book the hotel within 3 days. 1.2. 3. 4. 5. 6. 7. 8. 나는 .. 2023. 12. 6. 데이터 사이언티스트로써의 한 달. 나는 취업에 성공했다. as Data Scientist 를 위해 1년을 아둥바둥하고 얻어낸 결과였고, 오늘로써 출근한지 한 달이 되었다. 어차피 다른 업종이긴 하지만 직장경험이 5년차인 "중고신입"이기 때문에 회사생활에 대한 환상은 없다. 내 손으로 뽑은 사람들과 일해보면서 별 일이 다 있었기 때문에 내가 할 수 있는, 배울 수 있는 곳이 가장 큰 기준점이 되었다. 내가 취업 관문에서 있었던 여러 고민들과 망설임들을 글로 다 적으려면 특필을 해야할 듯 하다. 하지만 이 행간의 고민을 읽어내시는 분들이 분명 있을 것이라 생각한다. 나와 같은 고민을 하시는 분들이 이 글을 읽으신다면, "야너두 할수 있어!" 뭐 이런 것 말고.. 더 정확하고 구체적인 도움이 필요할 것이다. 어느정도 공부를 진행하신 상황이라면.. 2023. 12. 5. 제7회 빅데이터 분석기사 필기 합격후기 2023.12.05) 검색 유입량이 많아졌네요. 필기 합격 후 취업이 되어서 이번년에 실기는 응시하지 못했습니다. 내년에 응시할 계획이긴 하나, 필기준비때 제가 봤던 메타코드 유튜브 영상이 더이상 볼 수 없게 되었더라구요. 혹시나 제가 공부했던 필기 자료가 필요하시면 비밀댓글로 메일 남겨주세요. 손글씨 파일이라 알아보실 수 없을 수도 있지만,, 필요하시다면 기쁜마음으로 공유하겠습니다:) 합격했따아!!! 합격 발표는 다음주 13일이지만, 성적 조정 신청을 위해 일주일전에 가점수가 나오는데, 60점이상이면 합격이니 안정권인듯!! 시험치고 살짝 간당간당한 느낌이었는데, 문제가 어려웠었나보다. 오늘 하루 좋은일이 많아서 행복하네❤️ 시험문제 복원 및 공부서적, 강의는 여기에 ⬇️⬇️⬇️ https://kolaz.. 2023. 10. 6. SSSD (Diffusion-based Time Series Forecasting) MAE : 0.02 시계열 예측 시간순으로 정렬된 과거 데이터 포인트를 기반으로 미래 값을 예측하는 데 사용되는 방법 기존모델 1. ARIMA (AutoGregressice Integrated Moving Average) : 자기회귀"누적"이동평균 정상성 : 모든 시점의 평균과 분산이 동일하고, 공분산은 시차만 같으면 동일한 상태 자기회귀(AR) : 이전에 관측된 값이 이후의 값에 영향을 미치는 상황이동평균(MA) : 평균이 시간에 따라 변화하는 경향자기회귀이동평균 (ARMA)자기회귀누적이동평균 (ARIMA) : 비정상 시계열에 대해 d차로 차분 변환한 ARMA 모형즉, 비정상 시계열을 d번 차분하여 정상화 한 후에, ARMA 차수를 결정하게 됨. => 간단, 단기예측에 좋으나, 비선형 데이터나 장기예측.. 2023. 10. 5. 2023년 제7회 빅데이터분석기사 기출문제 복기 / 시험후기 하.. 오늘 보고왔는데.. 정말 수학시험인줄.. 일단 표준정규분포 신뢰구간 계산하는거나 z 값 계산하는건 하나도 안나왔음. 현업에 계셔서 인공지능을 접하고 계시는 분들이면 범위 밖 문제에서 가점 받으셨을 것 같고, 공무원이나 관련없는 업계에서 가산점 받으려고 보신 분들은 범위 밖 문제에서 많이 틀리셨을 것 같음. 보고 나온 소감은,, 난 모르겠다.. ㅠㅠ 간당간당할 것 같음ㅜㅜ (최종합격했습니다. 관련 자료 필요하신 분은 여기로) https://nicedeveloper.tistory.com/entry/%EC%A0%9C7%ED%9A%8C-%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D%EA%B8%B0%EC%82%AC-%ED%95%84%EA%B8%B0-%E.. 2023. 9. 23. Disney FVAE (관람객 표정 분석 AI) https://studios.disneyresearch.com/wp-content/uploads/2019/04/FactorizedVariationalAutoencodersfor-ModelingAudienceReactionstoMovie-1.pdf Dataset 400 seat theatre that hosted multiple viewings of multiple movies over a twelve month period Modeling stage 1. TF MF (Matrix Factorization)은 원래 linear layer. 하지만 이를 VAE (Variational Autoencoder)를 사용해 non-linear로 바꿔 latent value를 갖게 했음. 행렬분해 variable de.. 2023. 5. 22. Aiffelthon의 기록 주어진 시간은 딱 4주. 지금까지의 결과는 없다. 그 시간동안 어떤 것을 바로 잡았어야 했는지 잊기 전에 기록해본다. 1. 대략적인 타임라인에 너무 벗어났다. 2. 꿈과 현실간의 조율이 어려웠다. 3. 주어진 자원을 잘 파악하지 못했다. 4. 주어진 자원을 잘 활용하지 못했다. 5. 실력이 부족했다. 1. 대략적인 타임라인에서 너무 벗어났다. 처음 시작할때만 하더라도 내 머릿속에 어느정도의 타임라인이 있었다. 1주차에는 아이디어 회의 및 리서치, 역할분담을 끝내고, 2주차에는 대략적인 모델 아키텍쳐를 구성하고, 데이터셋을 만들 것. 3주차에는 모델 베이스라인 구축 및 fine-tuning, 4주차에는 결과 도출 및 수정할 시간을 그렸다. 하지만 그러지 못했다. 우리는 3주차를 훨씬 넘어 대략적인 모델 아.. 2023. 5. 6. 자주 사용했던 리눅스 명령어 기록하기 제발좀 까먹지마라 나님아 - pwd, cd, ls - conda create -n test1020 python=3.9 anaconda : test1020이라는 env 만들면서 python 3.9 깔고, 해당버전이랑 호환안되는 셋트상품도 anaconda 넣으면 다같이 깔아줌. - conda activate test1020 ( deactivate) - conda remove env test1020 - conda install -c conda-forge pytorch torchaudio (conda-forge = 해당호환셋트상품) - sudo apt-get install jupyter-notebook : sudo 관리자 권한이고, apt-get 할때도, apt 할때도 있음 - jupyter notebook :.. 2023. 4. 29. ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models (2023.2.9) https://arxiv.org/pdf/2302.04456.pdf Meaning diffusion으로 waveform을 생성하는 최초의 음악생성모델 (참고한 text-to-speech는 speech 생성함) 투표된 인기댓글을 활용함으로써 free-form text 의 데이터 부족을 해소. 두 가지 conditional model 비교를 통해 end-to-end의 성능을 증명 관련성이 높고, 고품질의 음악을 생성할 수 있음을 보여줌. Dataset 인기댓글 : 수준이 높고, 악기, 장르 및 감정에 대한 음악 정보가 많았음. 그래서 (인기댓글 - 음악) 병렬데이터 수집 Model U-Net for diffusion. 14개 convolutional block layers 로 down - up 노이즈를 추가하.. 2023. 4. 15. Diffusion 2 (Stable diffusion) 참고강의 https://www.youtube.com/watch?v=Z8WWriIh1PU 강의노트 기존 Diffusion 과 Stable Diffusion의 차이 1. 노이즈 추가방법이 다름 Diffusion : 픽셀 단위로 가우시안 노이즈 추가 Stable D : 레이어 단위로 가우시안 노이즈 추가 ; 기존 D보다 더 복잡한 이미지 생성 가능, 안정적, diversity향상 2. 다른 모델과의 연동 Stable D는 다른 모델과 콜라보가 가능 (e.g. AE, CLIP 등) S.D + AE : 안정적이고 고화질의 이미지 생성 목표 S.D + CLIP : image, text를 결합하여 생성 목표콜라보할 두 가지 대표모델 학습순서 AE 학습하고 >> CLIP 학습하고 >> U-net 학습하고 >> Fine.. 2023. 4. 12. Diffusion 1 (DDPM, DDIM, Guided Diffusion, DDGAN) 참고강의 https://www.youtube.com/watch?v=jaPPALsUZo8 https://www.youtube.com/watch?v=jaPPALsUZo8 강의노트 원본 -> 노이즈 로 갔다가 다시 노이즈 -> 원본으로 돌아오면서, 디노이징하는 법을 학습하는 것. (앱실론학습) 디노이징 하는 법을 다 익힌 모델은 노이즈에서 정규분포에 따른 latent value로 새로운 이미지를 생성할 수 있음. Forward process : 이미지-> 가우시안노이즈 (정규분포, N(m,시그마제곱)= N(0,1))로 만드는 과정 X0 ----------> Xt-1 ------> Xt Xt = a * Xt-1 + b*noise Xt는 그전시점의 Xt-1에 (weight는 아니고 상수) 곱한것 + bias에 노.. 2023. 4. 3. AE, DAE, VAE AE (AutoEncoder) 비지도 학습 유형, 인코더와 디코더로 이루어져 있고, 인코더는 차원축소를, 디코더는 생성모델의 역할을 한다. 특징 Unsupervised learning : 학습시 라벨이 없는 unsupervised 방식으로 수행됨. Representation learning : 학습시 Loss는 Negative Maximum Likelihood(nml)로 해석. Dimensionality reduction :학습된 오토인코더의 인코더는 차원 축소의 역할을 하고 Generative model learning : 학습된 오토인코더의 디코더는 생성 역할을 함. 차원 축소를 해야 하는 이유는, 차원이 복잡하면 파라미터가 많아져서 오버피팅이 나게 되고, 복잡도가 떨어지기 때문이다. 차원 축소를 통.. 2023. 3. 31. Chat GPT-4 에게 어려운 질문을 하면? 오늘 도덕적인 부분에 있어 깊게 깊게 이야기를 나눴더니,, 2번 뜨고 이상하다 싶어 캡쳐를 해놓고는, 계속 더 해봤더니 한 번 더 떴다. 아주 대답하기 곤란한 윤리적인 질문을 하면 이런 메세지가 뜨는건가? 아니면 4로 업그레이드 되면서 명시적 지표를 체크하게 하는 기능이 생긴걸까? 구글링해보니 정보가 많이 없다. 흔한 경우는 아닌 것 같다. GPT에게 왜 나한테 이런 메세지를 대답하냐고 물었더니, 영어로 물었음에도 대답하는 커서가 엄청 오랫동안 깜빡깜빡한다. 이런 메세지가 뜨기 전에도 커서가 오래 깜빡이는 공통점이 있긴 했다. 그리고는 대답이 이렇다. As an AI language model, I sometimes ask for feedback on my responses to improve my pe.. 2023. 3. 24. SCARF) SELF-SUPERVISED CONTRASTIVE LEARNINGUSING RANDOM FEATURE CORRUPTION (2022.03) Keyword Paper SCARF: SELF-SUPERVISED CONTRASTIVE LEARNING USING RANDOM FEATURE CORRUPTION Dara Bahri / Google / 2022.05 https://arxiv.org/pdf/2106.15147.pdf (Github address) Abstract 기존의 연구들은 괄목할만한 성과가 있었음에도 불구하고 (e.g. autoencoder), domain의 바운더리에서 벗어나질 못했다. 실제 세상에서 tabular 한 데이터에도 도메인 상관없이 범용적으로 쓸 수 있는 모델이 없었다. SCARF는 입력 데이터의 일부 특징을 무작위로 선택하여 해당 특징들의 확률 분포에서 샘플링한 값으로 대체하여 입력 데이터의 뷰를 생성하는 방법 실제 7.. 2023. 3. 24. 수렴되지 않는 이유.. Hyperparameter 튜닝: 모델의 학습이 잘 되지 않는 경우, 먼저 Hyperparameter를 조정해보는 것이 좋습니다. 예를 들어, 학습률, 배치 크기, 최적화 알고리즘 등을 변경하여 성능이 개선되는지 확인해볼 수 있습니다. 또한, Contrastive Learning에서는 negative sample의 개수와 temperature parameter도 중요한 hyperparameter입니다. 이러한 hyperparameter를 변경하여 모델의 학습이 개선되는지 확인해보는 것이 좋습니다. Data Augmentation 적용: Contrastive Learning에서 Data Augmentation은 중요한 역할을 합니다. 이는 모델이 다양한 변형된 입력 데이터를 통해 더욱 강건하게 학습할 수 .. 2023. 3. 23. CLEP) Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning (2022.07) Keyword Paper Exploiting Negative Preference in Content-based MusicRecommendation with Contrastive Learning Minju Park/SNU/2022.07 https://arxiv.org/pdf/2207.13909.pdf Points 추천은 좋아하는 것을 제시하는 것보다 싫어하는 것을 제시하지 않는 것이 더 중요하다. 즉, recall이 아니라 False Positive Rate가 더 중요하다. CLEP-N가 FPR 부문에서 우수하다. 여기서는 추천까지 3단계를 나누어서 설명했고, 이 중 CLEP에 비중을 두고 있다. 세 개의 임베딩으로 거리와 마진을 구해낸다. Feature Exracting SimCLR :performs c.. 2023. 3. 22. BERT 2023. 3. 22. CLMR) Contrastive Learning of Musical Representations (2021.03) Keyword Paper Contrastive Learning of Musical Representations Janne Spijkervet / Univ. of Amsterdam / 2021.03 https://arxiv.org/pdf/2103.09410.pdf https://github.com/Spijkervet/CLMR Points Self-supervised Wav파일을 SimCLR에 적용시킴. Used dataset MagnaTagATune Million Song Dataset. Model CLMR증강 무작위로 잘라서 : Randomly cropping a segment from an audio clip. 속도나 피치를 뒤틀어 증강하고 : Applying random speed and pitch .. 2023. 3. 16. NNCLR) Nearest-Neighbor Contrastive Learning of Visual Representations (InfoNCE / 2021.10) Keyword NNCLR InfoNCE Paper With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations Debidatta Dwibedi / Google / 2021.10 https://arxiv.org/pdf/2104.14548.pdf https://github.com/MalteEbner/NNCLR Points Self-supervised learning algorithm NNCLR(NearestNeighbor Contrastive Learning of visual Representations) 을 제시함 같은 데이터에서 추출한 점을 positive라고 하는 것이 아니라, 이에 근.. 2023. 3. 15. 이전 1 2 3 4 5 다음 728x90
