728x90 Study (Data Science)116 구글 서치 API Google Search API 구글 검색 API 발급받기 구글 검색결과 크롤링 액션을 사용하기 위한, 구글 검색 API 발급받는 방법을 알려드리겠습니다. 간단한 클릭만으로 발급이 가능하며 자세한 방법은 아래 순서를 참고해 주세요. 🔎Click! 이미지를 클릭하면 예시 화면을 크게 볼 수 있습니다. 구글 로그인 후 API 발급 페이지에 접속합니다. https://developers.google.com/custom-search/v1/overview?hl=ko 페이지 중단의 키 가져오기버튼을 클릭합니다. 검색 API 발급 팝업이 실행되면 이용약관에 동의 후 다음 단계로 이동하세요. API KEY 영역에 발급된 KEY 정보가 나타납니다. KEY 정보는 바티에 계정 연동 시 복사해서 붙여 넣어주세요. KEY 발급 후 관리자 페이지에 접속 후 .. 2024. 4. 14. Exception: Install MeCab in order to use it: http://konlpy.org/en/latest/install/ konlpy.. 설치가 너무 힘든데 이거밖에 없다. 급하신 분들을 위해 되는 코드부터 먼저 올린다. # 코랩용 # Mecab 설치 !apt-get update !apt-get install g++ openjdk-8-jdk !pip3 install konlpy JPype1-py3 !bash 2024. 1. 5. 크롬드라이버 에러; service, option, browser, driver... case chrome_options = Options() chrome_options.add_experimental_option("detach", True) chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"]) service = Service(executable_path=ChromeDriverManager().install()) browser = webdriver.Chrome(service=service, options=chrome_options) error types AttributeError: 'NoneType' object has no attribute 'split' TypeError: ChromeDriverMana.. 2023. 12. 7. 프롬프트 엔지니어링 Book Summary (저자: 반병현) 개념 정리 프롬프트 컴퓨터가 사용자에게 보여주는 문구 프롬프트 엔지니어링 AI가 사용자에게 보여주는 응답을 잘 할 수 있게 엔지니어링 하는 것 가스라이팅이나 제일브레이크 시도 역시 우리 입맛에 맞도록 AI의 응답을 수정하기 위한 것 (단순하게 질문 잘하는 방법이 아님) 태스크 프롬프트 (Task Prompt) AI에게 업무를 지시하는 것. 평문형 태스크 프롬프트 "아재개그는 즐거워" 영어로 번역해줘. 하이퍼파라미터형 테스크 프롬프트 Task: translation (Korean->English) "아재개그는 즐거워" 이 외에도 인코더기반 Task: 요약, 분석, 감정분석 디코더기반 Task: 텍스트확장 (한두문장 주고 이 문장을 토대로 확장된 작문작업 하는것) 아주 잘함. 특히 요약은 어텐션 주력분야라 .. 2023. 12. 6. Transformer까지의 모델들 5분에 정리하기 (word2vec / seq2seq / attention) word2vec 인코더만 붙여놓은 상태 빈칸맞추기, 어울리는 단어 찾기 할 . 수있음 seq2seq 인코더와 디코더를 붙였음 단어가 아닌 문장의 의미를 이해하여 latent space에 매칭시켜 디코더로 다른언어 번역이 용이 latent space 의 크기가 고정되어있다는 한계가 있었음 인코더의 성능이 좋아지면, AI의 이해력이 좋아지고, 디코더의 성능이 좋아지면, AI의 표현력이 좋아진다. 그럼, 그냥 인코더를 여러개 쓰고, 디코더를 여러개쓰면 이해력과 표현력이 좋아지지 않을까? 어텐션 넣어서? 잠깐, Attention이란? rough하게 그려보면, 우리나라 사람들은 너무 잘 이해할 수 있음. I'll book the hotel within 3 days. 1.2. 3. 4. 5. 6. 7. 8. 나는 .. 2023. 12. 6. SSSD (Diffusion-based Time Series Forecasting) MAE : 0.02 시계열 예측 시간순으로 정렬된 과거 데이터 포인트를 기반으로 미래 값을 예측하는 데 사용되는 방법 기존모델 1. ARIMA (AutoGregressice Integrated Moving Average) : 자기회귀"누적"이동평균 정상성 : 모든 시점의 평균과 분산이 동일하고, 공분산은 시차만 같으면 동일한 상태 자기회귀(AR) : 이전에 관측된 값이 이후의 값에 영향을 미치는 상황이동평균(MA) : 평균이 시간에 따라 변화하는 경향자기회귀이동평균 (ARMA)자기회귀누적이동평균 (ARIMA) : 비정상 시계열에 대해 d차로 차분 변환한 ARMA 모형즉, 비정상 시계열을 d번 차분하여 정상화 한 후에, ARMA 차수를 결정하게 됨. => 간단, 단기예측에 좋으나, 비선형 데이터나 장기예측.. 2023. 10. 5. Disney FVAE (관람객 표정 분석 AI) https://studios.disneyresearch.com/wp-content/uploads/2019/04/FactorizedVariationalAutoencodersfor-ModelingAudienceReactionstoMovie-1.pdf Dataset 400 seat theatre that hosted multiple viewings of multiple movies over a twelve month period Modeling stage 1. TF MF (Matrix Factorization)은 원래 linear layer. 하지만 이를 VAE (Variational Autoencoder)를 사용해 non-linear로 바꿔 latent value를 갖게 했음. 행렬분해 variable de.. 2023. 5. 22. 자주 사용했던 리눅스 명령어 기록하기 제발좀 까먹지마라 나님아 - pwd, cd, ls - conda create -n test1020 python=3.9 anaconda : test1020이라는 env 만들면서 python 3.9 깔고, 해당버전이랑 호환안되는 셋트상품도 anaconda 넣으면 다같이 깔아줌. - conda activate test1020 ( deactivate) - conda remove env test1020 - conda install -c conda-forge pytorch torchaudio (conda-forge = 해당호환셋트상품) - sudo apt-get install jupyter-notebook : sudo 관리자 권한이고, apt-get 할때도, apt 할때도 있음 - jupyter notebook :.. 2023. 4. 29. ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models (2023.2.9) https://arxiv.org/pdf/2302.04456.pdf Meaning diffusion으로 waveform을 생성하는 최초의 음악생성모델 (참고한 text-to-speech는 speech 생성함) 투표된 인기댓글을 활용함으로써 free-form text 의 데이터 부족을 해소. 두 가지 conditional model 비교를 통해 end-to-end의 성능을 증명 관련성이 높고, 고품질의 음악을 생성할 수 있음을 보여줌. Dataset 인기댓글 : 수준이 높고, 악기, 장르 및 감정에 대한 음악 정보가 많았음. 그래서 (인기댓글 - 음악) 병렬데이터 수집 Model U-Net for diffusion. 14개 convolutional block layers 로 down - up 노이즈를 추가하.. 2023. 4. 15. Diffusion 2 (Stable diffusion) 참고강의 https://www.youtube.com/watch?v=Z8WWriIh1PU 강의노트 기존 Diffusion 과 Stable Diffusion의 차이 1. 노이즈 추가방법이 다름 Diffusion : 픽셀 단위로 가우시안 노이즈 추가 Stable D : 레이어 단위로 가우시안 노이즈 추가 ; 기존 D보다 더 복잡한 이미지 생성 가능, 안정적, diversity향상 2. 다른 모델과의 연동 Stable D는 다른 모델과 콜라보가 가능 (e.g. AE, CLIP 등) S.D + AE : 안정적이고 고화질의 이미지 생성 목표 S.D + CLIP : image, text를 결합하여 생성 목표콜라보할 두 가지 대표모델 학습순서 AE 학습하고 >> CLIP 학습하고 >> U-net 학습하고 >> Fine.. 2023. 4. 12. 이전 1 2 3 4 ··· 12 다음 728x90
