반응형 Selenium5 [Error] 파이썬 셀레니움 크롬 chrome not reachable 에러 해결 셀레니움을 이용해서 크롬 드라이버로 데이터를 크롤하던 중 중간중간 가끔 chrome not reachable 에러가 발생해서 크롤링이 중단되는 경우가 발생했다. - 에러 메시지 - selenium.common.exceptions.WebDriverException: Message: chrome not reachable 크롬 드라이버 옵션이 많은데 구글링을 하며 이것저것 해본 결과 약 3번 테스트 끝에 며칠이 지나도 에러가 발생하지 않는 것을 찾았다. 아래와 같이 크롬 드라이버의 옵션을 세팅해주면 된다. 1 2 3 4 5 6 7 8 9 10 11 from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.ad.. 2021. 12. 17. [Python] Selenium과 Chrome driver를 활용한 Google Translation 자동화 이전 포스트에서는 Selenium과 Chrome driver를 활용한 Papago Translation 자동화 에 대해 작성했다. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않 wookidocs.tistory.com 마찬가지로 Google 번역 API를 사용하고자 하는데 여기도 무료는 아니다. Google Cloud Translation 에 들어가서 무료 신청을 해서 사용하면 된다. Cloud Translation | Google Clo.. 2021. 12. 8. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않기 위해..) selenium과 크롬 드라이버를 이용해서 번역을 자동화했다. * NAVER Cloud Papago Translation https://www.ncloud.com/product/aiService/papagoTranslation NAVER CLOUD PLATFORM cloud computing services for corporations, IaaS, PaaS, SaaS, with Global region and Security Technology Certification www.nclo.. 2021. 12. 8. [Python] 네이버 카페 게시글 크롤러(feat. 크롬 드라이버 & 셀레니움) 네이버 카페 게시글의 제목과 링크를 크롤링 하기 위한 코드이다.아마 가장 깔끔하게 잘 돌아가는 코드이지 않을까 싶다.많은 분들께 도움이 되었으면 한다. 기본적으로 크롬의 버전과 크롬 드라이버의 버전이 맞아야 오류 없이 돌아간다. 네이버 카페 게시글이다 보니 네이버 계정이 게시글에 접근할 수 있도록 카페에 가입이 되어 있어야한다. * 이 코드에는 일정 시간마다 돌아갈 수 있도록 무한루프를 이용했다.* 또한 크롤링 한 게시글 중 앞서 크롤링했던 게시글이 있다면 중복을 제거한 후에 새로운 게시글을 저장할 수 있도록 한다. - 전체코드import timefrom selenium import webdriverimport csvimport pandas as pdfrom bs4 import BeautifulSoup .. 2021. 11. 23. [Python] 유튜브 댓글 크롤러 youtube comment crawl with Selenium, Chrome Driver 유튜브 댓글은 아래로 스크롤을 해야 더 나오기 때문에 html source를 그대로 파싱하기에는 어려움이 따른다. 따라서 chromedriver와 selenium을 이용해서 자동으로 스크롤하고 원하는 만큼 html source를 한번에 긁어다가 파싱 하는 코드이다. https://github.com/Daewooki/WebCrawler Daewooki/WebCrawler Contribute to Daewooki/WebCrawler development by creating an account on GitHub. github.com HTML 삽입 미리보기할 수 없는 소스 2021. 6. 16. 이전 1 다음 반응형
