반응형 Python34 beautifulsoup으로 태그 정보 파싱하기 보호되어 있는 글 입니다. 2022. 2. 8. [Python]anaconda를 miniconda로 변경하는 방법(패키지 복사) 아나콘다가 조건부 유료화가 되면서 miniconda로 변경해야 할 상황이 생겼다. 내 컴퓨터에 세팅된 가상환경은 총 7개이다. ㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇㅇ 이 모두를 다시 설치하기에는 너무 귀찮다. 아나콘다를 A컴퓨터에서 B컴퓨터로 환경을 복사하는 방법이 있다. miniconda도 마찬가지이다. 아나콘다의 환경을 출력해두고 miniconda에서 가상환경을 만들면 된다. 중요한 포인트 environment.yml 파일에서 prefix를 변경하여 설치해주면 된다. 기존 anaconda에서 miniconda로 변경해주면 된다. conda env create -f environment.yml 미니콘다에서 아나콘다로 갈 때도 동일하게 진행하면 된다. 2022. 1. 19. [Error] 파이썬 셀레니움 크롬 chrome not reachable 에러 해결 셀레니움을 이용해서 크롬 드라이버로 데이터를 크롤하던 중 중간중간 가끔 chrome not reachable 에러가 발생해서 크롤링이 중단되는 경우가 발생했다. - 에러 메시지 - selenium.common.exceptions.WebDriverException: Message: chrome not reachable 크롬 드라이버 옵션이 많은데 구글링을 하며 이것저것 해본 결과 약 3번 테스트 끝에 며칠이 지나도 에러가 발생하지 않는 것을 찾았다. 아래와 같이 크롬 드라이버의 옵션을 세팅해주면 된다. 1 2 3 4 5 6 7 8 9 10 11 from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.ad.. 2021. 12. 17. [Python] Selenium과 Chrome driver를 활용한 Google Translation 자동화 이전 포스트에서는 Selenium과 Chrome driver를 활용한 Papago Translation 자동화 에 대해 작성했다. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않 wookidocs.tistory.com 마찬가지로 Google 번역 API를 사용하고자 하는데 여기도 무료는 아니다. Google Cloud Translation 에 들어가서 무료 신청을 해서 사용하면 된다. Cloud Translation | Google Clo.. 2021. 12. 8. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않기 위해..) selenium과 크롬 드라이버를 이용해서 번역을 자동화했다. * NAVER Cloud Papago Translation https://www.ncloud.com/product/aiService/papagoTranslation NAVER CLOUD PLATFORM cloud computing services for corporations, IaaS, PaaS, SaaS, with Global region and Security Technology Certification www.nclo.. 2021. 12. 8. [Python] 네이버 카페 게시글 크롤러(feat. 크롬 드라이버 & 셀레니움) 네이버 카페 게시글의 제목과 링크를 크롤링 하기 위한 코드이다.아마 가장 깔끔하게 잘 돌아가는 코드이지 않을까 싶다.많은 분들께 도움이 되었으면 한다. 기본적으로 크롬의 버전과 크롬 드라이버의 버전이 맞아야 오류 없이 돌아간다. 네이버 카페 게시글이다 보니 네이버 계정이 게시글에 접근할 수 있도록 카페에 가입이 되어 있어야한다. * 이 코드에는 일정 시간마다 돌아갈 수 있도록 무한루프를 이용했다.* 또한 크롤링 한 게시글 중 앞서 크롤링했던 게시글이 있다면 중복을 제거한 후에 새로운 게시글을 저장할 수 있도록 한다. - 전체코드import timefrom selenium import webdriverimport csvimport pandas as pdfrom bs4 import BeautifulSoup .. 2021. 11. 23. [Python] Flask 및 jQuery를 사용하여 AJAX 파일 업로드 Flask 서버에 AJAX 및 jQuery를 사용하여 파일 업로드하는 방법을 정리합니다. Flask 구조상 파일은 uploads 라는 폴더에 업로드 됩니다. uploads 폴더가 있는지 확인이 필요합니다. 없으면 생성이 될 수 있도록 코드를 짜야되고요. 파일을 서버에 업로드하는 방법으로는 Form을 이용하여 제출 시 바로 전송하고 처리하는 방식도 있습니다만, 이 포스트에서는 AJAX를 이용해서 별도의 버튼을 클릭 시에 업로드될 수 있도록 하고, 전체 페이지를 새로고침 하지 Prerequisites Python 3.7.4, Flask 1.1.1 Flask 애플리케이션 구성 Flask 프레임워크를 통해 애플리케이션을 구성합니다. 또한, 파일 업로드 위치와 사용자가 업로드할 수 있는 모든 파일의 최대 크기를 .. 2021. 11. 21. [Python] 괄호 안에 문자 제거하기(정규식) 텍스트를 전처리할 때 정규식은 아주 유용하다. 텍스트 내부에 괄호가 들어가있고, 괄호 내부의 문자를 모두 제거하는 작업이 필요해서 정규식을 작성했다. 텍스트에서 괄호, 대괄호 내부에 있는 문자를 모두 제거하는 방법이다. regex 패키지인 re를 import 한다. 대괄호"[]" 안의 내용을 지우려고 하면 아래와 같이 삭제하면 된다. regex에서 대괄호를 괄호로 바꾸고 싶으면 \[, \]를 각각 \(, \)로 변경하면 된다. import re text = '[파이썬] 괄호 안에 문자 제거' regex = '\[[^)]+\]' text = re.sub(regex, '', text) print(text) text = '(파이썬) 괄호 안에 문자 제거' regex = '\([^)]+\)' text = re... 2021. 11. 15. [Python] 두 날짜 사이의 모든 날짜 구하기 from datetime import datetime, timedelta def date_range(start, end): start = datetime.strptime(start, "%Y-%m-%d") end = datetime.strptime(end, "%Y-%m-%d") dates = [(start + timedelta(days=i)).strftime("%Y-%m-%d") for i in range((end-start).days+1)] return dates dates = date_range("2021-01-01", "2021-01-09") print(dates) 2021. 9. 29. 이전 1 2 3 4 다음 반응형
