반응형 python16 [Python] Garbage Collection 파이썬 가비지 콜렉션 기존 메모리 관리의 문제점 메모리를 직접 관리해야하는 언어들은 크게 두 가지 관점에서 문제점을 가지고 있다. 필요 없는 메모리를 삭제: 메모리를 사용하고 비우지 않는 경우, 메모리 누수가 발생할 수 있고 장기적인 관점에서 치명적일 수 있음 사용중인 메모리 삭제: 존재하지 않는 메모리에 접근하려고 하면 프로그램이 중단되거나 데이터가 손상될 수 있음 이러한 문제를 해결하기 위해 자동 메모리 관리(Automatic Memory Management) 시스템이 등장하게 되었음 GC module 사용 gc 모듈을 사용하여 가비지 컬렉션 통계를 확인하거나 가비지 컬렉터의 동작을 변경할 수 있다. -- gc 모듈을 사용하며 get_threshold() method를 사용하여 가비지 컬렉터의 구성된 임계값을 확인할 수 .. 2023. 2. 6. [Pandas] 데이터프레임 날짜/시간을 날짜로 변환하는 방법 pandas에서 datetime을 날짜만을 가져와서 사용해야할 때가 있다. .dt.date 함수 를 사용하면 이 작업을 쉽게 수행할 수 있다. 예를 들어 아래와 같이 데이터프레임에 날짜/시간 형태로 이루어져 있다고 하자. 1 2 3 4 5 import pandas as pd #convert datetime column to just date df['regdate'] = pd.to_datetime(df['regdate']).dt.date Colored by Color Scripter cs 다음과 같이 간단하게 한 줄로 변환할 수 있다. 2022. 8. 16. [Error] Can't get attribute '_unpickle_block' on <module 'pandas._libs.internals' 해결 방법 pickle 형식의 파일을 읽으려고 할 때 Can't get attribute '_unpickle_block' on 2022. 5. 25. [Error] konlpy import 에러 (AttributeError: module 'tweepy' has no attribute 'StreamListener') 자연어 처리를 할 때 문장을 단어 단위로 토큰화하거나, 형태소 분석을 하는 등 많은 작업이 필요하다. 영어를 처리하는데에는 nltk 패키지, 한국어를 처리할 때에는 konlpy 패키지를 가장 많이 쓴다. 이번에 가상환경을 새로 설정하고 패키지를 설치한 후 konlpy를 import할 때 아래와 같은 에러메시지가 발생하였다. import konlpy >> AttributeError: module 'tweepy' has no attribute 'StreamListener' 해결 방법 위와 같은 오류 메시지가 발생하는 이유는 konlpy 패키지가 tweepy 패키지에 포함된 StreamListener 클래스를 사용하고 있는데 이것을 불러오지 못한 것이다. 오류가 발생한 원인을 아래와 같이 생각해 볼 수 있다... 2022. 2. 10. [Python] matplotlib plot 차트 축 시간 간격 조절하기 데이터프레임을 시간 컬럼 기준으로 plot을 그리면 아래와 같이 띄엄띄엄 그려지게 된다. 예시 코드 subway_df = subway_df.sort_values('date_column', ascending=True) plt.plot(subway_df['date_column'], subway_df['cnt'], label='subway') bus_df = bus_df.sort_values('date_column', ascending=True) plt.plot(bus_df['date_column'], bus_df['cnt'], label='bus') plt.xlabel('date') plt.ylabel('count') plt.legend(loc=2) plt.xticks(rotation=45) plt.show.. 2022. 2. 8. [Python] Selenium과 Chrome driver를 활용한 Google Translation 자동화 이전 포스트에서는 Selenium과 Chrome driver를 활용한 Papago Translation 자동화 에 대해 작성했다. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않 wookidocs.tistory.com 마찬가지로 Google 번역 API를 사용하고자 하는데 여기도 무료는 아니다. Google Cloud Translation 에 들어가서 무료 신청을 해서 사용하면 된다. Cloud Translation | Google Clo.. 2021. 12. 8. [Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않기 위해..) selenium과 크롬 드라이버를 이용해서 번역을 자동화했다. * NAVER Cloud Papago Translation https://www.ncloud.com/product/aiService/papagoTranslation NAVER CLOUD PLATFORM cloud computing services for corporations, IaaS, PaaS, SaaS, with Global region and Security Technology Certification www.nclo.. 2021. 12. 8. [Python] 네이버 카페 게시글 크롤러(feat. 크롬 드라이버 & 셀레니움) 네이버 카페 게시글의 제목과 링크를 크롤링 하기 위한 코드이다.아마 가장 깔끔하게 잘 돌아가는 코드이지 않을까 싶다.많은 분들께 도움이 되었으면 한다. 기본적으로 크롬의 버전과 크롬 드라이버의 버전이 맞아야 오류 없이 돌아간다. 네이버 카페 게시글이다 보니 네이버 계정이 게시글에 접근할 수 있도록 카페에 가입이 되어 있어야한다. * 이 코드에는 일정 시간마다 돌아갈 수 있도록 무한루프를 이용했다.* 또한 크롤링 한 게시글 중 앞서 크롤링했던 게시글이 있다면 중복을 제거한 후에 새로운 게시글을 저장할 수 있도록 한다. - 전체코드import timefrom selenium import webdriverimport csvimport pandas as pdfrom bs4 import BeautifulSoup .. 2021. 11. 23. [Python] Flask 및 jQuery를 사용하여 AJAX 파일 업로드 Flask 서버에 AJAX 및 jQuery를 사용하여 파일 업로드하는 방법을 정리합니다. Flask 구조상 파일은 uploads 라는 폴더에 업로드 됩니다. uploads 폴더가 있는지 확인이 필요합니다. 없으면 생성이 될 수 있도록 코드를 짜야되고요. 파일을 서버에 업로드하는 방법으로는 Form을 이용하여 제출 시 바로 전송하고 처리하는 방식도 있습니다만, 이 포스트에서는 AJAX를 이용해서 별도의 버튼을 클릭 시에 업로드될 수 있도록 하고, 전체 페이지를 새로고침 하지 Prerequisites Python 3.7.4, Flask 1.1.1 Flask 애플리케이션 구성 Flask 프레임워크를 통해 애플리케이션을 구성합니다. 또한, 파일 업로드 위치와 사용자가 업로드할 수 있는 모든 파일의 최대 크기를 .. 2021. 11. 21. 이전 1 2 다음 반응형
