반응형 Python34 [Python] 'cp949' codec can't decode byte 0xec : illegal multibyte sequence (UnicodeDecodeError) 엑셀 파일이나 텍스트 파일 등 문서를 읽어서 작업을 해야하는 경우가 많다. json 파일을 읽어서 로드를 하려고 하면 다음과 같이 UnicodeDecodeError: 'cp949' codec can't decode byte 0xec in position N: illegal multibyte sequence 에러가 발생하는 경우가 있다. 아래와 같이 json파일을 읽게 되면 6번째 라인에서 해당 에러가 발생한다. 1 2 3 4 5 6 7 8 import json file_path = './data/ko.json' with open(file_path) as json_file: text_data = json.load(json_file) Colored by Color Scripter cs 이럴 때는 encodi.. 2021. 8. 3. Python에서 Java 코드 사용하기(feat. jpype) 파이썬에서 Java 모듈을 사용해야하는 경우가 있었다. 먼저 jpype를 설치해야한다. pip install JPype1 예시로 문자열을 바꾸는 자바 클래스를 생성했다. package com.jpype.utils; public class JpypeTest{ public static String reverse(String str) { StringBuffer buf = new StringBuffer(); for(int i=str.length()-1; i>=0; i--) { buf.append(str.charAt(i)); } return buf.toString(); } } 이후 필요한 자바 파일을 jar파일로 만들어주어야한다. (파이썬에서 사용하기 위해서 필수 과정) jar파일이 생성되면 python work.. 2021. 7. 31. curl command to python requests (curl 명령어 python request로 변환) 아래와 같이 curl로 API를 요청해야할 때가 있다. curl \ -u tester:secret_code https://test-oauth.test.com/auth/oauth/token \ -d "grant_type=authorization_code&code=test&redirect_uri=https://www.test.com" 해당 API를 파이썬에서 requests로 get, post와 같은 방식으로 요청하고 response를 받을 수 있다. curl 코드가 복잡할 때 파이썬 requests로 변환하기 어려운 경우가 있었다. 찾아보니, 쉽게 변환해주는 사이트가 있어서 쉽게 변환할 수 있었다. 오타가 발생할 일이 없다.. https://curl.trillworks.com/ Convert cURL co.. 2021. 7. 2. Python 지정 경로에 폴더가 없으면 생성하는 법 지정 경로에 있는 폴더 내부에 파일을 생성해야할 때 해당 경로에 폴더가 존재하지 않으면 에러가 발생한다. 해당 경로에 폴더가 존재하지 않는다고.. 이런 에러를 처리하기 위해서 파일을 생성하기 이전에 폴더의 유무를 파악해서 생성하는 처리를 해주면 된다. 지정 경로에 폴더가 존재하는지 확인하고 존재하지 않으면 만들어주는 코드이다. import os path = "./test" if not os.path.isdir(path): os.mkdir(path) 2021. 6. 22. Flask를 이용한 웹 서버 구현 Flask는 Python으로 구동되는 웹 어플리케이션 프레임워크이다. 이번 프로젝트에서는 nginx나 apche tomcat을 사용하지 않고 flask를 사용하기로 했다. 간단한 웹 서버를 구현해보자. 우선 가상환경을 만들고, Flask를 설치한다. Flask 설치 # Flask 설치 $ pip install flask # Flask 확인 $ flask --version Flask 어플리케이션 생성 app.py 파일 생성 from flask import Flask app = Flask(__name__) @app.route('/') def index(): return 'Hello World!' @app.route('/greet') def info(): return 'Hi Daewook!' Flask 웹서버.. 2021. 6. 16. [Python] APScheduler 를 이용한 파이썬 스케줄링 스크립트 ML 파이프라인 자동화를 하면서 특정 시간에 주기적으로 돌려야하는 스케쥴러가 필요했다. 파이썬 코드로 실행을 해야해서 어떤 스케쥴러를 사용할까 찾아보다 APScheduler에 대해 찾아보게 됐다. APScheduler (Advanced Python Scheduler) Python code 를 주기적으로 수행할 수 있게 도와주는 Python Library Schedule Type cron : Cron 표현식으로 Python code 를 수행 interval : 일정 주기로 Python code 를 수행 date : 특정 날짜에 Python code 를 수행 Scheduler 종류 대표적으로 BlockingScheduler : 단일 Job 수행시 BackgroundScheduler : 다수 Job 수행시 A.. 2021. 6. 16. [Python] 유튜브 댓글 크롤러 youtube comment crawl with Selenium, Chrome Driver 유튜브 댓글은 아래로 스크롤을 해야 더 나오기 때문에 html source를 그대로 파싱하기에는 어려움이 따른다. 따라서 chromedriver와 selenium을 이용해서 자동으로 스크롤하고 원하는 만큼 html source를 한번에 긁어다가 파싱 하는 코드이다. https://github.com/Daewooki/WebCrawler Daewooki/WebCrawler Contribute to Daewooki/WebCrawler development by creating an account on GitHub. github.com HTML 삽입 미리보기할 수 없는 소스 2021. 6. 16. 이전 1 2 3 4 다음 반응형
