본문 바로가기
반응형

분류 전체보기165

[Python] Selenium과 Chrome driver를 활용한 Papago Translation 자동화 파파고 translation API는 21년 6월 30일까지 무료 베타 서비스로 제공되었으나 현재는 유료로 바뀌어있다. 약 5천개의 문장을 번역을 해야하는 상황인데, 일회성으로 사용할 것이어서(과금을 하지 않기 위해..) selenium과 크롬 드라이버를 이용해서 번역을 자동화했다. * NAVER Cloud Papago Translation https://www.ncloud.com/product/aiService/papagoTranslation NAVER CLOUD PLATFORM cloud computing services for corporations, IaaS, PaaS, SaaS, with Global region and Security Technology Certification www.nclo.. 2021. 12. 8.
[NLP] 채팅 어뷰징 탐지 시스템 2. (엔지니어링) feat. 컴투스플랫폼 비매너 채팅 탐지 시스템을 소개하는 컴투스 플랫폼의 기술 블로그 포스트를 퍼왔습니다. https://tech.com2us.com/blog/7405 채팅 어뷰징 탐지 시스템 구축기 2부 – 컴투스플랫폼 기술블로그 tech.com2us.com (주의) 이 글에는 주제의 특성상 비속어 및 욕설이 포함되어 있습니다. 엔지니어링 데이터 사이언스 파트에 이어서 채팅 어뷰징 탐지 시스템의 전반적인 서비스 흐름과 신규 시스템 도입을 위한 부하 분산 처리 등을 설명드리겠습니다. 데이터 흐름과 흐름도 좋은 서버는 어떤 것일까요. 최신 기술이 들어가고 최대한 많은 데이터를 소화할 수 있는 서버가 좋은 것일까요? 개인적으로 가장 좋은 서버는 프로젝트에 알맞은 사이즈에 필요한 데이터를 처리할 수 있으며, 확장성이 보장된 서버라.. 2021. 12. 2.
[NLP] 채팅 어뷰징 탐지 시스템 1. (데이터 사이언스) feat. 컴투스플랫폼 비매너 채팅 탐지 시스템을 소개하는 컴투스 플랫폼의 기술 블로그 포스트를 퍼왔습니다. https://on.com2us.com/tech/채팅-어뷰징-탐지-시스템-구축기-1부 컴투스온 ‘컴투스온’은 블록 체인 및 메타버스 산업의 리딩 컴퍼니로 나아가는 컴투스 그룹의 공식 브랜드 커뮤니케이션 허브입니다. on.com2us.com (주의) 이 글에는 주제의 특성상 비속어 및 욕설이 포함되어 있습니다. 게임을 하며 욕설을 마주한 적이나 직접 내뱉은 적이 있습니까? 우리는 게임을 하며 많은 욕설을 마주하게 됩니다. 얼굴이 공개되지 않는 공간에서 게임을 이용하는 유저들 간에 서로를 향한 욕설은 서로에게 큰 상처가 될 수 있습니다. 그래서 많은 게임사들은 채팅을 필터링하여 욕설을 ***(별)로 마스킹 처리를 하거나, .. 2021. 12. 2.
[Python] 네이버 카페 게시글 크롤러(feat. 크롬 드라이버 & 셀레니움) 네이버 카페 게시글의 제목과 링크를 크롤링 하기 위한 코드이다.아마 가장 깔끔하게 잘 돌아가는 코드이지 않을까 싶다.많은 분들께 도움이 되었으면 한다. 기본적으로 크롬의 버전과 크롬 드라이버의 버전이 맞아야 오류 없이 돌아간다. 네이버 카페 게시글이다 보니 네이버 계정이 게시글에 접근할 수 있도록 카페에 가입이 되어 있어야한다. * 이 코드에는 일정 시간마다 돌아갈 수 있도록 무한루프를 이용했다.* 또한 크롤링 한 게시글 중 앞서 크롤링했던 게시글이 있다면 중복을 제거한 후에 새로운 게시글을 저장할 수 있도록 한다. - 전체코드import timefrom selenium import webdriverimport csvimport pandas as pdfrom bs4 import BeautifulSoup .. 2021. 11. 23.
[Python] Flask 및 jQuery를 사용하여 AJAX 파일 업로드 Flask 서버에 AJAX 및 jQuery를 사용하여 파일 업로드하는 방법을 정리합니다. Flask 구조상 파일은 uploads 라는 폴더에 업로드 됩니다. uploads 폴더가 있는지 확인이 필요합니다. 없으면 생성이 될 수 있도록 코드를 짜야되고요. 파일을 서버에 업로드하는 방법으로는 Form을 이용하여 제출 시 바로 전송하고 처리하는 방식도 있습니다만, 이 포스트에서는 AJAX를 이용해서 별도의 버튼을 클릭 시에 업로드될 수 있도록 하고, 전체 페이지를 새로고침 하지 Prerequisites Python 3.7.4, Flask 1.1.1 Flask 애플리케이션 구성 Flask 프레임워크를 통해 애플리케이션을 구성합니다. 또한, 파일 업로드 위치와 사용자가 업로드할 수 있는 모든 파일의 최대 크기를 .. 2021. 11. 21.
[Python] 괄호 안에 문자 제거하기(정규식) 텍스트를 전처리할 때 정규식은 아주 유용하다. 텍스트 내부에 괄호가 들어가있고, 괄호 내부의 문자를 모두 제거하는 작업이 필요해서 정규식을 작성했다. 텍스트에서 괄호, 대괄호 내부에 있는 문자를 모두 제거하는 방법이다. regex 패키지인 re를 import 한다. 대괄호"[]" 안의 내용을 지우려고 하면 아래와 같이 삭제하면 된다. regex에서 대괄호를 괄호로 바꾸고 싶으면 \[, \]를 각각 \(, \)로 변경하면 된다. import re text = '[파이썬] 괄호 안에 문자 제거' regex = '\[[^)]+\]' text = re.sub(regex, '', text) print(text) text = '(파이썬) 괄호 안에 문자 제거' regex = '\([^)]+\)' text = re... 2021. 11. 15.
[메타버스] 일상 속 NFT NFT시장은 아직 명확하지는 않다. 그러나 지금 엄청나게 핫하게 발전하고 있음은 누구나 알 것이다. 주식 시작에서도 NFT, 메타버스를 스치기만 해도 투더문 중이다. 사실 아직 나 같아도 NFT에 돈을 쓰기에는 망설여진다. 게임 속, 혹은 디지털 세상에서만 쓰이고 있기 때문이다. 그렇다면 실생활에서는 NFT가 어떻게 쓰이고 있을까? 조금 더 가까워지고자 실생활 속에서 NFT가 쓰일 수 있는 것을 알아보고자 한다. 주민등록증, 운전면허증, 여권과 같은 것들은 우리가 누군인지를 증명하는 인증서이다. 그러나 매일 들고 다니기에는 너무 불편하다. 그래서 최근 운전면허증을 모바일 어플리케이션에서 확인할 수 있게 되었다. (아래 사진은 Pass 앱 사진) 어디서든 확인이 가능하지만, 인정을 해주는 곳이 많아야한다... 2021. 10. 30.
[메타버스] NFT의 문제점을 해결하는 방법 NFT의 장점과 단점들을 살펴보았다. 이전 포스트에서 NFT의 주의할 점에 대해 정리했었다. (하기 포스트 참조) NFT의 주의점 4가지 [메타버스] NFT의 주의점 4가지 최근 NFT의 시장이 기하급수적으로 커지고 있다. '빨리 올라타야겠구나!'라는 생각으로 이전 포스트를 통해 직접 NFT를 만들어보기도 했다. * NFT만드는 방법은 아래 포스트 참고 [메타버스] NFT를 wookidocs.tistory.com 그렇다면 발생한 문제는 어떻게 해결할 수 있을까? 지속적인 사회적인 합의가 필요하고 연구가 필요하다. 대략적인 방법에 대해 살펴보아야 한다. NFT의 문제점을 해결하는 4가지 방법 1. NFT거래소의 책임 2. 상징성 있는 기관의 인정 3. 진위여부에 대한 확인 4. 개인 아티스트에 대한 책임 .. 2021. 10. 30.
[메타버스] NFT의 주의점 4가지 최근 NFT의 시장이 기하급수적으로 커지고 있다. '빨리 올라타야겠구나!'라는 생각으로 이전 포스트를 통해 직접 NFT를 만들어보기도 했다. * NFT만드는 방법은 아래 포스트 참고 [메타버스] NFT를 만드는 방법과 직접 판매하는 방법 이번 포스트에서는 NFT를 직접 만들고 판매하는 방법에 대해서 알려드리고자 한다. 가장 대표적인 곳인 오픈씨(OpenSea)에서 만드는 방법으로 설명한다. 오픈씨 홈페이지 오픈씨에서 구매하고 판 wookidocs.tistory.com 지금까지 NFT에 대해 좋은 점만 이야기했고 좋은 점이 있는 만큼, 주의할 점도 있다. NFT의 주의점 4가지에 대해 알아보자. NFT의 주의점 1. 표절과 위작 2. 해킹 3. 박제 4. 자전거래 첫번째, 표절과 위작에 대한 논란이다. 트.. 2021. 10. 30.
반응형

티스토리툴바