본문 바로가기
반응형

NLP5

[NLP] 자연어처리 필독 논문 100선 자연어처리 분야에서 업무를 하는데에 도움을 줄 필독 논문 100선이다. 조금 오래된 논문들이 있기는 하지만 처음 보는 논문들이 많다. https://github.com/mhagiwara/100-nlp-papers GitHub - mhagiwara/100-nlp-papers: 100 Must-Read NLP Papers 100 Must-Read NLP Papers. Contribute to mhagiwara/100-nlp-papers development by creating an account on GitHub. github.com 2022. 5. 10.
[NLP] 채팅 어뷰징 탐지 시스템 2. (엔지니어링) feat. 컴투스플랫폼 비매너 채팅 탐지 시스템을 소개하는 컴투스 플랫폼의 기술 블로그 포스트를 퍼왔습니다. https://tech.com2us.com/blog/7405 채팅 어뷰징 탐지 시스템 구축기 2부 – 컴투스플랫폼 기술블로그 tech.com2us.com (주의) 이 글에는 주제의 특성상 비속어 및 욕설이 포함되어 있습니다. 엔지니어링 데이터 사이언스 파트에 이어서 채팅 어뷰징 탐지 시스템의 전반적인 서비스 흐름과 신규 시스템 도입을 위한 부하 분산 처리 등을 설명드리겠습니다. 데이터 흐름과 흐름도 좋은 서버는 어떤 것일까요. 최신 기술이 들어가고 최대한 많은 데이터를 소화할 수 있는 서버가 좋은 것일까요? 개인적으로 가장 좋은 서버는 프로젝트에 알맞은 사이즈에 필요한 데이터를 처리할 수 있으며, 확장성이 보장된 서버라.. 2021. 12. 2.
[NLP] 채팅 어뷰징 탐지 시스템 1. (데이터 사이언스) feat. 컴투스플랫폼 비매너 채팅 탐지 시스템을 소개하는 컴투스 플랫폼의 기술 블로그 포스트를 퍼왔습니다. https://on.com2us.com/tech/채팅-어뷰징-탐지-시스템-구축기-1부 컴투스온 ‘컴투스온’은 블록 체인 및 메타버스 산업의 리딩 컴퍼니로 나아가는 컴투스 그룹의 공식 브랜드 커뮤니케이션 허브입니다. on.com2us.com (주의) 이 글에는 주제의 특성상 비속어 및 욕설이 포함되어 있습니다. 게임을 하며 욕설을 마주한 적이나 직접 내뱉은 적이 있습니까? 우리는 게임을 하며 많은 욕설을 마주하게 됩니다. 얼굴이 공개되지 않는 공간에서 게임을 이용하는 유저들 간에 서로를 향한 욕설은 서로에게 큰 상처가 될 수 있습니다. 그래서 많은 게임사들은 채팅을 필터링하여 욕설을 ***(별)로 마스킹 처리를 하거나, .. 2021. 12. 2.
[NLP] NLTK 형태소 분석기 POS(Part of Speech) tag 리스트 이번에 영문 텍스트 데이터를 다루면서 특정 형태소만을 추출해야하는 경우가 있었다. 명사는 NN으로 시작한다던지.. 복수면 NNS일거라 예상을 하고 nltk에서 제공하는 태그 리스트를 확인해보았다. 구글링을 해보면 많은 분들이 엑셀이라던지 표 형식으로 많이 정리해두었는데 정확한 태그셋 확인 방법이 있다. 태그 확인 방법 (당연 nltk 는 설치가 되어 있겠죠?) >>> import nltk >>> nltk.download('tagsets') 'punkt', 'averaged_perceptron_tagger'와 같이 'tagsets' 라이브러리를 다운받아야한다. 다운 후에 >>> import nltk >>> nltk.help.upenn_tagset() 명령어로 태그 목록을 확인할 수 있다. 총 45개의 태그.. 2021. 9. 7.
[NLP] 자연어처리 HuggingFace 뽀개기 우연히 온라인 커뮤니티에서 허깅페이스 뽀개자 이야기가 나와서 시작하게된 스터디. 스터디원들께 양해를 구하고 하나하나씩 스터디한 것을 공유한다. 일주일에 하루하지만 내 개인 토이 프로젝트까지 갈 것 개인적으로 생각하는 프로젝트는 생성모델 ㅎㅎㅎ 예전부터 해보고싶은 프로젝트인데 업무에 집중하느라 못 했지만 이번에 해볼것이다 추석 끝나고 바로 시작~!!! p.s. 스터디 내용 및 프로젝트 내용은 비공개로 전환하였습니다. HuggingFace 스터디에 관심있으신 분들은 댓글에 메일 남겨주시면 자료 공유드릴게요~ 2021. 6. 16.
반응형