반응형 NLP7 [NLP] 자연어처리 필독 논문 100선 자연어처리 분야에서 업무를 하는데에 도움을 줄 필독 논문 100선이다. 조금 오래된 논문들이 있기는 하지만 처음 보는 논문들이 많다. https://github.com/mhagiwara/100-nlp-papers GitHub - mhagiwara/100-nlp-papers: 100 Must-Read NLP Papers 100 Must-Read NLP Papers. Contribute to mhagiwara/100-nlp-papers development by creating an account on GitHub. github.com 2022. 5. 10. [HuggingFace] 허깅페이스 모델 로컬에 다운 받기 허깅 페이스 서버가 가끔 불안정할 때가 있다. 모델을 로딩할 때 허깅 페이스 서버에 접속이 되지 않는 다면 치명적인 에러가 발생할 수 있기 때문에 로컬에 모델을 다운로드하여두고 사용하는 것을 권장한다. 허깅 페이스에서 모델을 로컬에 다운로드하는 두 가지 방법이 있다. 1. 허깅페이스 홈페이지에서 다운로드하기 먼저, HuggingFace 홈페이지에서 각 모델에 대해 Command-line interface, CLI를 이용하여 다운로드를 할 수 있다. 원하는 모델을 찾아서 들어가면 하기 이미지에 노란색 버튼 Use in sentence-transformers을 눌러주면 model repo를 clone 할 수 있는 명령어를 복사하여 CLI에서 입력을 해주면 모델이 다운로드된다. 2. 소스코드를 사용하여 다운로.. 2022. 4. 19. [NLP] NLTK 형태소 분석기 POS(Part of Speech) tag 리스트 이번에 영문 텍스트 데이터를 다루면서 특정 형태소만을 추출해야하는 경우가 있었다. 명사는 NN으로 시작한다던지.. 복수면 NNS일거라 예상을 하고 nltk에서 제공하는 태그 리스트를 확인해보았다. 구글링을 해보면 많은 분들이 엑셀이라던지 표 형식으로 많이 정리해두었는데 정확한 태그셋 확인 방법이 있다. 태그 확인 방법 (당연 nltk 는 설치가 되어 있겠죠?) >>> import nltk >>> nltk.download('tagsets') 'punkt', 'averaged_perceptron_tagger'와 같이 'tagsets' 라이브러리를 다운받아야한다. 다운 후에 >>> import nltk >>> nltk.help.upenn_tagset() 명령어로 태그 목록을 확인할 수 있다. 총 45개의 태그.. 2021. 9. 7. [NLP with PyTorch] Natural Language Processing with PyTorch - Chapter 1. Introduction (내용 수정 및 추가가 지속적으로 이루어집니다.) Introduction Echo, Siri, Google 번역기의 최소 1개 이상의 공통점 존재 NLP 응용 NLP는 텍스트를 이해하기 위해 언어학의 통찰력 유무에 관계없이 통계적 방법을 적용하는 것과 관련된 일련의 기술 텍스트에 대한 "이해"를 하기 위해서는 텍스트를 벡터 또는 텐서, 그래프 및 트리와 같은 이산 또는 연속 조합 구조로 계산 가능한 형태로 표현해야함 데이터로부터 각 작업을 진행하기에 적합한 형태를 학습하는 것이 머신 러닝의 주제임 다들 알다시피, 역사는 오래됐지만, 딥러닝의 발전으로 NLP, 음성, 컴퓨터 비전에 엄청난 발전으로 이끌게됨 이 책은 딥러닝과 NLP를 동시에 배울 수 있음~! (어느 정도의 딥러닝 지식이 있어야하는 듯 합니다.. 2021. 7. 22. [NLP Book] NLP with PyTorch 정리 Natural Language Processing with PyTorch 도서 내용 정리를 시작한다. 영문판 e-book은 무료로 다운로드 가능하다. 영문판 e-book 링크 출처: https://pdfroom.com/books/natural-language-processing-with-pytorch-build-intelligent-language-applications-using-deep-learning/kZdow1XndM8/download (한글판도 나왔네요) 한글판 구매 링크 : http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791162244333 파이토치로 배우는 자연어 처리 - 교보문고 딥러닝을.. 2021. 7. 22. [NLP] Korean Hate Speech Detection 한국어 비매너 뉴스 댓글 탐지 비매너 댓글 탐지 리서치를 진행하며 관련 논문을 읽고 제공된 데이터에 대해 토이 프로젝트를 진행했다. 논문 저자는 캐글에 한국 연예 뉴스 댓글을 학습데이터로 제공하고 비매너/매너 댓글 분류하는 대회를 진행중이다. BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection 논문 링크 : https://arxiv.org/abs/2005.12503 BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection Toxic comments in online platforms are an unavoidable social issue under the cloak of anonymity... 2021. 7. 17. [NLP] 자연어처리 HuggingFace 뽀개기 우연히 온라인 커뮤니티에서 허깅페이스 뽀개자 이야기가 나와서 시작하게된 스터디. 스터디원들께 양해를 구하고 하나하나씩 스터디한 것을 공유한다. 일주일에 하루하지만 내 개인 토이 프로젝트까지 갈 것 개인적으로 생각하는 프로젝트는 생성모델 ㅎㅎㅎ 예전부터 해보고싶은 프로젝트인데 업무에 집중하느라 못 했지만 이번에 해볼것이다 추석 끝나고 바로 시작~!!! p.s. 스터디 내용 및 프로젝트 내용은 비공개로 전환하였습니다. HuggingFace 스터디에 관심있으신 분들은 댓글에 메일 남겨주시면 자료 공유드릴게요~ 2021. 6. 16. 이전 1 다음 반응형
