본문 바로가기
반응형

분류 전체보기164

[DL4J] Deeplearning4j 사용하기 (tensorflow, keras to java) Eclipse Deeplearning4j는 자바와 자바 가상머신 용으로 작성된 딥러닝 라이브러리이며 딥러닝 알고리즘을 광범위하게 지원하는 컴퓨팅 프레임워크이다. Keras와 Tensorflow를 이용해서 학습하고 생성된 모델을 이용하여 동위원소 클러스터를 예측하는 java 소프트웨어를 개발하기 위해서 DL4J를 사용하게 되었다. 간단하게 예측하는 프로그램을 개발하기 위한 DL4J 라이브러리의 사용법은 매우 간단하다. 먼저, 자바 Maven을 설치해야한다. 링크 : https://maven.apache.org/download.cgi Maven – Download Apache Maven Downloading Apache Maven 3.8.1 Apache Maven 3.8.1 is the latest rele.. 2021. 7. 30.
[프로그래머스] 베스트앨범(level 3) Python 문제 풀이 문제 링크: https://programmers.co.kr/learn/courses/30/lessons/42579 코딩테스트 연습 - 베스트앨범 스트리밍 사이트에서 장르 별로 가장 많이 재생된 노래를 두 개씩 모아 베스트 앨범을 출시하려 합니다. 노래는 고유 번호로 구분하며, 노래를 수록하는 기준은 다음과 같습니다. 속한 노래가 programmers.co.kr 문제 문제 풀이 코드 from collections import defaultdict def solution(genres, plays): # 0으로 초기화 play_cnt_by_genre = defaultdict(int) # empty list로 초기화 songs_in_genre = defaultdict(list) for song_id, genre.. 2021. 7. 30.
[Flask Web] 크롬 SameSite 에러 발생 해결법(에러: Indicate whether to send a cookie in a cross-site request by specifying its SameSite attribute) Flask로 웹 서버를 구현하고 페이지를 생성한 후 다른 도메인의 사이트에서 iframe에 해당 페이지를 띄우는 작업을 하는도중 IE에서는 발생하지 않는, Chrome에서만 발생하는 이슈가 있었다. 해당 이슈가 발생하고 다음 페이지로 넘어가지지 않았다. (https://tistory.com/ 페이지 iframe에 https://wookidocs.com 페이지를 열고, 페이지에서 다른 페이지로 접근하게 됐을 때 쿠키가 전달되지 않는 이슈이다) 구글링을 해보니, 크롬 보안 정책이 업그레이드 되면서 기존에 쿠키에 SameSite가 None으로 세팅되던 것이 default로 "Lax" 로 설정되기 때문에 해당 이슈가 발생한다고 한다. Flask에서 해당 페이지에 쿠키를 세팅해줄 때, SameSite, Secur.. 2021. 7. 29.
[NLP with PyTorch] Natural Language Processing with PyTorch - Chapter 1. Introduction (내용 수정 및 추가가 지속적으로 이루어집니다.) Introduction Echo, Siri, Google 번역기의 최소 1개 이상의 공통점 존재 NLP 응용 NLP는 텍스트를 이해하기 위해 언어학의 통찰력 유무에 관계없이 통계적 방법을 적용하는 것과 관련된 일련의 기술 텍스트에 대한 "이해"를 하기 위해서는 텍스트를 벡터 또는 텐서, 그래프 및 트리와 같은 이산 또는 연속 조합 구조로 계산 가능한 형태로 표현해야함 데이터로부터 각 작업을 진행하기에 적합한 형태를 학습하는 것이 머신 러닝의 주제임 다들 알다시피, 역사는 오래됐지만, 딥러닝의 발전으로 NLP, 음성, 컴퓨터 비전에 엄청난 발전으로 이끌게됨 이 책은 딥러닝과 NLP를 동시에 배울 수 있음~! (어느 정도의 딥러닝 지식이 있어야하는 듯 합니다.. 2021. 7. 22.
[NLP Book] NLP with PyTorch 정리 Natural Language Processing with PyTorch 도서 내용 정리를 시작한다. 영문판 e-book은 무료로 다운로드 가능하다. 영문판 e-book 링크 출처: https://pdfroom.com/books/natural-language-processing-with-pytorch-build-intelligent-language-applications-using-deep-learning/kZdow1XndM8/download (한글판도 나왔네요) 한글판 구매 링크 : http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791162244333 파이토치로 배우는 자연어 처리 - 교보문고 딥러닝을.. 2021. 7. 22.
[CentOS] CentOS 8에서 cuda 10.0 설치하기 (Install cuda 10.0 version in centos 8) 기존 centos7을 사용하고 cuda 10.0, cuda 10.1 버전을 사용하고 있었는데 OS 업그레이드로 centos8 버전을 사용하게 되었다. CUDA version 확인 (nvcc --version) 현재 10.1 버전으로 설치가 되어있다. 기존 서버에서 잘 돌아가던 프로그램을 신규 서버에서 동작시키니 다음과 같은 에러가 발생했다. 에러 내용 2020-08-13 09:15:44.735283: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Could not dlopen library 'libcudart.so.10.0'; dlerror: libcudart.so.10.0: cannot open shared object file: No.. 2021. 7. 19.
[결혼식 축무] 싸이 - 나팔바지(feat. 20000준 결혼식) 2020년 4월 25일 한준 결혼식 축무 ㅋㅋ 2021. 7. 17.
[NLP] Korean Hate Speech Detection 한국어 비매너 뉴스 댓글 탐지 비매너 댓글 탐지 리서치를 진행하며 관련 논문을 읽고 제공된 데이터에 대해 토이 프로젝트를 진행했다. 논문 저자는 캐글에 한국 연예 뉴스 댓글을 학습데이터로 제공하고 비매너/매너 댓글 분류하는 대회를 진행중이다. BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection 논문 링크 : https://arxiv.org/abs/2005.12503 BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection Toxic comments in online platforms are an unavoidable social issue under the cloak of anonymity... 2021. 7. 17.
[MLOps] PyTorch GPU Out-Of-Memory 문제 해결 PyTorch를 이용하여 ML Pipeline을 개발하던 중 특정 시간에 학습을 시킬 때 메모리가 꽉 차서 모델 학습할 때 실패하는 경우가 있었다. ML Pipeline을 구성할 때 메모리도 넉넉하게 사용할 수 있도록 구성하지만 의도치 않게 OOM문제가 발생하는 경우가 있었다. APScheduler를 이용해서 구성했는데 학습을 하면서 out-of-memory 이슈가 발생해서 문제를 해결하기 위해 찾아보았고, 같은 이유로 해결방법을 찾는 사람들에게 도움이 되고자 한다. 파이토치 뿐만 아니라 텐서플로우를 사용하더라도 마찬가지이므로 도움이 될 것 이다. GPU Out-Of-Memory 발생 RuntimeError: CUDA out of memory. Tried to allocate 126.00 MiB (GPU.. 2021. 7. 17.
반응형

티스토리툴바