얼마전 제 블로그에 keras를 활용해서 자연어처리(NLP) 개인 프로젝트 진행한 것을 올렸습니다.
https://lsjsj92.tistory.com/476
파이썬 딥러닝 기반 욕설 탐지 시스템 개발(개인 프로젝트)해보기!
이번 포스팅은 파이썬 케라스와 장고(python keras, python django)를 활용한 딥러닝 기반 욕설 탐지 시스템을 개인적으로 만들어본 후기입니다. 데이터 특성 상 욕설이 포함되어 있을 수 있습니다! 만약 읽게 되..
lsjsj92.tistory.com
해당 글입니다.
아직까지 초안 단계일 뿐이고 부족함이 많은 개발 단계입니다.
더 많은 데이터를 쌓아야하며, 여러가지 연구해야할 것들이 많습니다
지금은 비록 딥러닝으로 욕설을 탐지하지만 나아가 더 많은 것들을 탐지할 수 있는 모델을 만들 것입니다
그래서 이 프로젝트를 하면서 궁금한 것이 있어서 텐서플로우 코리아와 케라스 코리아에 질문을 올렸었습니다
tensorflow korea에 올렸던 자료입니다
keras korea에 올렸던 글입니다
정말 감사하게도 조언이 달렸습니다 ㅠㅠ
재밌게 봐주셨다는 말도 들어서 너무 감사했습니다
이 분들이 알려주신 지식을 가지고 더 크게 성장시키겠습니다
정리 내용은 아래와 같습니다.
1. 커뮤니티 id 부여하고 진행한 모델에다가 텍스트 외에 그 id를 부가적인 정보(condition)을 추가
2. 형태소 분석기를 사용하는 것이 아닌 다른 모델 사용(bert, sentencepiece) 등
3. 혐오 표현 등 애매한 표현 정리
4. sentence style 관련
5. soynlp 등 다양한 형태소 분석기 사용
앞으로의 방향은 위와 같이 잡고 천천히 그러나 방향은 잃지 않고 진행하려고 합니다
기회가 되면 꾸준히 블로그에 올리겠습니다
'deep learning(딥러닝)' 카테고리의 다른 글
| 윈도우 10(windows 10)에서 PyTorch 설치하고 gpu를 사용하자!(PyTorch install) (2) | 2019.07.18 |
|---|---|
| 딥러닝 자연어처리 이해하기! - 기계번역편(NMT), seq2seq란? (2) | 2019.07.18 |
| 파이썬 딥러닝 기반 욕설 탐지 시스템 개발(개인 프로젝트)해보기! (22) | 2019.05.15 |
| keras 딥러닝 gpu 사용이 되고 있나? 확인해보자 keras gpu 확인 (0) | 2019.04.24 |
| 어텐션 메커니즘(Attention Mechanism)이란? 어텐션에 대해서 (4) | 2019.03.15 |
