딥러닝(keras lib) 기반 욕설 탐지 서비스 추후 개발 방향 정리

얼마전 제 블로그에 keras를 활용해서 자연어처리(NLP) 개인 프로젝트 진행한 것을 올렸습니다.

https://lsjsj92.tistory.com/476

파이썬 딥러닝 기반 욕설 탐지 시스템 개발(개인 프로젝트)해보기!

해당 글입니다.

아직까지 초안 단계일 뿐이고 부족함이 많은 개발 단계입니다.

더 많은 데이터를 쌓아야하며, 여러가지 연구해야할 것들이 많습니다

지금은 비록 딥러닝으로 욕설을 탐지하지만 나아가 더 많은 것들을 탐지할 수 있는 모델을 만들 것입니다

그래서 이 프로젝트를 하면서 궁금한 것이 있어서 텐서플로우 코리아와 케라스 코리아에 질문을 올렸었습니다

 

tensorflow korea에 올렸던 자료입니다

 

keras korea에 올렸던 글입니다

정말 감사하게도 조언이 달렸습니다 ㅠㅠ

재밌게 봐주셨다는 말도 들어서 너무 감사했습니다

이 분들이 알려주신 지식을 가지고 더 크게 성장시키겠습니다

정리 내용은 아래와 같습니다.

1. 커뮤니티 id 부여하고 진행한 모델에다가 텍스트 외에 그 id를 부가적인 정보(condition)을 추가

2. 형태소 분석기를 사용하는 것이 아닌 다른 모델 사용(bert, sentencepiece) 등

3. 혐오 표현 등 애매한 표현 정리

4. sentence style 관련 

5. soynlp 등 다양한 형태소 분석기 사용

 

앞으로의 방향은 위와 같이 잡고 천천히 그러나 방향은 잃지 않고 진행하려고 합니다

기회가 되면 꾸준히 블로그에 올리겠습니다