워드 클라우드 프로젝트

Python

john.k 2020. 7. 21. 22:57

간단한 토이 프로젝트를 하나 진행해봤습니다.

br-kim/Everytime

https://everytime.kr/. Contribute to br-kim/Everytime development by creating an account on GitHub.

github.com

제가 만들어본 에브리타임 크롤링 클래스를 이용해서

대학생들이 많이 이용하는 커뮤니티인 에브리타임의 자유게시판 글을 크롤링 해온 뒤,

lovit/KR-WordRank

비지도학습 방법으로 한국어 텍스트에서 단어/키워드를 자동으로 추출하는 라이브러리입니다. Contribute to lovit/KR-WordRank development by creating an account on GitHub.

github.com

문장 토크나이징 없이 사용할 수 있는 lovit님의 KR-WordRank를 이용하여 주요 키워드의 빈도를 구할 수 있습니다.

wordcloud

A little word cloud generator

pypi.org

Word Cloud 패키지를 이용하면 위에서 얻은 데이터로 간단하게 워드 클라우드를 만들 수 있습니다.

br-kim/wordcloud_everytime

에브리타임 글로 wordcloud를 만들어서 학교 커뮤니티의 관심사를 시각화해보는 프로젝트 입니다. - br-kim/wordcloud_everytime

github.com

그렇게 해서 완성된 프로젝트 입니다.

자유게시판의 글 200개 가량으로 만들어 본 결과입니다.

위와 같은 결과를 얻을 수 있었습니다.

몇 번 테스트를 해본 결과, 자유게시판이라서 나누는 이야기가 다양해서 그런지

오히려 많은 글을 읽어오면 의미 있는 키워드를 얻기가 더 힘들어 졌던 것 같습니다.

프로젝트를 해보면서 느낀점은 제가 기존에 만들었던 크롤링 관련 클래스가

막상 따로 사용해볼려니까 문제점들이 많이 보였습니다.

그래서 이번 프로젝트에서만 일부 수정을 했는데, 나중에 클래스 자체를 다시 손봐야 될 것 같습니다.