안녕하세요.
과제를 진행하던 중 안양시게시판을 스크래핑(scraping) 후 워드클라우드(wordcloud)로 표현해볼 일이 있었습니다.
이와 관련해서 진행했던 것들에 대해 소개하고자 합니다.
윈도우 10 환경이며 사용언어는 python을 사용하였습니다.
스크래핑시에 주의할점은 웹 서버에 무리가 가지 않아야하고, 공개해도 상관 없는 데이터인지 확인하는 것 등등 이 있습니다.
웹 페이지 마다 코드 구조들이 달라서, 크롤링이나 스크래핑 하기 전에 웹페이지의 구조가 바뀌었는지 확인해야하는 번거로움이 따르지만
스크래핑으로 필요한 데이터를 수집하고, 워드클라우드로 키워드를 한번에 볼 수 있었습니다.