SCRAPING

#Scraping 학습을 위해서는 학습에 필요한 양질의 데이터를 많이 모아야 합니다. 우리는 어떤 글을 좋은 글과 그렇지 않은 글로 분류하려고 하기 때문에 학습 데이터도 좋은 글과 그렇지 않은 글에 대한 구분이 있어야 합니다. 여기서 좋은 글이란 사람의 공감을 얻을 수 있고, 좋은 감정을 유발시키는 글입니다. 좋은 시나 짧은 수필등이 우리가 생각하는 이상적인 글입니다. 그래서 이러한 글들을 모으는 작업을 해야합니다.

스크랩은 크게 두 부분으로 나뉩니다. 하나는 페이스북 API를 이용하여 페이스북 대나무숲 페이지를 스크랩 하는 것과 여러 일반 웹 문서를 스크랩 하는 것입니다. 일반 웹 문서를 스크랩 할 때는 웹 스크랩 라이브러리인 BeautifulSoup를 활용하여 데이터 추출을 효율적으로 할 수 있습니다.