chap2-4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2-4 cron을 이용한 정기적인 크롤링\n",
    "\n",
    "### 이번 절에서 배울 내용\n",
    "* 정기적으로 크롤링 하는 방법\n",
    "* cron 사용법\n",
    "\n",
    "### 정기적인 크롤링\n",
    "* 웹에 공개된 데이터 중 주기적으로 변경되는 데이터가 많은데 주식, 환율, 날씨 예보 등이 있음\n",
    "* 주기적으로 변경되는 데이터를 사용할때는 정기적으로 데이터를 크롤링 해야함. \n",
    "* macOS/리눅스는 \"cron\"이라는 데몬 프로세스를 사용, 윈도즈는 작업 스케줄러(Task Scheduler)라는 기능을 이용할 수 있음\n",
    "\n",
    "#### 정기 실행의 장점\n",
    "* 데이터 수집과 같은 애플리케이션에서 필요한 정기적인 처리\n",
    "* 로그, 백업과 같은 시스템에서 필요한 정기적인 처리\n",
    "* 시스템이 제대로 동작하고 있는지 정기적으로 감시하는 처리\n",
    "\n",
    "#### 매일 환율 정보 저장하기\n",
    "* 네이버 금융의 환율 정보를 추출하여 날짜를 활용하여 주기적으로 저장하는 예제임"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "usd/krw 1,127.10\n"
     ]
    }
   ],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "import urllib.request as req\n",
    "import datetime\n",
    "import os\n",
    "# working directory 설정\n",
    "os.chdir(\"c:\\\\r_temp\\\\\")\n",
    "# HTML 가져오기\n",
    "url = \"http://info.finance.naver.com/marketindex/\"\n",
    "res = req.urlopen(url)\n",
    "# HTML 분석하기\n",
    "soup = BeautifulSoup(res, \"html.parser\")\n",
    "# 원하는 데이터 추출하기 --- (※1)\n",
    "price = soup.select_one(\"div.head_info > span.value\").string\n",
    "print(\"usd/krw\", price)\n",
    "# 저장할 파일 이름 구하기\n",
    "t = datetime.date.today()\n",
    "fname = t.strftime(\"%Y-%m-%d\") + \".txt\"\n",
    "with open(fname, \"w\", encoding=\"utf-8\") as f:\n",
    "    f.write(price)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* 위의 파일을 cron을 설정하여 매일 주기적으로 실행시키면 된다.\n",
    "* 윈도우즈의 Task Scheduler를 사용해보자!!!\n",
    "    * taskschd.msc 를 실행\n",
    "    * 다음의 URL 참조: <https://wikidocs.net/5857>\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}