Projeto02-Nubank-Listas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Projeto 2 - Classificador Automático de Sentimento\n",
    "\n",
    "Você foi contratado por uma empresa parar analisar como os clientes estão reagindo a um determinado produto no Twitter. A empresa deseja que você crie um programa que irá analisar as mensagens disponíveis e classificará como \"relevante\" ou \"irrelevante\". Com isso ela deseja que mensagens negativas, que denigrem o nome do produto, ou que mereçam destaque, disparem um foco de atenção da área de marketing.<br /><br />\n",
    "Como aluno de Ciência dos Dados, você lembrou do Teorema de Bayes, mais especificamente do Classificador Naive-Bayes, que é largamente utilizado em filtros anti-spam de e-mails. O classificador permite calcular qual a probabilidade de uma mensagem ser relevante dadas as palavras em seu conteúdo.<br /><br />\n",
    "Para realizar o MVP (*minimum viable product*) do projeto, você precisa implementar uma versão do classificador que \"aprende\" o que é relevante com uma base de treinamento e compara a performance dos resultados com uma base de testes.<br /><br />\n",
    "Após validado, o seu protótipo poderá também capturar e classificar automaticamente as mensagens da plataforma.\n",
    "\n",
    "## Informações do Projeto\n",
    "\n",
    "Prazo: 13/Set até às 23:59.<br />\n",
    "Grupo: 1 ou 2 pessoas.<br /><br />\n",
    "Entregáveis via GitHub: \n",
    "* Arquivo notebook com o código do classificador, seguindo as orientações abaixo.\n",
    "* Arquivo Excel com as bases de treinamento e teste totalmente classificado.\n",
    "\n",
    "**NÃO disponibilizar o arquivo com os *access keys/tokens* do Twitter.**\n",
    "\n",
    "\n",
    "### Check 3: \n",
    "\n",
    "Até o dia 06 de Setembro às 23:59, o notebook e o xlsx devem estar no Github com as seguintes evidências: \n",
    "    * Conta no twitter criada.\n",
    "    * Produto escolhido.\n",
    "    * Arquivo Excel contendo a base de treinamento e teste já classificado.\n",
    "\n",
    "Sugestão de leitura:<br />\n",
    "http://docs.tweepy.org/en/v3.5.0/index.html<br />\n",
    "https://monkeylearn.com/blog/practical-explanation-naive-bayes-classifier/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "\n",
    "## Preparando o ambiente\n",
    "\n",
    "Instalando a biblioteca *tweepy* para realizar a conexão com o Twitter:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "%%capture\n",
    "\n",
    "#Instalando o tweepy\n",
    "!pip install tweepy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Importando as Bibliotecas que serão utilizadas. Esteja livre para adicionar outras."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import tweepy\n",
    "import math\n",
    "import os.path\n",
    "import pandas as pd\n",
    "import json\n",
    "from random import shuffle\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "## Autenticando no  Twitter\n",
    "\n",
    "Para realizar a captura dos dados é necessário ter uma conta cadastrada no twitter:\n",
    "\n",
    "* Conta: ***@Cd2aProjeto***\n",
    "\n",
    "\n",
    "1. Caso ainda não tenha uma: https://twitter.com/signup\n",
    "1. Depois é necessário registrar um app para usar a biblioteca: https://apps.twitter.com/\n",
    "1. Dentro do registro do App, na aba Keys and Access Tokens, anotar os seguintes campos:\n",
    "    1. Consumer Key (API Key)\n",
    "    1. Consumer Secret (API Secret)\n",
    "1. Mais abaixo, gere um Token e anote também:\n",
    "    1. Access Token\n",
    "    1. Access Token Secret\n",
    "    \n",
    "1. Preencha os valores no arquivo \"auth.pass\"\n",
    "\n",
    "**ATENÇÃO**: Nunca divulgue os dados desse arquivo online (GitHub, etc). Ele contém as chaves necessárias para realizar as operações no twitter de forma automática e portanto é equivalente a ser \"hackeado\". De posse desses dados, pessoas mal intencionadas podem fazer todas as operações manuais (tweetar, seguir, bloquear/desbloquear, listar os seguidores, etc). Para efeito do projeto, esse arquivo não precisa ser entregue!!!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#Dados de autenticação do twitter:\n",
    "\n",
    "#Coloque aqui o identificador da conta no twitter: @Cd2aProjeto\n",
    "\n",
    "#leitura do arquivo no formato JSON\n",
    "with open('auth.pass') as fp:    \n",
    "    data = json.load(fp)\n",
    "\n",
    "#Configurando a biblioteca. Não modificar\n",
    "auth = tweepy.OAuthHandler(data['consumer_key'], data['consumer_secret'])\n",
    "auth.set_access_token(data['access_token'], data['access_token_secret'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "## Coletando Dados\n",
    "\n",
    "Agora vamos coletar os dados. Tenha em mente que dependendo do produto escolhido, não haverá uma quantidade significativa de mensagens, ou ainda poder haver muitos retweets.<br /><br /> \n",
    "Configurando:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#Produto escolhido:\n",
    "produto = 'nubank'\n",
    "\n",
    "#Quantidade mínima de mensagens capturadas:\n",
    "n = 500\n",
    "#Quantidade mínima de mensagens para a base de treinamento:\n",
    "t = 300\n",
    "\n",
    "#Filtro de língua, escolha uma na tabela ISO 639-1.\n",
    "lang = 'pt'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Capturando os dados do twitter:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#Cria um objeto para a captura\n",
    "api = tweepy.API(auth)\n",
    "\n",
    "#Inicia a captura, para mais detalhes: ver a documentação do tweepy\n",
    "i = 1\n",
    "msgs = []\n",
    "for msg in tweepy.Cursor(api.search, q=produto, lang=lang).items():    \n",
    "    msgs.append(msg.text.lower())\n",
    "    i += 1\n",
    "    if i > n:\n",
    "        break\n",
    "\n",
    "#Embaralhando as mensagens para reduzir um possível viés\n",
    "shuffle(msgs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Salvando os dados em uma planilha Excel:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#Verifica se o arquivo não existe para não substituir um conjunto pronto\n",
    "if not os.path.isfile('./{0}.xlsx'.format(produto)):\n",
    "    \n",
    "    #Abre o arquivo para escrita\n",
    "    writer = pd.ExcelWriter('{0}.xlsx'.format(produto))\n",
    "\n",
    "    #divide o conjunto de mensagens em duas planilhas\n",
    "    dft = pd.DataFrame({'Treinamento' : pd.Series(msgs[:t])})\n",
    "    dft.to_excel(excel_writer = writer, sheet_name = 'Treinamento', index = False)\n",
    "\n",
    "    dfc = pd.DataFrame({'Teste' : pd.Series(msgs[t:])})\n",
    "    dfc.to_excel(excel_writer = writer, sheet_name = 'Teste', index = False)\n",
    "\n",
    "    #fecha o arquivo\n",
    "    writer.save()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "## Classificando as Mensagens\n",
    "\n",
    "Agora você deve abrir o arquivo Excel com as mensagens capturadas e classificar na Coluna B se a mensagem é relevante ou não.<br /> \n",
    "Não se esqueça de colocar um nome para a coluna na célula **B1**.<br /><br />\n",
    "Fazer o mesmo na planilha de Controle.\n",
    "\n",
    "___\n",
    "## Montando o Classificador Naive-Bayes\n",
    "\n",
    "Com a base de treinamento montada, comece a desenvolver o classificador. Escreva o seu código abaixo:\n",
    "\n",
    "Opcionalmente: \n",
    "* Limpar as mensagens removendo os caracteres: enter, :, \", ', (, ), etc. Não remover emojis.<br />\n",
    "* Corrigir separação de espaços entre palavras e/ou emojis.\n",
    "* Propor outras limpezas/transformações que não afetem a qualidade da informação.\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "nubank = pd.read_excel('nubank.xlsx')\n",
    "tab_t = nubank[\"Treinamento\"]\n",
    "tab_r = nubank.loc[nubank[\"Relevancia\"] == 'r']\n",
    "tab_i = nubank.loc[nubank[\"Relevancia\"] == 'ir']\n",
    "tab_r = tab_r[\"Treinamento\"]\n",
    "tab_i = tab_i[\"Treinamento\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "tweet_limpo_t = []\n",
    "tweet_limpo_r = []\n",
    "tweet_limpo_i = []\n",
    "c = [':','$',',','\"','@','#','!',')','(','.','..','...','\\n','_',';','%','/','-','[',']']\n",
    "\n",
    "def carac_rmv(com_carac, caracter):\n",
    "    sem_carac = com_carac\n",
    "    for i in caracter:\n",
    "        sem_carac = sem_carac.replace(i, '')\n",
    "    return sem_carac\n",
    "\n",
    "\n",
    "for tweet in tab_t:\n",
    "    for i in c:\n",
    "        tweet = carac_rmv(tweet, i)\n",
    "    tweet_limpo_t.append(tweet)\n",
    "    \n",
    "for tweet in tab_r:\n",
    "    for i in c:\n",
    "        tweet = carac_rmv(tweet, i)\n",
    "    tweet_limpo_r.append(tweet)\n",
    "\n",
    "for tweet in tab_i:\n",
    "    for i in c:\n",
    "        tweet = carac_rmv(tweet, i)\n",
    "    tweet_limpo_i.append(tweet) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Calcula para total palavras---\n",
    "\n",
    "contapalavras_total = []\n",
    "for i in range(len(tweet_limpo_t)):\n",
    "    tweet = tweet_limpo_t[i]\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:   \n",
    "        if palavra not in contapalavras_total:\n",
    "            contapalavras_total.append(palavra)\n",
    "        \n",
    "totalPalavras_t = len(contapalavras_total)\n",
    "\n",
    "#Calculo para total de palavras relevantes---\n",
    "\n",
    "contapalavras_r = []\n",
    "for i in range(len(tweet_limpo_r)):\n",
    "    tweet = tweet_limpo_r[i]\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:   \n",
    "        if palavra not in contapalavras_r:\n",
    "            contapalavras_r.append(palavra)\n",
    "        \n",
    "totalPalavras_R = len(contapalavras_r)\n",
    "\n",
    "#Calculo para total de palavras irrelevantes---\n",
    "\n",
    "contapalavras_i = []\n",
    "for i in range(len(tweet_limpo_i)):\n",
    "    tweet = tweet_limpo_i[i]\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:   \n",
    "        if palavra not in contapalavras_i:\n",
    "            contapalavras_i.append(palavra)\n",
    "        \n",
    "totalPalavras_I = len(contapalavras_i)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "#Probabilidade de ser Relevante ou Irrelevante\n",
    "\n",
    "Prob_tweet_R = len(tweet_limpo_r)/len(tweet_limpo_t)\n",
    "Prob_tweet_I = len(tweet_limpo_i)/len(tweet_limpo_t)\n",
    "\n",
    "\n",
    "#Contando quantas vezes cada palavra aparece\n",
    "\n",
    "cadapalavra_r = {}\n",
    "cadapalavra_i = {}\n",
    "\n",
    "for i in range(len(tweet_limpo_r)):\n",
    "    tweet = tweet_limpo_r[i]\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:\n",
    "        if palavra not in cadapalavra_r:\n",
    "            cadapalavra_r[palavra] = 1\n",
    "        else:\n",
    "            cadapalavra_r[palavra] += 1 \n",
    "    \n",
    "for i in range(len(tweet_limpo_r)):\n",
    "    tweet = tweet_limpo_r[i]\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:\n",
    "        if palavra not in cadapalavra_i:\n",
    "            cadapalavra_i[palavra] = 1\n",
    "        else:\n",
    "            cadapalavra_i[palavra] += 1 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def calculaProb(tweet):\n",
    "    carac_rmv(tweet,c)\n",
    "    dados_r = []\n",
    "    dados_i = []\n",
    "    dado_r = 1\n",
    "    dado_i = 1\n",
    "    tweet = tweet.split()\n",
    "    for palavra in tweet:\n",
    "        if palavra in cadapalavra_r.keys():\n",
    "            RELEV = (cadapalavra_r[palavra] + 1) / (totalPalavras_R + totalPalavras_t)\n",
    "            dados_r.append(RELEV)\n",
    "            \n",
    "        \n",
    "        if palavra in cadapalavra_i.keys():\n",
    "            IRREL = (cadapalavra_i[palavra]+1)/(totalPalavras_I+totalPalavras_t)\n",
    "            dados_i.append(IRREL)\n",
    "    \n",
    "    for i in range(len(dados_r)):\n",
    "        dado_r = dado_r*dados_r[i]\n",
    "        \n",
    "    for i in range(len(dados_i)):\n",
    "        dado_i = dado_r*dados_i[i]    \n",
    "                  \n",
    "    if (dado_r * Prob_tweet_R) > (dado_i * Prob_tweet_I):\n",
    "        return 'r'\n",
    "    \n",
    "    if (dado_r * Prob_tweet_R) < (dado_i * Prob_tweet_I):\n",
    "        return 'ir' \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "r\n"
     ]
    }
   ],
   "source": [
    "tweet_R = \"o odio q eu to do itaú....... eh agora q eu mudo pro nubank viu\"\n",
    "tweet_I = \"rt @nubankbrasil: diga olá para uma vida livre de dificuldades. peça seu cartão: https://t.co/n6igyi01pm https://t.co/a45pu21eov\"\n",
    "\n",
    "print(calculaProb(tweet_R))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "___\n",
    "## Verificando a performance\n",
    "\n",
    "Agora você deve testar o seu Classificador com a base de Testes.<br /><br /> \n",
    "\n",
    "Você deve extrair as seguintes medidas:\n",
    "* Porcentagem de positivos falsos (marcados como relevante mas não são relevantes)\n",
    "* Porcentagem de positivos verdadeiros (marcado como relevante e são relevantes)\n",
    "* Porcentagem de negativos verdadeiros (marcado como não relevante e não são relevantes)\n",
    "* Porcentagem de negativos falsos (marcado como não relevante e são relevantes)\n",
    "\n",
    "Opcionalmente:\n",
    "* Criar categorias intermediárias de relevância baseado na diferença de probabilidades. Exemplo: muito relevante, relevante, neutro, irrelevante e muito irrelevante."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "nubank = pd.read_excel('nubank.xlsx', sheetname = 'Teste', sep = ',')\n",
    "nubank['Maquina'] = ''\n",
    "\n",
    "nubank.Teste = nubank.Teste.replace('_','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace(',','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('@','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('#','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('  ','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace(':','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\"','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('rt','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\\\*','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\*','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\$','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\n','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('//','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace(';','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('/','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\(','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\)','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('\\'','',regex=True)\n",
    "nubank.Teste = nubank.Teste.replace('!','',regex=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Positivos Falsos: 42.5%\n",
      "Positivos Verdadeiros: 57.0%\n",
      "Negativos Verdadeiros: 0.5%\n",
      "Negativos Falsos: 0.0%\n"
     ]
    }
   ],
   "source": [
    "#Criando lista de relevantes de acordo com a maquina\n",
    "relevantes = []\n",
    "for i in range(len(nubank.Teste)):\n",
    "    relevantes.append(calculaProb(nubank.Teste[i]))\n",
    "    \n",
    "#Adicionando a coluna Maquina do dataFrame\n",
    "nubank.Maquina = pd.Series(relevantes)\n",
    "nubank.head()\n",
    "\n",
    "#Analisando a performance\n",
    "p = []\n",
    "for i in range(len(nubank.Teste)):\n",
    "    if nubank.Relevancia[i] == 'r':\n",
    "        if nubank.Maquina[i] == 'r':\n",
    "            p.append('PV')\n",
    "        if nubank.Maquina[i] == 'ir':\n",
    "            p.append('NF')\n",
    "    elif nubank.Relevancia[i] == 'ir':\n",
    "        if nubank.Maquina[i] == 'ir':\n",
    "            p.append('NV')\n",
    "        if nubank.Maquina[i] == 'r':\n",
    "            p.append('PF')\n",
    "            \n",
    "#Criando uma serie para analisar performance\n",
    "acertos = pd.Series(p)\n",
    "\n",
    "#Contagem\n",
    "pf = p.count('PF')/2\n",
    "pv = p.count('PV')/2\n",
    "nf = p.count('NF')/2\n",
    "nv = p.count('NV')/2\n",
    "\n",
    "print(\"Positivos Falsos: {0}%\\nPositivos Verdadeiros: {1}%\\nNegativos Verdadeiros: {2}%\\nNegativos Falsos: {3}%\".format(pf,pv,nv,nf))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "___\n",
    "## Concluindo\n",
    "\n",
    "Escreva aqui a sua conclusão.<br /> \n",
    "Faça um comparativo qualitativo sobre as medidas obtidas.<br />\n",
    "Explique como são tratadas as mensagens com dupla negação e sarcasmo.<br />\n",
    "Proponha um plano de expansão. Por que eles devem continuar financiando o seu projeto?<br />\n",
    "\n",
    "Opcionalmente: \n",
    "* Discorrer por que não posso alimentar minha base de Treinamento automaticamente usando o próprio classificador, aplicado a novos tweets.\n",
    "* Propor diferentes cenários de uso para o classificador Naive-Bayes. Cenários sem intersecção com este projeto.\n",
    "* Sugerir e explicar melhorias reais no classificador com indicações concretas de como implementar (não é preciso codificar, mas indicar como fazer e material de pesquisa sobre o assunto).\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}