index.Rmd

---
title: "`r emo::ji('man_teacher')` Correlação e Regressão"
subtitle: "<br> `r emo::ji('link')` [Aula Correlação](https://ap.metodosquantitativos.com/)"
author: "Steven Dutt Ross"
institute: "UNIRIO"
output:
  xaringan::moon_reader:
    lib_dir: libs
    css: ["xaringan-themer.css"]
    nature:
      highlightStyle: solarized-light
      highlightLines: true
      countIncrementalSlides: false
      ratio: "16:9"
      slideNumberFormat: |
        <div class="progress-bar-container">
          <div class="progress-bar" style="width: calc(%current% / %total% * 100%);">
          </div>
        </div>
---

```{css, echo=FALSE}
@import url('https://fonts.googleapis.com/css2?family=Acme&display=swap');
@import url('https://fonts.googleapis.com/css2?family=Architects+Daughter&display=swap');
@import url('https://fonts.googleapis.com/css?family=Gochi+Hand|Handlee&display=swap');
  body {
    background-color: #f7f68f;
    color: #1a5b78;
    font-family: 'Acme', sans-serif;
    font-size: 26px;
  }

a:link {
  color: #ffffff;
}

.MathJax { font-size: 1.3em !important; }

.huge-text {
 font-family: 'Montserrat', sans-serif;
 font-size: 600%;
 font-weight: bold;
 color: var(--monument);
}
.huge-number {
 font-family: 'Montserrat', sans-serif;
 font-size: 1700%;
 font-weight: bold;
 color: var(--baby-blue);
}

/* Font sizes */
.larger { font-size: 400% }
.bitlarger { font-size: 200% }
.large { font-size: 130% }
.midi { font-size: 85% }
.small { font-size: 70% }
.xsmall { font-size: 60% }
.tiny { font-size: 50% }


/* Handwriting */
.hand{
  font-family: 'Gochi Hand', cursive;
  color: var(--monument);
  font-size: 125%;
}
.hand-large{
  font-family: 'Gochi Hand', cursive;
  color: var(--monument);
  font-size: 500%;
}
/* Footer */
div.my-footer {
    border-top: 1px solid var(--opal-gray);
    position: absolute;
    bottom: 0px;
    height: 35px;
    width: 90%;
}
div.my-footer span {
    font-size: 12pt;
    position: absolute;
    color: #333333;
    bottom: 10px;
}
div.my-footer a {
    font-size: 12pt;
    color: #333333;
}


/* Footnote */
.footnote {
  position: absolute;
  bottom: 1em;
  padding-right: 4em;
  font-size: 70%;
}

/*Left 70% - Right 30% */
.pull-left-wide {
  width: 70%;
  float: left;
}
.pull-right-narrow {
  width: 27%;
  float: right;
}
.pull-right-narrow ~ * {
  clear: both;
}

  /*Left 30% - Right 70% */
.pull-left-narrow {
  width: 30%;
  float: left;
}
.pull-right-wide {
  width: 67%;
  float: right;
}
.pull-right-wide ~ * {
  clear: both;
}

```

```{r set-theme, include=FALSE}
library(xaringanthemer)
style_duo_accent(
  primary_color      = "#1a5b78", # pantone monument
  secondary_color    = "#fff8c4", 
  header_font_google = google_font("Raleway"),
  text_font_google   = google_font("Raleway", "300", "300i"),
  code_font_google   = google_font("Source Code Pro"),
  text_font_size     = "30px"
)
```

```{r setup, include=FALSE}
options(htmltools.dir.version = FALSE)
knitr::opts_chunk$set(cache=TRUE)
knitr::opts_chunk$set(echo = TRUE)
library(ggplot2)
library(reshape2)
```

## .hand[O Diagrama de dispersão]

.hand[O Diagrama de dispersão é um gráfico onde pontos no espaço cartesiano (X,Y) são usados para representar simultaneamente os valores de duas variáveis quantitativas medidas em cada elemento do conjunto de dados.]

---


<img src="img/correlacao.png" alt="correlacao" width="800"/>

```{r,eval=FALSE,echo=FALSE, message=FALSE,warning=FALSE}
#![](img/correlacao.png){:height="36px" width="36px"}
#
#library(png)
#png::readPNG('img/correlacao.png')
```


---



```{r dispe, echo=TRUE,fig.align='center',fig.width=12}
x <- c(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) 
y <- c(100, 200,300,400,500,600, 700, 800, 900, 1000) 
par(mfrow=c(1,2))
plot(x,y, col = "red", pch=21,lwd = 10) 
y <- c(210, 50,280,400,590,540, 730, 770, 800, 1100)
plot(x,y, col = "blue",pch=21, lwd = 10) 
par(mfrow=c(1,1))
```

---

```{r idade}
idade = c(56, 30, 40, 32, 39, 23, 17, 20, 28, 16)
qtdmiojo = c(17, 29, 27, 35, 27, 56, 58, 54, 50, 38)
datacor = data.frame(qtdmiojo,idade)
datacor
```

---

Este diagrama de dispersão tem um padrão linear geral (reta), mas a relação é negativa.

```{r idade3, echo=FALSE}
plot(datacor$idade, datacor$qtdmiojo, col = "darkblue",pch=21)
```

---

Essa padrão linear é facil de ver.

```{r idade4, echo=FALSE}
plot(datacor$idade, datacor$qtdmiojo,col = "darkblue",pch=21)
abline(lsfit(datacor$idade, datacor$qtdmiojo),col="darkred")
```

---


```{r aborto, echo=TRUE}
#Outro exemplo: pena de morte e aborto
penademorte <- c(7,7,3,0,0,10,5,7,0,10,1,8,1,9,8,8,4,10,10,9)
aborto      <- c(1,2,7,7,9, 3,9,5,8,4,10,3,9,2,2,6,8,6,6,8)
plot(penademorte,aborto,col = "darkblue",pch=21)
abline(lsfit(penademorte,aborto),col="darkred")
```

---

Quais variáveis têm padrão linear positivo? quais têm padrão linear negativo? Quais não tem um padrão (padrão nulo)? 

```{r tipo, echo=FALSE}
V1 = c(10, 13, 14, 11, 10, 17, 10, 7, 12, 13)
V2 = c(11, 11, 14, 9, 7, 14, 9, 4, 13, 12)
V3 = c(3, 20, 27, 26, 16, 11, 34, 13, 31, 18)
V4 = c(10,2,  1, 2, 5, 6, 0, 4, 1, 8)
dados.v = data.frame(V1,V2,V3,V4)
pairs(dados.v)
```

---
class: center, middle

.huge-text[Correlação...]


---

## O que é correlação?

A Correlação mede a **direção** (positivas ou negativas) e a **intensidade** (força) da relação linear entre duas variáveis quantitativas (relacionamento entre duas variáveis). Costuma-se representar a correlação pela letra *r*.


---

## Fatos sobre a correlação 

<p> **A correlação não faz distinção entre variável explicativa e variável resposta** Não faz diferença alguma qual variável você chama de *x* e qual você chama de *y*, ao calcular a correlação.
<p> 
<p> **r positivo indica uma associação positiva entre as variáveis**, e r negativo indica uma associação negativa.
<p> 
<p> **A correlação é sempre um número entre -1 e 1.** Valores próximos de zero indicam uma relação linear muito fraca. A intensidade da relação linear cresce, à medida que *r* se afasta de zero em direção a -1 ou 1. Os valores de *r* próximos de -1 ou 1 indicam que os pontos num diagrama de dispersão caem próximos de uma reta. Os valores extremos *r= -1* e *r= 1* ocorrem apenas no caso de relação linear perfeita , quando os pontos caem exatamente sobre a reta.

---

## Coeficiente de correlação produto-momento de Pearson (r)
<p> Mede a intensidade e a direção da relação entre duas variáveis contínuas

## Tipos de correlações

<p> **Correlação de Pearson** para variáveis continuas
<p> **Correlação de Spearman** para variáveis ordinais

[Para saber mais clique aqui](http://rstudio-pubs-static.s3.amazonaws.com/10539_9a0d69971efd414d96bfb4b8cc20e76f.html#/6)
<p>
[Fonte](http://www.seer.ufu.br/index.php/cieng/issue/view/108)

---

### Interpretação do r - Valores de referência	
#### Negativo 
<p>  -0,2 < r < 0   baixa ou nenhuma associação	
<p>  -0,7 < r < -0,2 	grau fraco/moderado de associação 
<p>  < -0,7   grau excelente de associação
#### Positivo 
<p>  0 < r < 0,2   baixa ou nenhuma associação	(ou -0,2 < r < 0)
<p>  0,2 < r < 0,7  	grau fraco/moderado de associação (ou -0,7 < r < -0,2)
<p>  r > 0,7   grau excelente de associação (ou <-0,7)

---

<img src="img/correlacao.png" alt="correlacao" width="800"/>

---

## Fórmula da correlação de Pearson

$$ \Huge{ r =\frac{COV(x,y)}{S_xS_y}  }$$
Onde:
* COV = covariância
* S = Desvio-padrão
* Covariância é o número que reflete o grau em que duas variáveis variam juntas.

$$ \Huge{COV = \frac{\Sigma(X - \overline{X})(Y - \overline{Y})}{N - 1}} $$

---

## Fórmula alternativa

$$\Huge{r = \frac{n*\Sigma(X*Y) - \Sigma(X)*\Sigma(Y)}{\sqrt{n*\Sigma(X)^2-(\Sigma(X))^2}\sqrt{n*\Sigma(Y)^2-(\Sigma(Y))^2}}}$$ 

## Como aplicar a Fórmula em um conjunto de dados?


---

## Banco de dados
#### para o cálculo da correlação
    
```{r, echo=FALSE}
library(dplyr)
library(flextable)
library(gt)
dados <-data.frame(x=c(2,3,4,5,5,6,7,8),
                   y=c(4,7,9,10,11,11,13,15))

dados %>%
  flextable() %>%
  theme_box() %>%
  align(align = "center", part = "all")    %>%
  fontsize(size = 22,part = 'all')

```

---
class: center, middle

.huge-text[Passo 1]

.large[Fazer cálculos intermediários]

---

## Variáveis originais e cálculos intermediários
```{r, echo=FALSE,warning=FALSE,message=FALSE,comment=NA}

## Variáveis originais e cálculos intermediários

dados %>%
  select(x,y) %>%
  mutate(x_quadrado = x*x,
         y_quadrado = y*y,
         xy = x*y) %>%
  flextable() %>%
  set_header_labels(values = list(x = "x",
                                  y = "y",
                                  x_quadrado = "x ao quadrado",
                                  y_quadrado = "y ao quadrado",
                                  xy = "x*y")) %>%
  theme_box() %>%
  align(align = "center", part = "all")    %>%
  fontsize(size = 22,part = 'all')


```


---
class: center, middle

.huge-text[Passo 2]

.large[Encontrar o somatório]

---

```{r, echo=FALSE,warning=FALSE,message=FALSE,comment=NA}

## Variáveis originais e cálculos intermediários

dados %>%
  select(x,y) %>%
  mutate(x_quadrado = x*x,
         y_quadrado = y*y,
         xy = x*y) %>%
  flextable() %>%
  set_header_labels(values = list(x = "x",
                                  y = "y",
                                  x_quadrado = "x ao quadrado",
                                  y_quadrado = "y ao quadrado",
                                  xy = "x*y")) %>%
  theme_box() %>%
  align(align = "center", part = "all")    %>%
  fontsize(size = 22,part = 'all') 


```

---


```{r, echo=FALSE,warning=FALSE,message=FALSE,comment=NA}

dados %>%
  select(x,y) %>%
  mutate(x_quadrado = x*x,
         y_quadrado = y*y,
         xy = x*y) %>%
  summarise(soma_x=sum(x),soma_y=sum(y),soma_x_quadrado=sum(x_quadrado),soma_y_quadrado=sum(y_quadrado),soma_xy=sum(xy))%>%
  flextable() %>%
  set_header_labels(values = list(soma_x = "soma x",
                                  soma_y = "soma y",
                                  soma_x_quadrado = "soma x ao quadrado",
                                  soma_y_quadrado = "soma y ao quadrado",
                                  soma_xy = "soma x*y")) %>%
  theme_box() %>%
  align(align = "center", part = "all")  %>%
  fontsize(size = 22,part = 'all')

```

---
class: center, middle

.huge-text[Passo 3]

.large[Aplicar a fórmula]

---


$$ \Huge{r = \frac{n\cdot\Sigma(X\cdot Y) -\Sigma(X)*\Sigma(Y)}{\sqrt{n\cdot\Sigma(X)^2-(\Sigma(X))^2}\sqrt{n\cdot\Sigma(Y)^2-(\Sigma(Y))^2}}} $$


  
  $$ \Huge{r = \frac{8(447) -40\cdot80}{\sqrt{8\cdot228-(40)^2}\sqrt{8\cdot(882)^2-((80))^2}}} $$ 
    

  $$ \Huge{r = \frac{3576-3200}{\sqrt{1824-1600}\sqrt{7056-6400)}}}  $$

  $$ \Huge{r = \frac{376}{383,33}= 0,981 }$$


```{r, eval=FALSE}
dados <-data.frame(x=c(2,3,4,5,5,6,7,8),
                   y=c(4,7,9,10,11,11,13,15))
cor(dados$x,dados$y)
```


---

## Correlação entre idade e miojo

```{r Coeficientes2, echo=TRUE, fig.width=8, fig.height=5}
cor(datacor$idade, datacor$qtdmiojo)
plot(datacor$idade, datacor$qtdmiojo)
abline(lsfit(datacor$idade, datacor$qtdmiojo),col="darkred")
```

---

# Correlação de Pearson
Correlação entre as variáveis Kmporlitro e HP e as variáveis Kmporlitro e Peso

```{r,echo=FALSE}
data(mtcars)
CARROS<-mtcars
remove(mtcars)
colnames(CARROS) <- c("Kmporlitro","Cilindros","Preco","HP","Amperagem_circ_eletrico",
"Peso","RPM","Tipodecombustivel","TipodeMarcha","NumdeMarchas","NumdeValvulas")
CARROS$TipodeMarcha<-as.factor(CARROS$TipodeMarcha)
CARROS$Tipodecombustivel<-as.factor(CARROS$Tipodecombustivel)
levels(CARROS$Tipodecombustivel) <- c('Gasolina','Álcool')
levels(CARROS$TipodeMarcha) <- c('Automático', 'Manual')
nomes<-c("Km por litro","Número de Cilindros","Preço",
"HP = Horse Power (potência do motor)","Amperagem_circ_eletrico = Amperagem média (o principal indicador da bateria)","Peso (em toneladas) do Carro",
"RPM = Rotações Por Minuto","Tipo de combustível (0 = Gasolina, 1 = Álcool)","Tipo de Câmbio (0 = Automático, 1 = Manual)",
"Número de Marchas","Número de Válvulas")
attr(CARROS, "variable.labels") <- nomes
```

```{r Coeficientes3, echo=TRUE}
cor(CARROS$Kmporlitro,CARROS$HP)
cor(CARROS$Kmporlitro,CARROS$Peso)
```

---

##  Correlação de Spearman
```{r Coeficientes5, echo=TRUE}
var1 = c(10, 9, 5, 6, 7)
var2 = c(3, 6, 10, 5, 4)
cor(var1,  var2, method="spearman")
```

---

### Na prática, fazemos uma matriz com todas as correlações.
```{r Coeficientes4, echo=TRUE, fig.width=12, fig.height=5}
animais = c(10, 13, 14, 11, 10, 17, 10, 7, 12, 13)
frutas = c(11, 11, 14, 9, 7, 14, 9, 4, 13, 12)
fas = c(3, 20, 27, 26, 16, 41, 34, 13, 31, 38)
dados.fv = data.frame(animais, frutas, fas)
#cor(dados.fv)  
pairs(dados.fv)
```

---

## Na prática, fazemos uma matriz com todas as correlações.
```{r Coeficientes6, echo=TRUE}
cor(CARROS[,c("Preco","RPM","HP","Kmporlitro","Amperagem_circ_eletrico","Peso")])
```  

---


# No entanto, hoje em dia podemos construir uma visualização de dados dessa matriz.


```{r,eval=FALSE, echo=FALSE,warning=FALSE,comment=NA,message=FALSE}
# https://github.com/feddelegrand7/GomoGomonoMi
library(GomoGomonoMi)
use_gomo()

gomo_gomo_no(text = " \"No entanto, hoje em dia podemos construir uma visualização de dados dessa matriz.", 
             level = "#", 
             animation = "zoomIn", 
             duration = "slower", 
             delay = 2, 
             color = "darkred")
```

---

## Visualização da Matriz de Correlação
```{r Coeficientes7, echo=FALSE}
library(corrplot)
M <- cor(CARROS[,c("Preco","RPM","HP","Kmporlitro","Peso")])
corrplot(M, method="circle")
```

---

## Visualização da Matriz de Correlação
```{r Coeficientes71, echo=TRUE}
library(corrplot)
M <- cor(CARROS[,c("Preco","RPM","HP","Kmporlitro","Peso")])
corrplot(M, method="circle")
```

---

## Visualização da Matriz de Correlação
```{r MC, echo=TRUE}
corrplot(M, method="square")
```

---

## Visualização da Matriz de Correlação
```{r MC2, echo=TRUE}
corrplot(M, method="number")
```

---

## Visualização da Matriz de Correlação
```{r MC3, echo=TRUE}
corrplot(M, method="color")
```

---

## Visualização da Matriz de Correlação
```{r MC4, echo=TRUE}
corrplot(M, method="pie")
```

---

### Visualização da Matriz de Correlação:Criação de Grupos 
```{r MC5, echo=TRUE}

corrplot(M, order="hclust", addrect=2)
```

---

### Visualização da Matriz de Correlação: Democratas e Republicanos
```{r MC6, echo=TRUE}
col3 <- colorRampPalette(c("red", "white", "blue")) 
corrplot(M, order="hclust", addrect=2, col=col3(20))
```

---

## Matriz de correlação Pós-Moderna
```{r MC7, echo=TRUE}
wb <- c("white","black")
corrplot(M, order="hclust", addrect=2, col=wb, bg="gold2")
```

---

## Matriz de correlação Analítica (Versão 1)
```{r MC8, echo=TRUE}  
corrplot.mixed(M)
```

---

## Matriz de correlação Analítica  (Versão 2)
```{r MC9, echo=TRUE}
corrplot(M,addCoef.col=TRUE,number.cex=0.7)
```


---

class: middle, inverse

.pull-left[
  .huge-text[check point]
]
.pull-right[
  .larger[até aqui, tudo ok?]
  ]


---
class: center, bottom

# Regressão linear

---

##  Regressão linear: objetivos
* Predizer observações futuras
* Avaliar o efeito as relações da variável independente (x) sobre uma variável dependente (y)
* Descrever a estrutura dos dados

---

## Modelo de Regressão Linear
$\Huge{Y = \beta_0 + \beta_1 x + \epsilon}$   

Onde:  
Y = é o valor a ser predito  
$\Huge{\beta_0}$ = é o intercepto (valor quando x = 0)  
$\Huge{\beta_1}$ = é a inclinação da reta de regressão  
x = é o valor da variável preditora (preditor linear)   
$\Huge{\epsilon}$ é o erro

---

## Modelo de regressão: exemplo 1
```{r Reg, echo=TRUE}
y = c(110, 120, 90, 70, 50, 80, 40, 40, 50, 30)
xx = 1:10
modelo = lm(y ~ xx)
modelo
```

---

## Modelo de regressão: exemplo 1
```{r Reg0, echo=TRUE, fig.width=7, fig.height=5}
plot(y ~ xx)
abline(modelo, col=2, lty=2, lwd=2)
legend("top", legend=c("valores observados", "valores ajustados"), lty=c(NA,2), col=c(1,2), lwd=1:2, bty="n", pch=c(1,NA))
```

---

## Modelo de regressão: exemplo 2
```{r Reg2, echo=TRUE}
renda = c(1750, 1680, 1700, 1710, 1690, 1650, 1650, 1600, 1800, 1860)
anosdeestudo = c(8, 7, 6, 6, 6, 5, 5, 5, 8, 9)
modelo2 = lm(renda ~ anosdeestudo)
```

---

```{r Reg21, echo=TRUE}
plot(renda ~ anosdeestudo)
abline(modelo2, col=2, lty=2, lwd=2)
legend("topleft", legend=c("valores observados", "valores ajustados"), lty=c(NA,2), col=c(1,2), lwd=1:2, bty="n", pch=c(1,NA))
modelo2
```

---

## Modelo de regressão: exemplo 3
```{r Reg3, echo=TRUE}
data("mtcars")
modelo3 = lm(mpg ~ wt, data=mtcars)
modelo3
```

---

```{r Reg31, echo=TRUE}
plot(mtcars$mpg ~ mtcars$wt)
abline(modelo3, col=2, lty=2, lwd=2)
legend("topright", legend=c("valores observados", "valores ajustados"), lty=c(NA,2), col=c(1,2), lwd=1:2, bty="n", pch=c(1,NA))
```

---

## Modelo de regressão: exemplo 4
```{r Reg4, echo=TRUE}
modelo4 = lm(mpg ~ wt+cyl+disp+hp, data=mtcars)
modelo4
```

---

```{r Reg5, echo=TRUE}
par(mfrow = c(2, 2))
plot(mtcars$mpg ~ mtcars$wt)
plot(mtcars$mpg ~ mtcars$cyl)
plot(mtcars$mpg ~ mtcars$disp)
plot(mtcars$mpg ~ mtcars$hp)
```


---

class: middle, inverse

.pull-left[
  .huge-text[check point]
]
.pull-right[
  .larger[ até aqui, tudo ok?
  ]
]