Sección 5: Manipulación de Datos con R

<img src="img/see.png" width="250px"/>
# Sección 5: Manipulación de Datos con R - Extra 
## **PROGRAMA INTERNACIONAL DE ESTADÍSTICA APLICADA A LA INVESTIGACIÓN CIENTÍFICA**
#### MÓDULO: SOFTWARES PARA EL MANEJO DE DATOS <br> <br> Linda Cabrera Orellana
#### Marzo, 2023

---

---

# <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M448 80v48c0 44.2-100.3 80-224 80S0 172.2 0 128V80C0 35.8 100.3 0 224 0S448 35.8 448 80zM393.2 214.7c20.8-7.4 39.9-16.9 54.8-28.6V288c0 44.2-100.3 80-224 80S0 332.2 0 288V186.1c14.9 11.8 34 21.2 54.8 28.6C99.7 230.7 159.5 240 224 240s124.3-9.3 169.2-25.3zM0 346.1c14.9 11.8 34 21.2 54.8 28.6C99.7 390.7 159.5 400 224 400s124.3-9.3 169.2-25.3c20.8-7.4 39.9-16.9 54.8-28.6V432c0 44.2-100.3 80-224 80S0 476.2 0 432V346.1z"/></svg> Datos relacionales con `dplyr`

.pull-left[La mayor parte del tiempo, nos vienen muchas tablas de información que debemos combinar para responder a nuestras preguntas de interés, a esto se le llama **datos relacionales**.

Para trabajar con datos relacionales necesitas verbos que funcionen con pares de tablas y para esto existen tres familias de verbos diseñadas para trabajar con datos relacionales que son las 1) **uniones de transformación** (_mutating joins_), 2) **uniones de filtro** (_filtering joins_) y 3) **operaciones de conjuntos** (_set operations_).

El lugar más común para encontrar datos relacionales es en un **sistema relacional de administración de bases de datos** (_Relational Data Base Management System_ en inglés), un concepto que abarca casi todas las bases de datos modernas. 
]

.pull-right[Una de las formas de mostrar las relaciones entre las diferentes tablas es mediante un diagrama:

]

---

# <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M64 256V160H224v96H64zm0 64H224v96H64V320zm224 96V320H448v96H288zM448 256H288V160H448v96zM64 32C28.7 32 0 60.7 0 96V416c0 35.3 28.7 64 64 64H448c35.3 0 64-28.7 64-64V96c0-35.3-28.7-64-64-64H64z"/></svg> Mutating joins

Las **uniones de transformación** (del inglés _mutating joins_) agregan nuevas variables o columnas a un data frame a partir de las observaciones coincidentes en otra tabla.

En las uniones de transformación tenemos algunos tipos de uniones:

<div class="figure" style="text-align: center">
<img src="img/mutating.png" alt="Figura. Tipos de mutating joins" width="100%" />
<p class="caption">Figura. Tipos de mutating joins</p>
</div>

---

Para entender el `inner_join`, `left_join()`, `right_join()` y `full_join()`, vamos a crear los siguientes data frames con los que realizaremos las transformaciones:

```r
df_1 <- data.frame(Nombre= c('Belén', 'Noé', 'Salvador', 'Anne', 'Pablo', 'Rafaela', 'Victoria'),
                   Edad = c(22,18,21,26,25,23,21),
                   Ciudad= factor(c('Gye', 'Uio', 'Cue', 'Gye', 'Cue', 'Uio', 'Cue')) )

df_1
##     Nombre Edad Ciudad
## 1    Belén   22    Gye
## 2      Noé   18    Uio
## 3 Salvador   21    Cue
## 4     Anne   26    Gye
## 5    Pablo   25    Cue
## 6  Rafaela   23    Uio
## 7 Victoria   21    Cue
```
]

```r
df_2 <- data.frame(
    A= c('Ana', 'Belén','Jose', 'Anne', 'Luis'), 
    B= c(100,200,300,200,250),
    C= c('Soltera','Soltera','Casado','Divorciada','Soltero'))

df_2
##       A   B          C
## 1   Ana 100    Soltera
## 2 Belén 200    Soltera
## 3  Jose 300     Casado
## 4  Anne 200 Divorciada
## 5  Luis 250    Soltero
```

]

---

.pull-left[
### `inner_join()`
Muestra las observaciones cuyas claves coinciden en ambos conjuntos de datos, en el argumento `by` se indican las variables que deben coincidir en ambos data.frames:

```r
df_1 %>% inner_join(df_2, 
                    by = c("Nombre"="A"))
##   Nombre Edad Ciudad   B          C
## 1  Belén   22    Gye 200    Soltera
## 2   Anne   26    Gye 200 Divorciada
```

En este caso, coinciden Belén y Anne, por lo que se forma un nuevo data.frame con las columnas de ambos data.frames y las 2 observaciones que coinciden.
]

Muestra todas las observaciones del conjunto de la **izquierda** `df1` pero añade las columnas y los datos del conjunto de la derecha `df2`, coincidan o no coincidan. Si no coinciden los datos, se agregan con `NA`.

```r
df_1 %>% left_join(df_2, 
                   by = c("Nombre"="A"))
##     Nombre Edad Ciudad   B          C
## 1    Belén   22    Gye 200    Soltera
## 2      Noé   18    Uio  NA       <NA>
## 3 Salvador   21    Cue  NA       <NA>
## 4     Anne   26    Gye 200 Divorciada
## 5    Pablo   25    Cue  NA       <NA>
## 6  Rafaela   23    Uio  NA       <NA>
## 7 Victoria   21    Cue  NA       <NA>
```
]

---

Muestra todas las observaciones del conjunto de la **derecha** `df2` pero añade las columnas y los datos del conjunto de la izquierda `df1`, coincidan o no coincidan. Si no coinciden los datos, se agregan con `NA`.

```r
df_1 %>% right_join(df_2, 
                    by = c("Nombre"="A"))
##   Nombre Edad Ciudad   B          C
## 1  Belén   22    Gye 200    Soltera
## 2   Anne   26    Gye 200 Divorciada
## 3    Ana   NA   <NA> 100    Soltera
## 4   Jose   NA   <NA> 300     Casado
## 5   Luis   NA   <NA> 250    Soltero
```

]

Muestra las observaciones (filas) de ambos conjuntos de datos, cuando los datos no coinciden, se agregan con `NA`.

```r
df_1 %>% full_join(df_2, 
                   by = c("Nombre"="A"))
##      Nombre Edad Ciudad   B          C
## 1     Belén   22    Gye 200    Soltera
## 2       Noé   18    Uio  NA       <NA>
## 3  Salvador   21    Cue  NA       <NA>
## 4      Anne   26    Gye 200 Divorciada
## 5     Pablo   25    Cue  NA       <NA>
## 6   Rafaela   23    Uio  NA       <NA>
## 7  Victoria   21    Cue  NA       <NA>
## 8       Ana   NA   <NA> 100    Soltera
## 9      Jose   NA   <NA> 300     Casado
## 10     Luis   NA   <NA> 250    Soltero
```
]

---

Las **uniones de filtro** (del inglés _filtering joins_) filtran observaciones en un data frame con base en si coinciden o no con una observación de otra tabla.

Muestra las observaciones del conjunto de la izquierda que tiene coincidencias con el conjunto de la derecha, en este caso no se agregan nuevas columnas, se mantienen las columnas del conjunto de la izquierda:

```r
df_1 %>% semi_join(df_2, 
                   by = c("Nombre"="A"))
##   Nombre Edad Ciudad
## 1  Belén   22    Gye
## 2   Anne   26    Gye
```
]

Muestra las observaciones del conjunto de la izquierda que no tiene coincidencias con el conjunto de la derecha, en este caso tampoco se agregan nuevas columnas, se mantienen las columnas del conjunto de la izquierda:

```r
df_1 %>% anti_join(df_2, 
                   by = c("Nombre"="A"))
##     Nombre Edad Ciudad
## 1      Noé   18    Uio
## 2 Salvador   21    Cue
## 3    Pablo   25    Cue
## 4  Rafaela   23    Uio
## 5 Victoria   21    Cue
```
]

---

Las **operaciones de conjuntos** (del inglés _set operations_) tratan las observaciones como elementos de un conjunto. Las comparaciones se realizan entre _conjuntos que contengan las mismas columnas_, pues se revisa cómo difieren las observaciones entre los conjuntos, para esto, revisaremos las funciones `intersect()`, `union()` y `setdiff()`. Para ejemplificar esta parte crearemos el data.frame `df3`.

```r
df_3 <- data.frame(Nombre= c('Belén', 'Noé', 'María', 'Anne', 'Pablo'),
                   Edad = c(22,18,21,26,25),
                   Ciudad= factor(c('Cue', 'Uio', 'Cue', 'Gye', 'Cue')))

df_3
##   Nombre Edad Ciudad
## 1  Belén   22    Cue
## 2    Noé   18    Uio
## 3  María   21    Cue
## 4   Anne   26    Gye
## 5  Pablo   25    Cue
```

]

Devuelve las observaciones comunes entre ambos conjuntos.

```r
intersect(df_1, df_3)
##   Nombre Edad Ciudad
## 1    Noé   18    Uio
## 2   Anne   26    Gye
## 3  Pablo   25    Cue
```

]

---

Devuelve las observaciones únicas en ambos conjuntos, es decir que no se repiten en ninguno de los dos conjuntos.

```r
union(df_1, df_3)
##     Nombre Edad Ciudad
## 1    Belén   22    Gye
## 2      Noé   18    Uio
## 3 Salvador   21    Cue
## 4     Anne   26    Gye
## 5    Pablo   25    Cue
## 6  Rafaela   23    Uio
## 7 Victoria   21    Cue
## 8    Belén   22    Cue
## 9    María   21    Cue
```
]

Devuelve las observaciones en el primer conjunto pero que son diferentes del segundo conjunto.

```r
setdiff(df_1, df_3)
##     Nombre Edad Ciudad
## 1    Belén   22    Gye
## 2 Salvador   21    Cue
## 3  Rafaela   23    Uio
## 4 Victoria   21    Cue
```
]

---

background-color: var(--azul-claro)
class: middle, center, inverse

---

# <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M362.7 19.3L314.3 67.7 444.3 197.7l48.4-48.4c25-25 25-65.5 0-90.5L453.3 19.3c-25-25-65.5-25-90.5 0zm-71 71L58.6 323.5c-10.4 10.4-18 23.3-22.2 37.4L1 481.2C-1.5 489.7 .8 498.8 7 505s15.3 8.5 23.7 6.1l120.3-35.4c14.1-4.2 27-11.8 37.4-22.2L421.7 220.3 291.7 90.3z"/></svg> Práctica: ¡5 minutos!

1. Crea el objeto `preguntas` cargando la pestaña `DATA2` del archivo `EXCELprofesores.xlsx`. Este archivo contiene el código del encuestado y las respuestas a 2 preguntas adicionales de la encuesta.

2. ¿Qué join necesitamos realizar en nuestros datos para unificar los data.frames `profesores` y `preguntas`? Efectúelo.

---

<img src="img/tidyr.png" width="150px">
# Datos ordenados con `tidyr`

---

# <svg aria-hidden="true" role="img" viewBox="0 0 640 512" style="height:1em;width:1.25em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M627.6 57.3c14-10.9 16.5-31 5.6-44.9s-31-16.5-44.9-5.6l-144 112-72 56-8.7 6.8-30.8-39.4c-3.7-4.8-9.8-7-15.8-5.8s-10.7 5.7-12.3 11.5l-12.5 46.3L371.1 295l48-.9c6.1-.1 11.5-3.7 14.1-9.1s1.9-11.9-1.8-16.7L403 231.9l8.6-6.7 72-56 144-112zM16.7 507.7c37.4 2.8 196.8 12 252.3-31.4c57.7-45.1 76.8-161.5 76.8-161.5L267.1 213.9s-117.6-9.6-175.3 35.5C69 267.1 50.5 304.1 36.3 344c-2.4 6.7 4.7 12.8 11 9.4L86.2 333c4.1-2.2 9.2-1.1 12 2.6s2.7 8.8-.4 12.3L24.4 430.4C13.2 442.9 5.5 458.1 2.4 474.5c-.9 4.8-1.6 8.9-2.2 12.1c-.9 5 .5 10.1 3.6 14.1s7.7 6.6 12.8 7z"/></svg> Datos ordenados

Existen tres reglas interrelacionadas que hacen que un conjunto de datos sea ordenado:

* Cada variable debe tener su propia columna.
* Cada observación debe tener su propia fila.
* Cada valor debe tener su propia celda.

<div class="figure" style="text-align: center">
<img src="img/tidy_data.png" alt="Figura: Reglas que hacen que un conjunto de datos sea ordenado" width="1000" />
<p class="caption">Figura: Reglas que hacen que un conjunto de datos sea ordenado</p>
</div>

---

| Función        |  Acción                                    |
|:---------------|-------------------------------------------:|
| `pivot_longer()`     | *Modifica el nombre de las variables, arreglando los valores a lo largo del conjunto de datos* |
| `pivot_wider()`     | *Selecciona o descarta variables (columnas) de un conjunto de datos, arreglando los valores a lo ancho del conjunto de datos* |

---

<br>

La estructura de la función es la siguiente:

```r
pivot_longer(data, cols, 
             names_to = "name", 
             values_to = "value", 
             values_drop_na = FALSE)
```

]

.pull-right[
Se puede observar que en la primera tabla hay dos columnas que no corresponden a nombres de variables, puesto que el nombre de esas dos columnas deberían formar una sola columna denominada `year`. Aplicando `pivot_longer()` los nombres de las columnas forman una nueva variable llamada `year` y los valores que correspondían a esas columnas se organizan en otra nueva columna denominada `cases`.

- **`pivot_longer()`** alarga datos al contraer varias columnas en dos.

- Los nombres de columna se mueven a una nueva columna de `names_to` y,

- Los valores a una nueva columna de `values_to`.
]

---

La librería `datos` contiene algunos [conjuntos de datos](https://www.rdocumentation.org/packages/datos/versions/0.5.0) que pueden servir para practicar, en muchos cursos utilizan estos conjuntos de datos para enseñar R. En este caso utilizamos esta librería para cargar los datos que se encuentran en `table4a` que contiene registros de tuberculosis de la Organización Mundial de la Salud (variante 4a).

```r
## cargamos el paquete
library(datos)

## imprimimos la tabla4a
tabla4a
## # A tibble: 3 × 3
##   pais       `1999` `2000`
##   <chr>       <int>  <int>
## 1 Afganistán    745   2666
## 2 Brasil      37737  80488
## 3 China      212258 213766
```
]

```r
## aplicamos pivot_longer() para corregir los datos a lo largo
tabla4a %>%  pivot_longer(cols = c(`1999`, `2000`), 
               names_to = "anio", 
               values_to = "casos")
## # A tibble: 6 × 3
##   pais       anio   casos
##   <chr>      <chr>  <int>
## 1 Afganistán 1999     745
## 2 Afganistán 2000    2666
## 3 Brasil     1999   37737
## 4 Brasil     2000   80488
## 5 China      1999  212258
## 6 China      2000  213766
```
]

---

<br>

.pull-right[
Se puede observar que en la primera tabla hay una columna que contiene `cases` y `pop`, estas observaciones deben ser columnas, además están duplicando las filas. Aplicando `pivot_wider()` la columna `type` se anula formando dos nuevas columnas llamadas `cases` y `pop`.

**`pivot_wider()`** es lo contrario de `pivot_longer()`, amplia los datos expandiendo dos columnas en varias. Una columna proporciona los nuevos nombres de columna, la otra los valores.

La estructura de `pivot_wider()` es la siguiente:

```r
pivot_wider(data, names_from = "name",
            values_from = "value")
```
]

---

Para este ejemplo, usamos el tabla `tabla2` de la librería `datos`:

```r
## imprimimos la tabla2
tabla2
## # A tibble: 12 × 4
##    pais        anio tipo          cuenta
##    <chr>      <int> <chr>          <int>
##  1 Afganistán  1999 casos            745
##  2 Afganistán  1999 población   19987071
##  3 Afganistán  2000 casos           2666
##  4 Afganistán  2000 población   20595360
##  5 Brasil      1999 casos          37737
##  6 Brasil      1999 población  172006362
##  7 Brasil      2000 casos          80488
##  8 Brasil      2000 población  174504898
##  9 China       1999 casos         212258
## 10 China       1999 población 1272915272
## 11 China       2000 casos         213766
## 12 China       2000 población 1280428583
```
]

```r
## aplicamos pivot_wider() para corregir los datos a lo largo
tabla2 %>%  pivot_wider(names_from = tipo, 
                        values_from = cuenta)
## # A tibble: 6 × 4
##   pais        anio  casos  población
##   <chr>      <int>  <int>      <int>
## 1 Afganistán  1999    745   19987071
## 2 Afganistán  2000   2666   20595360
## 3 Brasil      1999  37737  172006362
## 4 Brasil      2000  80488  174504898
## 5 China       1999 212258 1272915272
## 6 China       2000 213766 1280428583
```
]

---

# Manipulación de Datos con R - Extra
### Linda Cabrera Orellana

.pull-left[
.center[
### [@socecuest <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M504 256C504 119 393 8 256 8S8 119 8 256c0 123.78 90.69 226.38 209.25 245V327.69h-63V256h63v-54.64c0-62.15 37-96.48 93.67-96.48 27.14 0 55.52 4.84 55.52 4.84v61h-31.28c-30.8 0-40.41 19.12-40.41 38.73V256h68.78l-11 71.69h-57.78V501C413.31 482.38 504 379.78 504 256z"/></svg>](https://www.facebook.com/socecuest)

### [@see_estadistica <svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M224.1 141c-63.6 0-114.9 51.3-114.9 114.9s51.3 114.9 114.9 114.9S339 319.5 339 255.9 287.7 141 224.1 141zm0 189.6c-41.1 0-74.7-33.5-74.7-74.7s33.5-74.7 74.7-74.7 74.7 33.5 74.7 74.7-33.6 74.7-74.7 74.7zm146.4-194.3c0 14.9-12 26.8-26.8 26.8-14.9 0-26.8-12-26.8-26.8s12-26.8 26.8-26.8 26.8 12 26.8 26.8zm76.1 27.2c-1.7-35.9-9.9-67.7-36.2-93.9-26.2-26.2-58-34.4-93.9-36.2-37-2.1-147.9-2.1-184.9 0-35.8 1.7-67.6 9.9-93.9 36.1s-34.4 58-36.2 93.9c-2.1 37-2.1 147.9 0 184.9 1.7 35.9 9.9 67.7 36.2 93.9s58 34.4 93.9 36.2c37 2.1 147.9 2.1 184.9 0 35.9-1.7 67.7-9.9 93.9-36.2 26.2-26.2 34.4-58 36.2-93.9 2.1-37 2.1-147.8 0-184.8zM398.8 388c-7.8 19.6-22.9 34.7-42.6 42.6-29.5 11.7-99.5 9-132.1 9s-102.7 2.6-132.1-9c-19.6-7.8-34.7-22.9-42.6-42.6-11.7-29.5-9-99.5-9-132.1s-2.6-102.7 9-132.1c7.8-19.6 22.9-34.7 42.6-42.6 29.5-11.7 99.5-9 132.1-9s102.7-2.6 132.1 9c19.6 7.8 34.7 22.9 42.6 42.6 11.7 29.5 9 99.5 9 132.1s2.7 102.7-9 132.1z"/></svg>](https://www.instagram.com/see_estadistica/)
]]

.pull-right[
.center[
### [@see_estadistica <svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M459.37 151.716c.325 4.548.325 9.097.325 13.645 0 138.72-105.583 298.558-298.558 298.558-59.452 0-114.68-17.219-161.137-47.106 8.447.974 16.568 1.299 25.34 1.299 49.055 0 94.213-16.568 130.274-44.832-46.132-.975-84.792-31.188-98.112-72.772 6.498.974 12.995 1.624 19.818 1.624 9.421 0 18.843-1.3 27.614-3.573-48.081-9.747-84.143-51.98-84.143-102.985v-1.299c13.969 7.797 30.214 12.67 47.431 13.319-28.264-18.843-46.781-51.005-46.781-87.391 0-19.492 5.197-37.36 14.294-52.954 51.655 63.675 129.3 105.258 216.365 109.807-1.624-7.797-2.599-15.918-2.599-24.04 0-57.828 46.782-104.934 104.934-104.934 30.213 0 57.502 12.67 76.67 33.137 23.715-4.548 46.456-13.32 66.599-25.34-7.798 24.366-24.366 44.833-46.132 57.827 21.117-2.273 41.584-8.122 60.426-16.243-14.292 20.791-32.161 39.308-52.628 54.253z"/></svg>](https://twitter.com/see_estadistica)

### [@sosecuest <svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M248,8C111.033,8,0,119.033,0,256S111.033,504,248,504,496,392.967,496,256,384.967,8,248,8ZM362.952,176.66c-3.732,39.215-19.881,134.378-28.1,178.3-3.476,18.584-10.322,24.816-16.948,25.425-14.4,1.326-25.338-9.517-39.287-18.661-21.827-14.308-34.158-23.215-55.346-37.177-24.485-16.135-8.612-25,5.342-39.5,3.652-3.793,67.107-61.51,68.335-66.746.153-.655.3-3.1-1.154-4.384s-3.59-.849-5.135-.5q-3.283.746-104.608,69.142-14.845,10.194-26.894,9.934c-8.855-.191-25.888-5.006-38.551-9.123-15.531-5.048-27.875-7.717-26.8-16.291q.84-6.7,18.45-13.7,108.446-47.248,144.628-62.3c68.872-28.647,83.183-33.623,92.511-33.789,2.052-.034,6.639.474,9.61,2.885a10.452,10.452,0,0,1,3.53,6.716A43.765,43.765,0,0,1,362.952,176.66Z"/></svg>](https://t.me/sosecuest)
]]