Capítulo 9 Estruturando e Limpando Dados

Você chegou ao fim da versão online do livro Análise de Dados Financeiros e Econômicos com o R, terceira edição. O conteúdo integral da obra pode ser adquirido na loja da Amazon como ebook ou livro impresso. A compra do livro é uma ótima maneira de suportar este e outros projetos do autor.

9.1 O Formato do `dataframe`

9.1.1 Conversão entre long e wide

9.2 Convertendo Listas em `dataframes`

9.3 Eliminando Outliers

9.4 Desinflacionando Dados de Preços

9.5 Modificando a Frequência Temporal dos Dados

9.6 Exercícios

Q.1

Considere o dataframe criado com o código a seguir:

library(tidyverse)

my_N <- 100

df <- bind_rows(tibble(ticker = rep('STOCK 1', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))),
                tibble(ticker = rep('STOCK 2', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))) )

print(df)

O formato do dataframe é longo ou largo? Explique sua resposta.

O formato é longo: temos dados empilhados para duas ações diferentes. Note que, com a adição de novas tickers, a tabela cresce com novas linhas. Novas variáveis podem ser facilmente adicionadas com novas colunas.

Q.2

Modifique o formato do dataframe anterior, de longo para largo ou vice-versa.

library(tidyverse)

my_N <- 100

df <- bind_rows(tibble(ticker = rep('STOCK 1', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))),
                tibble(ticker = rep('STOCK 2', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))) )

print(df)

library(tidyverse)

my_N <- 100

df <- bind_rows(tibble(ticker = rep('STOCK 1', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))),
                tibble(ticker = rep('STOCK 2', my_N),
                       ref_date = Sys.Date() + 1:my_N,
                       price = 100 + cumsum(rnorm(my_N))) )

print(df)

# convert from long to wide
df_wide <- spread(data = df, 
                  key = 'ticker',
                  value = 'price')

# print result
print(df_wide)

Q.3

Considere a seguinte lista:

library(tidyverse)

my_l <- list(df1 = tibble(x = 1:100, y = runif(100)),
             df2 = tibble(x = 1:100, y = runif(100), v = runif(100)),
             df3 = tibble(x = 1:100, y = runif(100), z = runif(100)) )

Agrege todos dataframes em my_l para um objeto único usando funções do.call ou dplyr::bind_rows. O que aconteceu com os dados de df1 onde colunas v e z não existem?

Quando bind_rows não encontra a mesma coluna na junção de tabelas diferentes, os dados faltantes são definidos como NAs. Veja a seguir:

library(tidyverse)

my_l <- list(df1 = tibble(x = 1:100, y = runif(100)),
             df2 = tibble(x = 1:100, y = runif(100), v = runif(100)),
             df3 = tibble(x = 1:100, y = runif(100), z = runif(100)) )

# solution with bind_rows
bind_df1 <- bind_rows(my_l)

# solution with do.cal
bind_df2 <- do.call(bind_rows, my_l)

# check solutions match
identical(bind_df1, bind_df2)

print(bind_df1)
# the missing data points were set as NA values

Q.4

Utilize pacote BatchGetSymbols para baixar os dados do índice SP500 ('^GSPC') desde 1950-01-01 até 2021-01-01. Quais é a soma dos 5 maiores retornos positivos do índice?

Resposta:

A solução é 0.5014. Para chegar no resultado anterior, deves executar o código abaixo. Para isso, abra um novo script no RStudio (Control+shift+N), copie e cole o código, e rode o script inteiro apertando Control+Shift+Enter ou por linha com Control+Enter.

library(BatchGetSymbols)

ticker <- '^GSPC'
first_date <- '1950-01-01'
last_date <- '2021-01-01'
df_SP500 <- BatchGetSymbols(tickers = '^GSPC', 
                            first.date = first_date,
                            last.date = last_date)[[2]]

select_n <- 5
tab <- dplyr::tibble(position = 1:select_n,
              top5_positive = sort(df_SP500$ret.adjusted.prices, 
                                   decreasing = TRUE)[1:select_n],
              top5_negative = sort(df_SP500$ret.adjusted.prices, 
                                   decreasing = FALSE)[1:select_n])

print(tab)

my_sol <- sum(tab$top5_positive)

Q.5

Use função replace_outliers (veja seção 9.3), criada neste capítulo, para remover outliers de todas as colunas numéricas dos dados do SP500 importados anteriormente com my_prob = 0.025. Quantas linhas foram perdidas neste processo de limpeza?

Resposta:

A solução é 7281. Para chegar no resultado anterior, deves executar o código abaixo. Para isso, abra um novo script no RStudio (Control+shift+N), copie e cole o código, e rode o script inteiro apertando Control+Shift+Enter ou por linha com Control+Enter.

library(BatchGetSymbols)
library(purrr)

ticker <- '^GSPC'
first_date <- '1950-01-01'
last_date <- '2021-01-01'
df_SP500 <- BatchGetSymbols(tickers = '^GSPC', 
                            first.date = first_date,
                            last.date = last_date)[[2]]

replace_outliers <- function(col_in, my_prob = 0.05) {
  # Replaces outliers from a vector
  #
  # INPUTS: col_in The vector
  #         my_prob Probability of quantiles (p and 1-p)
  #
  # OUTPUT: A vector
  
  # return if class is other than numeric
  if (!(class(col_in) %in% c('numeric', 'integer'))) return(col_in)
  
  my_outliers <- stats::quantile(x = col_in,
                                 probs = c(my_prob, 1-my_prob),
                                 na.rm = TRUE)
  
  idx <- (col_in <= my_outliers[1])|(col_in >= my_outliers[2])
  col_in[idx] <- NA
  
  return(col_in)
  
}

# remove outlivers from vectors
l_out <- map(df_SP500, replace_outliers, my_prob = 0.025)

df_SP500_nooutlier <- na.omit(as_tibble(l_out))

nrow_1 <- nrow(df_SP500)
nrow_2 <- nrow(df_SP500_nooutlier)

my_sol <- nrow_1 - nrow_2

Q.6

Use a função BatchGetSymbols::BatchGetSymbols para baixar os preços do índice FTSE ('^FTSE') de 2010-01-01 até 2021-01-01. Em seguida, reconstrua os dados na frequência anual, definindo cada valor do ano como sendo a última observação do período. Dica: veja a função dplyr::summary_all para uma forma funcional de agregar todas as colunas de um dataframe.

library(BatchGetSymbols)

ticker <- '^FTSE'

first_date <- '2010-01-01'
last_date <- '2021-01-01'

df_FTSE_daily <- BatchGetSymbols(tickers = ticker, 
                            first.date = first_date,
                            last.date = last_date)[[2]]

# change from daily to annual
df_FTSE_yearly <- df_FTSE_daily %>%
  mutate(ref_year = lubridate::year(ref.date)) %>%
  group_by(ref_year) %>%
  summarise_all(.funs = last)

print(df_FTSE_yearly)

Q.7

Use os mesmos dados diários do FTSE e reconstrua os dados na frequência mensal, novamente utilizando a última observação do período.

library(BatchGetSymbols)

ticker <- '^FTSE'

first_date <- '2010-01-01'
last_date <- '2021-01-01'

df_FTSE_daily <- BatchGetSymbols(tickers = ticker, 
                            first.date = first_date,
                            last.date = last_date)[[2]]

# change from daily to monthly
df_FTSE_monthly <- df_FTSE_daily %>%
  mutate(ref_month = format(ref.date, '%Y-%m-01')) %>%
  group_by(ref_month) %>%
  summarise_all(last)

print(df_FTSE_monthly)

Q.8

Para os mesmos dados diários do FTSE, verifique as datas e preços das 20 maiores quedas de preços. Se, para cada um desses casos, um investidor comprasse o índice no preço das maiores quedas e o mantivesse por 30 dias, qual seria seu retorno nominal médio por transação?

Resposta:

A solução é 2,53%. Para chegar no resultado anterior, deves executar o código abaixo. Para isso, abra um novo script no RStudio (Control+shift+N), copie e cole o código, e rode o script inteiro apertando Control+Shift+Enter ou por linha com Control+Enter.

library(tidyverse)
library(BatchGetSymbols)

ticker <- '^FTSE'

first_date <- '2010-01-01'
last_date <- '2021-01-01'

df_FTSE_daily <- BatchGetSymbols(tickers = ticker, 
                            first.date = first_date,
                            last.date = last_date)[[2]]

# buy at t, sell at t+30
trade_window <- 30 

# find largest drops
largest_drops <- df_FTSE_daily %>%
  arrange(ret.adjusted.prices) %>%
  slice(1:20)

# There are many ways to solve the exercise. 
# Here we will use a loop which is the simplest way to looking at the problem.
# You could also solve it with the functional approach of package purrrr,
# that is, writing a function.

tab <- tibble()
for (i_date in seq_along(largest_drops$ref.date)) {
  
  my_date <- largest_drops$ref.date[i_date]
  # filter data to keep only datapoints in each horizon
  temp_df <- df_FTSE_daily %>%
    filter(ref.date >= my_date,
           ref.date <= my_date + trade_window)
  
  
  buy_price <- first(temp_df$price.adjusted)
  sell_price <- last(temp_df$price.adjusted)
  return <- sell_price/buy_price - 1
  
  tab <- bind_rows(tab, 
                   tibble(date = my_date, 
                          buy_price = buy_price, 
                          sell_price = sell_price, 
                          return = return))
}

print(tab)

# solution
my_sol <- mean(tab$return)

8 Programando com o R

10 Visualizando Dados

Capítulo 9 Estruturando e Limpando Dados

9.1 O Formato do dataframe

9.1.1 Conversão entre long e wide

9.2 Convertendo Listas em dataframes

9.3 Eliminando Outliers

9.4 Desinflacionando Dados de Preços

9.5 Modificando a Frequência Temporal dos Dados

9.6 Exercícios

Q.1

Q.2

Q.3

Q.4

Q.5

Q.6

Q.7

Q.8

9.1 O Formato do `dataframe`

9.2 Convertendo Listas em `dataframes`