041_studyCase.Rmd

# (PART) Annexes {-}

# Manipuler des dates et des heures {#studyCase001}

\index{date}
\index{heure}
\index{POSIX}
\index{timestamp}

Dans les études de biologie, d'écologie ou d'agronomie, nous utilisons fréquemment des données de température provenant de dataloggers. Dans cette étude de cas, nous verrons comment représenter ces données en utilisant les données de température de l'altiplano bolivien près de la ville de El Alto. La première étape consiste à transformer les données du datalogger en un format identifiable pour R. Nous utiliserons un fichier CSV et la fonction [`read.table()`](#import). Le fichier peut être téléchargé à partir de GitHub (https://github.com/frareb/myRBook_FR/blob/master/myFiles/E05C13.csv), ou alors lu directement par R depuis sa source (https://raw.githubusercontent.com/frareb/myRBook_FR/master/myFiles/E05C13.csv).

```{r 041-studyCase-1, linewidth=65}
# Lecture du fichier en local après téléchargement : 
bdd <- read.table(
  "myFiles/E05C13.csv", 
  skip = 1, header = TRUE, 
  sep = ",", dec = ".", 
  stringsAsFactors = FALSE)
# Lecture du fichier depuis GitHub : 
# URL <- paste0("https://raw.githubusercontent.com/",
#   "frareb/myRBook_FR/master/myFiles/E05C13.csv")
# bdd <- read.table(
#   URL, 
#   skip = 1, 
#   header = TRUE,
#   sep = ",",
#   dec = ".",
#   stringsAsFactors = FALSE)
colnames(bdd) <- c("id", "date", "temp")
head(bdd)
tail(bdd)
str(bdd)
```

Nous pouvons voir que la date est au format `character` et qu'elle contient la date avec le mois, le jour et l'année séparés par `/`, puis vient un espace et l'heure avec des heures de 0 à 23, minutes et secondes, séparés par `:` (exemple: `11/12/15 23:00:00` pour le 12 novembre 2015 à 11 heures du soir). Bien que cela ne soit pas nécessaire dans l'absolu, voyons comment séparer la date de l'heure pour que cette étude puisse couvrir tous les cas. Pour cela, nous utiliserons la fonction `strsplit()` en utilisant l’espace entre la date et l’heure comme séparateur.

```{r 041-studyCase-2}
strsplit("11/12/15 23:00:00", split = " ")
```

Comme l'indiquent les doubles crochets, la fonction `strsplit()` renvoie un objet dans le format `list`. Nous voulons récupérer le `vector` qui correspond au premier élément de la liste, donc nous allons ajouter `[[1]]`.

```{r 041-studyCase-3}
strsplit("11/12/15 23:00:00", split = " ")[[1]]
```

Le premier élément du `vector` correspond à la date. Pour récupérer la date pour l'ensemble des lignes de notre objet `bdd`, nous allons faire une boucle avec la fonction `sapply()`.

```{r 041-studyCase-4}
bddDay <- sapply(
  strsplit(
    bdd[, 2], 
    split = " "), 
  "[[", 1)
head(bddDay)
```

Ensuite, il nous faut indiquer à R que cette information correspond à une date. Pour cela nous allons utiliser un nouveau type de données : la classe `Date`. Pour cela nous allons transformer ce qui est pour l'instant une chaîne de texte (`character`), au format `Date` avec la fonction `as.Date()`. 

```{r 041-studyCase-5}
bddDay <- as.Date(
  sapply(
    strsplit(
      bdd[, 2], 
      split = " "), 
    "[[", 1), 
  format = "%m/%d/%y")
head(bddDay)
```

Nous allons maintenant ajouter l'objet `bddDay` à notre `data.frame` `bdd` afin de conserver l'information dans une nouvelle colonne. Ensuite, nous allons vérifier que cette nouvelle colonne dans notre `data.frame` est bien au format `Date` avec la fonction `str()`

```{r 041-studyCase-6, linewidth=65}
bdd$day <- bddDay
str(bdd)
```

Voyons maintenant le cas où l'information sur l'heure est souhaitée. Dans ce cas c'est le format `POSIX` qu'il faudra utiliser avec la fonction `as.POSIXct()` qui va représenter le nombre de secondes depuis le premier janvier 1970 (que l'on pourra visualiser avec `as.numeric()`). De la même manière nous allons ajouter l'information dans notre objet `bdd` et vérifier le format avec la fonction `str()`.

```{r 041-studyCase-7, linewidth=65}
bddPosix <- as.POSIXct(
  bdd$date, 
  format = "%m/%d/%y %H:%M:%S")
head(bddPosix)
bdd$posix <- bddPosix
str(bdd)
```

Dans les fonctions `as.Date()` et `as.POSIXct()`, nous avons utilisé l'argument `format` qui correspond au format dans lequel l'information sur la date (et l'heure) est codée. Voici les éléments pour le formatage de cette information :

| code | Valeur |
|--------|-------|
|%a|jour de la semaine (abréviation)|
|%A|jour de la semaine|
|%b|mois (abréviation)|
|%B|mois|
|%d|jour du mois (décimal)|
|%j|jour de l'année (décimal)|
|%m|mois (décimal)|
|%y|année avec deux chiffres|
|%Y|année|
|%U|semaine de l'année en commençant par dimanche (décimal)|
|%W|semaine de l'année en commençant par lundi (décimal)|
|%H|heure 24|
|%I|heure 12|
|%M|minute|
|%S|seconde|

Maintenant que les informations sur la date et l'heure sont bien identifiées par R, nous pouvons visualiser les données avec la fonction `plot()` (Figure \@ref(fig:041-studyCase-8)).

```{r 041-studyCase-8, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données brutes d'une série temporelle."}
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(x = bdd$day, y = bdd$temp, 
  type = 'l', ylim = c(-15, 40), 
  xlab = "Temps", ylab = "Température (°C)")
```

Nous pouvons simplifier les informations en ne calculant que les températures minimales, moyennes et maximales par jour avec la fonction `tapply()` (Figure \@ref(fig:041-studyCase-9)). 

```{r 041-studyCase-9, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données agrégées par jour ; voir le cahier en couleurs."}
tempDayMean <- tapply(bdd$temp, INDEX = bdd$day, FUN = mean)
tempDayMin <- tapply(bdd$temp, INDEX = bdd$day, FUN = min)
tempDayMax <- tapply(bdd$temp, INDEX = bdd$day, FUN = max)
par(mar = c(4, 4, 1, 1))
plot(x = as.Date(names(tempDayMean), format = "%Y-%m-%d"), 
  y = tempDayMean, type = 'l', ylim = c(-15, 40), 
  xlab = "Temps", ylab = "Température (°C)", lwd = 2)
points(as.Date(names(tempDayMin), format = "%Y-%m-%d"), 
  y = tempDayMin, type = 'l', col = 4, lwd = 2)
points(as.Date(names(tempDayMax), format = "%Y-%m-%d"), 
  y = tempDayMax, type = 'l', col = 2, lwd = 2)
legend("topright", legend = c("min", "max", "mean"), 
  lty = 1, lwd = 2, col = c(4, 2, 1))
```

Nous pouvons très facilement représenter la même information par semaine. Il suffit de changer l'argument `INDEX` pour la semaine. Voici un exemple de format par semaine (Figure \@ref(fig:041-studyCase-11)).

```{r 041-studyCase-10}
anoSem <- format(bdd$posix, format = "%Y-%W")
head(anoSem)
```

```{r 041-studyCase-11, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données agrégées par semaine ; voir le cahier en couleurs."}
tempWeekMean <- tapply(bdd$temp, 
  INDEX = format(bdd$posix, format = "%Y-%W-1"), FUN = mean)
tempWeekMin <- tapply(bdd$temp, 
  INDEX = format(bdd$posix, format = "%Y-%W-1"), FUN = min)
tempWeekMax <- tapply(bdd$temp, 
  INDEX = format(bdd$posix, format = "%Y-%W-1"), FUN = max)
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(
  x = as.Date(names(tempWeekMean), format = "%Y-%W-%u"), 
  y = tempWeekMean, 
  type = 'l', ylim = c(-15, 40), 
  xlab = "Date", ylab = "Temperature (°C)", 
  lwd = 3)
points(
  x = as.Date(names(tempWeekMin), format = "%Y-%W-%u"), 
  y = tempWeekMin, 
  type = 'l', col = 4, lwd = 3)
points(
  x = as.Date(names(tempWeekMax), format = "%Y-%W-%u"), 
  y = tempWeekMax, 
  type = 'l', col = 2, lwd = 3)
legend("topright", legend = c("min", "max", "mean"), 
  lty = 1, lwd = 2, col = c(4, 2, 1))
```

Dans ce type de représentation, nous perdons l'information sur la variabilité des températures au sein d'une semaine. En fonction des objectifs, il pourra être intéressant de préférer une représentation sous forme de `boxplot` (ici un boxplot par mois en formatant la date avec `"%Y-%m"` ; Figure \@ref(fig:041-studyCase-12)). Nous pourrons noter que le code est plus simple grâce à l'usage de `~` qui peut être traduit par "en fonction de" (`bdd$temp ~ format(bdd$posix, format = "%Y-%m")` correspond donc à la température en fonction de la date au format POSIX reformatée pour ne faire apparaître que l'année et le mois).

```{r 041-studyCase-12, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données agrégées par mois."}
par(mar = c(5, 4, 0, 0))
boxplot(
  bdd$temp ~ format(bdd$posix, format = "%Y-%m"), 
  las = 3,
  xlab = "", ylab = "Température (°C)")
```

Pour comparer les différentes valeurs de température, il peut être utile d'attribuer une couleur à chaque boxplot. Par exemple, nous pouvons utiliser un gradient de couleurs du bleu au rouge en utilisant la valeur moyenne de la température (Figure \@ref(fig:041-studyCase-13)).

```{r 041-studyCase-13, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données agrégées par mois ; voir le cahier en couleurs."}
tempMonthMean <- tapply(bdd$temp, 
  INDEX = format(bdd$posix, format = "%Y-%m"), FUN = mean)
myCol <- colorRampPalette(c("blue", "red"))(101)
tempMeanDayPos <- round(
  (tempMonthMean - min(tempMonthMean)) / 
    (max(tempMonthMean) - min(tempMonthMean))*100) + 1
par(mar = c(5, 4, 0, 0)) 
boxplot(
  bdd$temp ~ format(bdd$posix, format = "%Y-%m"), 
  las = 3, 
  col = myCol[tempMeanDayPos],
  xlab = "", ylab = "Température (°C)")
```

Après avoir calculé la température moyenne par mois (`tempMonthMean`), nous avons créé une palette de 101 valeurs du bleu au rouge avec la fonction `colorRampPalette()`. Ensuite nous avons transformé la température moyenne pour lui donner une valeur entre 1 et 101 stockée dans la variable `tempMeanDayPos`. Le boxplot prend ensuite la couleur correspondante à l'index de la température transformée (`col = myCol[tempMeanDayPos]`).

Et pour celles et ceux qui utilisent `ggplot2` (Figure \@ref(fig:041-studyCase-14)) :

```{r 041-studyCase-14, fig.width=10, fig.height=6, out.width = '90%', fig.cap="Données agrégées par mois ; voir le cahier en couleurs."}
pkgCheck <- function(x){ 
    if (!require(x, character.only = TRUE)){
        install.packages(x, dependencies = TRUE)
        if(!require(x, character.only = TRUE)) {
            stop()
        }
    }
}
pkgCheck("ggplot2")

tempMonthMean <- tapply(bdd$temp, 
  INDEX = format(bdd$posix, format = "%Y-%m"), FUN = mean)
myCol <- colorRampPalette(c("blue", "red"))(101)
tempMeanDayPos <- round(
  (tempMonthMean - min(tempMonthMean)) / 
    (max(tempMonthMean) - min(tempMonthMean))*100) + 1
p01 <- ggplot(
  data = bdd, 
  aes(
    x = posix, 
    y = temp, 
    group = format(posix, format = "%Y-%m"))) + 
    geom_boxplot(
      outlier.colour = "black", 
      fill = myCol[tempMeanDayPos])
p01
```

Nous pouvons également calculer la différence entre la température maximale et la température minimale (variation de la température par jour ; Figure \@ref(fig:041-studyCase-15)).

```{r 041-studyCase-15, fig.width=10, fig.height=6, out.width = '100%', fig.cap="Variation de la température par jour."}
tempDayTR <- tempDayMax - tempDayMin
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(
  x = as.Date(names(tempDayMean), format = "%Y-%m-%d"), 
  y = tempDayTR, type = 'l', ylim = c(5, 45), 
  xlab = "Date", 
  ylab = "Variation de température par jour (°C)", 
  lwd = 3)
```

Une autre possibilité de représentation est de regrouper les données pour avoir la température moyenne des heures de la journée avec la fonction `aggregate()` (Figure \@ref(fig:041-studyCase-16)).

```{r 041-studyCase-16, fig.width=10, fig.height=6, out.width = '100%', fig.cap="Données agrégées par heure ; voir le cahier en couleurs."}
tempHourMean <- aggregate(
  x = bdd$temp, 
  by = list(format(bdd$posix, format = "%H:%M")), 
  FUN = mean)
tempHourMin <- aggregate(
  x = bdd$temp, 
  by = list(format(bdd$posix, format = "%H:%M")), 
  FUN = min)
tempHourMax <- aggregate(
  x = bdd$temp, 
  by = list(format(bdd$posix, format = "%H:%M")), 
  FUN = max)
hours <- seq(from = 0, to = 23.5, by = 0.5)
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(
  x = hours, 
  y = tempHourMean[, 2], 
  type = 'l', ylim = c(-15, 40), 
  xlab = "", ylab = "Température (°C)", 
  lwd = 2, 
  xaxt = "n", 
  panel.first = {
    abline(v = hours, col = "gray", lty = 2)
    abline(h = 0, lty = 2)  
  })
axis(
  side = 1, 
  at = hours, 
  labels = tempHourMean[, 1], 
  las = 2)
points(
  x = hours, 
  y = tempHourMin[, 2], 
  type = 'l', col = 4, lwd = 2)
points(
  x = hours, 
  y = tempHourMax[, 2], 
  type = 'l', col = 2, lwd = 2)
```

Nous pouvons également calculer les températures des heures de la journée pour chaque mois (Figure \@ref(fig:041-studyCase-17)).

```{r 041-studyCase-17, fig.width=10, fig.height=6, out.width = '100%', fig.cap="Données agrégées par heure et par mois ; voir le cahier en couleurs."}
meses <- c("Janvier", "Février", "Mars", "Avril", "Mai", 
  "Juin", "Juillet", "Août", "Septembre", "Octobre", 
  "Novembre", "Décembre")
hours <- seq(from = 0, to = 23.5, by = 0.5)
bddMonth <- format(bdd$day, format = "%m")
tempDayEachMonth <- lapply(
  sort(unique(bddMonth)), function(myMonth){
    bddX <- bdd[bddMonth == myMonth, ]
    tempHourMean <- aggregate(
      x = bddX$temp, 
      by = list(format(bddX$posix, format = "%H:%M")), 
      FUN = mean)
    tempHourMin <- aggregate(
      x = bddX$temp, 
      by = list(format(bddX$posix, format = "%H:%M")), 
      FUN = min)
    tempHourMax <- aggregate(
      x = bddX$temp, 
      by = list(format(bddX$posix, format = "%H:%M")), 
      FUN = max)
    tempHourSd <- aggregate(
      x = bddX$temp, 
      by = list(format(bddX$posix, format = "%H:%M")), 
      FUN = sd)
  return(
    data.frame(
      tempHourMean, 
      min = tempHourMin[, 2], 
      max = tempHourMax[, 2], 
      sd = tempHourSd[, 2]))
})
par(mar = c(4, 4, 1, 1)) 
# for (i in seq_along(tempDayEachMonth)){ # pour tous les mois
i <- 1 # uniquement Janvier 
  plot(
    x = hours, 
    y = tempDayEachMonth[[i]][, 2], 
    type = 'l', ylim = c(-15, 40), 
    xlab = "", ylab = "Température (°C)", 
    lwd = 2, 
    main = meses[i],
    xaxt = "n", panel.first = {
      abline(v = hours, col = "gray", lty = 2)
      abline(h = 0, lty = 2)  
    })
  axis(
    side = 1, 
    at = hours, 
    labels = tempHourMean[, 1], 
    las = 2)
  points(
    x = hours, 
    y = tempDayEachMonth[[i]]$min, 
    type = 'l', col = 4, lwd = 2)
  points(
    x = hours, 
    y = tempDayEachMonth[[i]]$max, 
    type = 'l', col = 2, lwd = 2)
# }
```

Les températures moyennes par tranche horaire pour chaque mois peuvent être regroupées dans un même graphique (Figure \@ref(fig:041-studyCase-18)). Nous pouvons aussi calculer les écarts-types de la température par tranche horaire et par mois (Figure \@ref(fig:041-studyCase-18b)).

```{r 041-studyCase-18, fig.width=10, fig.height=6, out.width = '100%', fig.cap="Température par heure et par mois ; voir le cahier en couleurs."}
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(
  x = hours, 
  y = tempDayEachMonth[[1]][, 2], 
  type = 'n', 
  ylim = c(-10, 35),
  xlab = "", 
  ylab = "Température moyenne (°C)",
  xaxt = "n", 
  panel.first = {
    abline(v = hours, col = "gray", lty = 2)
    abline(h = 0, lty = 2)  
  })
axis(
  side = 1, 
  at = hours, 
  labels = tempHourMean[, 1], 
  las = 2)
myColors <- c("#A6CEE3", "#1F78B4", "#B2DF8A", "#33A02C", 
  "#FB9A99", "#E31A1C", "#FDBF6F", "#FF7F00", "#CAB2D6", 
  "#6A3D9A", "#FFFF99", "#B15928")
for (i in seq_along(tempDayEachMonth)){
  points(x = hours, 
    y = tempDayEachMonth[[i]][, 2], 
    type = 'l', col = myColors[i], lwd = 2)
}
legend(
  "topright", 
  ncol = 4, 
  legend = meses, 
  col = myColors, 
  lty = 1, lwd = 2, 
  cex = 0.8, bg = "white")
```

```{r 041-studyCase-18b, fig.width=10, fig.height=6, out.width = '100%', fig.cap="Variations de température par mois ; voir le cahier en couleurs."}
par(mar = c(4, 4, 1, 1)) # réduction des marges
plot(
  x = hours, 
  y = tempDayEachMonth[[1]]$sd, 
  type = 'n', 
  ylim = c(0, 8),
  xlab = "", 
  ylab = "Écarts-types de la température par tranche horaire et par mois",
  xaxt = "n", 
  panel.first = {
    abline(v = hours, col = "gray", lty = 2)
    abline(h = 0, lty = 2)  
  })
axis(
  side = 1, 
  at = hours, 
  labels = tempHourMean[, 1], 
  las = 2)
myColors <- c("#A6CEE3", "#1F78B4", "#B2DF8A", "#33A02C", 
  "#FB9A99", "#E31A1C", "#FDBF6F", "#FF7F00", "#CAB2D6", 
  "#6A3D9A", "#FFFF99", "#B15928")
for (i in seq_along(tempDayEachMonth)){
  points(
    x = hours, 
    y = tempDayEachMonth[[i]]$sd,
    type = 'l', 
    col = myColors[i], 
    lwd = 2)
}
legend(
  "topright", 
  ncol = 4, 
  legend = meses, 
  col = myColors,
  lty = 1, lwd = 2, 
  cex = 0.8, bg = "white")
```

Nous pouvons aussi représenter les températures par mois avec les graphiques de type "ridgeline" et le package `ggplot2` (https://www.data-to-viz.com/graph/ridgeline.html ; Figure \@ref(fig:041-studyCase-19)).

```{r 041-studyCase-19, fig.width=10, fig.height=6, fig.cap="Graphique de type ridgeline ; voir le cahier en couleurs."}
pkgCheck <- function(x){ 
  if (!require(x, character.only = TRUE)){
    install.packages(x, dependencies = TRUE)
    if(!require(x, character.only = TRUE)) {
      stop()
    }
  }
}
pkgCheck("ggplot2")
pkgCheck("ggridges")
pkgCheck("viridis")
meanTemps <- unlist(lapply(tempDayEachMonth, "[[", 2))
labelMonth <- rep(meses, each = 48)
dfTemps <- data.frame(month = labelMonth, value = meanTemps, 
  stringsAsFactors = FALSE)
dfTemps$month <- factor(dfTemps$month, levels = rev(meses))
p <- ggplot(
  data = dfTemps, 
  aes(y = month, x = value,  fill = ..x..))
p <- p + geom_density_ridges_gradient(stat = "binline")
p <- p + scale_fill_viridis(
  name = "Temp. [°C]", option = "C")
p <- p + xlab("Temperature") + ylab("") +
    theme(
      legend.position="none",
      panel.spacing = unit(0.1, "lines"),
      strip.text.x = element_text(size = 8)
    ) 
p
```