Règles validation auto des données

[pvictor]

Quels sont les règles à appliquer afin de vérifier la validité d'un dataset importé par l'utilisateur ?

[NicoTex]

Filtres :

• Format des colonnes lat/long : numérique (degré décimaux) et compris entre -180 et 180 pour long et -90 et 90 pour lat  flag les lignes qui ne correspondent pas (lignes grisées mais qui apparaissent dans le tableur) mais les enlever automatiquement pour la suite des analyses (bdc :: bdc_coordinates_outOfRange())
• Coordonnées dans océan  coloriser les lignes et les mettre points en brillance sur une carte, puis choix de les désélectionner ou pas CoordinateCleaner::cc_sea()
• Si colonne Pays existe, vérification que le point est dans le bon pays (bdc :: bdc_coordinates_country_inconsistent())

Pour les données provenant de GBIF, les fonctions suivantes de pre-filter semblent appropriées pour tagger ou enlever les occurrences problématiques :
• bdc_scientificName_empty() Identification of records lacking names or with names not interpretable
• bdc_coordinates_empty() Identification of records lacking information on latitude or longitude
• bdc_coordinates_outOfRange() Identification of records with out-of-range coordinates (latitude > 90 or -90; longitude >180 or -180)
• bdc_basisOfRecords_notStandard() Identification of records from doubtful sources (e.g., fossil or machine observation) impossible to interpret and not compatible with Darwin Core recommended vocabulary
• bdc_country_from_coordinates() Derive country name from valid geographic coordinates
• bdc_country_standardized() Standardization of country names and retrieve country code
• bdc_coordinates_transposed() Identification of records with potentially transposed latitude and longitude
• bdc_coordinates_country_inconsistent() Identification of coordinates in other countries or far from a specified distance from the coast of a reference country (i.e., in the ocean)
• bdc_query_names_taxadb() Harmonization of scientific names by correcting spelling errors and converting nomenclatural synonyms to currently accepted names.

[NicoTex]

Bonjour, vous n'avez pas de questions pour l'instant sur l'extraction des données ni sur les règles de validation à appliquer ?

[pvictor]

Bonjour Nicolas, merci pour la réponse détaillée, j'étais en congé la semaine dernière, je regarde cela cette semaine !

[NicoTex]

Bonjour, pouvez-vous nous faire le point où vous en êtes ? Est-ce que c'est clair ? Est-ce que vous avez certaines difficultés ? Peut-être des difficultés de compréhension de l'attendu ? Avez-vous besoin que l'on vous guide plus ? Nous avions dit que vous deviez nous présenter les premiers avancements fin mars, donc merci de nous faire un point de l'avancée et des besoins.

[pvictor]

Bonjour Nicolas, mes excuses, je vous fait un CR par mail cette après-midi, et nous pouvons organiser un point vendredi ou début de semaine prochaine.

[gdauby]

Une validation supplémentaire sur les données concerne la précision du géoréférencement.
Cette précision est un code allant de 1 à 9 et peut être soit donné par l'utilisateur (il faut alors donner la possibilité d'ajouter cette information qui doit être numérique, lors du choix des colonnes) soit calculée sur la base des coordonnées latitude longitude.
J'ai une fonction qui permet de calculer ce code, voir ci dessous.

La fonction dépend des packages dplyr et rlang, deux dépendances qui pourrait être supprimées, nécessitant alors de retravailler la fonction.

Une fois que ce code est disponible pour l'ensemble des occurrences (pour lesquelles les coordonnées sont dispo), il faudrait le faire apparaître sur le tableur et la carte lors de l'étape de filtrage manuel. Pour faire apparaitre cette information sur la carte, on pensait faire apparaitre les points donc la valeur est inférieure à un seuil défini (par défaut 2 je dirais, seuil <= 2 alors point apparaissant en rouge (ou autre indicateur).

#' compute accuracy of coordinates
#'
#' convert into degrees minutes seconds and give code from 1 (low accuracy) to 8 (high accuracy) of accuracy
#'
#' @return tibble provided with additional columns
#'
#' @author Gilles Dauby, \email{gilles.dauby@@ird.fr}
#' 
#' @param xy data.frame with longitude as first colum and latitude as second colums, in decimal degrees
#' @param col_x column name containing the longitude
#' @param col_y column name containing the latitude
#' 
#' @examples 
#' test <- tibble(x = c(8.8633, 6.2, 4), y = c(0.1321, 0.22, 1))
#' coord_accuracy(xy = test, col_x = "x", col_y = "y")
#' 
#' 
#' @importFrom dplyr mutate filter pull select
#' @importFrom rlang enquo sym
#' @importFrom measurements conv_unit
#'
#' @export
coord_accuracy <- function(xy, col_x, col_y, rounding = TRUE) {
  
  xy <-
    xy %>%
    dplyr::mutate(id_accur = seq(1, nrow(.), 1))
  
  var1 <- rlang::enquo(col_x)
  
  select_lon <-
    xy %>%
    dplyr::select(!!var1) %>%
    dplyr::filter(!is.na(!!rlang::sym(col_x))) %>%
    dplyr::pull()
  
  
  longitude_char <-
    select_lon %>%
    measurements::conv_unit(from = "dec_deg", to = "deg_min_sec")
  
  longitudes_split <- strsplit(longitude_char, split = " ")
  
  longitudes_tb <-
    tibble(id = xy %>% dplyr::filter(!is.na(!!rlang::sym(col_x))) %>% dplyr::pull(id_accur),
           degrees_lon = as.numeric(unlist(lapply(longitudes_split, function(x) x[1]))),
           minutes_lon = as.numeric(unlist(lapply(longitudes_split, function(x) x[2]))),
           secondes_lon = as.numeric(unlist(lapply(longitudes_split, function(x) x[3]))))
  
  if(rounding) longitudes_tb <-
    longitudes_tb %>%
    mutate(secondes_lon = round(secondes_lon, 2))
  
  longitudes_tb <-
    longitudes_tb %>%
    mutate( code_lon = dplyr::case_when(
      near(minutes_lon, 0) & near(secondes_lon, 0)    ~   1 ,
      near(minutes_lon/15, round(minutes_lon/15, 0)) & (near(secondes_lon, 0) | near(secondes_lon, 60)) & !near(minutes_lon, 0)      ~   2,
      near(minutes_lon/5, round(minutes_lon/5, 0)) & (near(secondes_lon, 0) | near(secondes_lon, 60)) & !near(minutes_lon, 0)      ~   3,
      near(minutes_lon/2, round(minutes_lon/2, 0)) & (near(secondes_lon, 0) | near(secondes_lon, 60)) & !near(minutes_lon, 0)      ~   4,
      near(secondes_lon, 0) | near(secondes_lon, 60)      ~   5,
      near(secondes_lon, round(secondes_lon, 1))      ~   6,
      near(secondes_lon, round(secondes_lon, 10))      ~   7,
      near(secondes_lon, round(secondes_lon, 100))      ~   8
    ))
  
  if(longitudes_tb  %>%
     dplyr::filter(is.na(code_lon)) %>%
     nrow()>0) stop("coordinates not coded")
  
  var2 <- rlang::enquo(col_y)
  
  select_lat <-
    xy %>%
    dplyr::select(!!var2) %>%
    dplyr::filter(!is.na(!!rlang::sym(col_y))) %>%
    dplyr::pull()
  
  latitude_char <-
    select_lat %>%
    measurements::conv_unit(from = "dec_deg", to = "deg_min_sec")
  
  latitudes_split <- strsplit(latitude_char, split = " ")
  
  latitudes_tb <-
    dplyr::tibble(id = xy %>% filter(!is.na(!!rlang::sym(col_y))) %>% pull(id_accur),
           degrees_lat = as.numeric(unlist(lapply(latitudes_split, function(x) x[1]))),
           minutes_lat = as.numeric(unlist(lapply(latitudes_split, function(x) x[2]))),
           secondes_lat = as.numeric(unlist(lapply(latitudes_split, function(x) x[3]))))
  
  
  if(rounding) latitudes_tb <-
    latitudes_tb %>%
    dplyr::mutate(secondes_lat = round(secondes_lat, 2))
  
  latitudes_tb <-
    latitudes_tb %>%
    dplyr::mutate( code_lat = dplyr::case_when(
      near(minutes_lat, 0) & near(secondes_lat, 0)    ~   1 ,
      near(minutes_lat/15, round(minutes_lat/15, 0)) & (near(secondes_lat, 0) | near(secondes_lat, 60)) & !near(minutes_lat, 0)      ~   2,
      near(minutes_lat/5, round(minutes_lat/5, 0)) & (near(secondes_lat, 0) | near(secondes_lat, 60)) & !near(minutes_lat, 0)      ~   3,
      near(minutes_lat/2, round(minutes_lat/2, 0)) & (near(secondes_lat, 0) | near(secondes_lat, 60)) & !near(minutes_lat, 0)      ~   4,
      near(secondes_lat, 0) | near(secondes_lat, 60)      ~   5,
      near(secondes_lat, round(secondes_lat, 1))      ~   6,
      near(secondes_lat, round(secondes_lat, 10))      ~   7,
      near(secondes_lat, round(secondes_lat, 100))      ~   8
    ))
  
  if(latitudes_tb  %>%
     dplyr::filter(is.na(code_lat)) %>%
     nrow()>0) stop("coordinates not coded")
  
  xy <-
    xy %>%
    dplyr::left_join(longitudes_tb, by=c("id_accur"="id"))
  
  xy <-
    xy %>%
    dplyr::left_join(latitudes_tb, by=c("id_accur"="id"))
  
  xy <-
    xy %>%
    dplyr::mutate(calc_accuracy = ifelse(code_lat<code_lon, code_lon, code_lat))
  xy <-
    xy %>%
    dplyr::select(-id_accur)
  return(xy)
}

``

[pvictor]

Ok, ça marche, j'intègre cela.
La dépendance à dplyr est déjà présente, rlang on doit pouvoir s'en passer avec les fonctions réexportées dans dplyr, measurements il faut l'ajouter.
On doit également pouvoir factoriser le code.

[pvictor]

Doit-on ajouter une règle de validation pour écarter les valeurs manquantes de la variable "Collection year" (si fournise) ?

[gdauby]

Non

[gdauby]

@pvictor

Lorsque les données importées proviennent de GBIF, il faut filtrer sur la colonne 'issues', je suppose dans la fonction retrieve_occ_data.

Exemple ci dessous

specieskey <- search_species_info(species_name = c("Aucoumea klaineana"))$specieskey

res <- rgbif::occ_data(taxonKey = unique(specieskey), limit = 100000)

### patterns in issues to be excluded
patterns <- c("zerocd" ,"preswcd", "preneglon", "preneglat", "cucdmis", "cdrepf", "cdout", "cdiv")

res$data %>% 
  filter(!grepl(paste(patterns, collapse="|"), issues))