Stockage et interrogation des autres producteurs de données d’observations
Les bases naturalistes et le SINP
Tout producteur d’observations naturalistes en France est soit tenu (structure publiques, associations), soit incité (entreprises privées) à faire remonter ses données à l’INPN dans le cadre de la démarche SINP.
Cette remonté depuis les différentes producteurs dans une base unique pose de nombreux problèmes, dont celui de la redondance d’information. En effet, quand un producteur de données importe dans sa base un jeu de données provenant d’un autre producteur, il risque au moment de la remontée à l’INPN de faire remonter des données que le producteur originel remontera parallèlement également, créant ainsi un doublon de l’information, avec probablement une altération partielle des données ne facilitant pas leur détection comme doublon.
Pour répondre à cette problématique, il y a différente possibilité technique. Au Cen CVL, nous avons choisi de ne pas importer ces jeux de données dans la base qui contient nos propres données. De ce fait nos bases ne reçoivent depuis quelques années que les observations effectuées directement par des personnes au titre du cen (salariés, bénévoles, sous-traitant).
Toutes les données de nos partenaires vont être stockées différemment, cet article vous en indique le comment.
Partenaires, producteurs du SINP
Qui entend-t-on par partenaire ? A ce jour les structures suivantes sont concernées :
- CAUDALIS : association naturaliste du département 37,
- Conservatoire Botanique National : cette structure a migré récemment sa base Flora vers un nouvel outil appelé Lobelia,
- DREAL Centre-Val de Loire,
- FNE Centre-Val de Loire : autre partenaire majeure sur la région entière nous récupérons des données provenant notamment de leur base SIRFF,
- Indre Nature : nous sommes amenés à récupérer des jeux de données depuis leur plate-forme ObsIndre,
- INPN : chargé de la rediffusion des données remontées dans le cadre du SINP, la consultation et l’export de donné se fait depuis la plate-forme Openobs,
- PNR Brenne : en tant que co-gestionnaire de la réserve TEBMF, nous avons une convention d’échange de nos données,
- SEPANT : oeuvrant elle aussi dans le département d’Indre-et-Loire, nous récupérons régulièrement des jeux de données produits par la SEPANT.
Stockage des données
A chaque partenaire correspond une table dédié au format source fourni par le producteur, et une vue à la mode ’SINP’ permettant une mise en forme commune quelque soit le producteur.
Voici les tables en détail :
| donnée source | vu reformatée style SINP |
|---|---|
| inventaire.caudalis | inventaire.vum_caudalis |
| inventaire.lobelia | inventaire.vum_lobelia |
| inventaire.dreal_export | inventaire.vum_dreal |
| inventaire.sirff_export | inventaire.vum_sirff |
| inventaire.obsindre_export | inventaire.vum_obsindre |
| inventaire.openobs | inventaire.vum_openobs |
| inventaire.obs_pnrbrenne_tebmf | inventaire.vum_obs_pnrbrenne |
| inventaire.sepant | inventaire.vum_sepant |
Intégration de jeux de données
A chaque fois qu’un scientifique récupère un jeu de donnée de l’un de ces partenaires, il doit passer par l’administrateur de la base de donnée pour intégration dans les tables adéquates. Merci de lui fournir les fichiers d’export tels que fournis par le producteur de donnée, sans modification des fichiers avant transfert de ces derniers à l’administrateur.
L’administrateur vous tiendra au courant de la bonne importation du jeu de donnée et de la mise à jour des tables de consultation.
Exploitation des données
Qgis ou pgadmin
Il est possible de consulter directement les tables concernées via les outils standards qui peuvent se connecter à la base et vous permettent d’ouvrir les tables brutes ou de spécifier des requêtes en SQL.
Dans ce cadre, vous serez amener à ouvrir autant de tables que nécessaire, celle du ou des partenaires, et celles du Cen CVL, pour avoir toutes les données sur un territoire.
Pensez-bien à préciser au maximum vos besoins pour accélérer les temps d’affichage. Exemple ici, la récupértation d’un jeu de données sur un site du 45 ou l’on sait que des données SIRFF existent :
SELECT v.* FROM inventaire.vum_sirff v, spatial.sites
WHERE ST_intersects(v.geometrie, sites.geom)
AND codsit='45016A'Redash
Dans redash, des requêtes ont été préparé pour vous faciliter le travail. Elles interrogent toutes les tables de tous les partenaires en paramétrant juste le site (ou site d’inventaire) et un tampon autour du site.
Liste d’espèces (annexe de PG) :
- La requête sur toutes les tables,
- le tableau de bord avec les différentes possibilités dont la requête précédente.
liste d’observations :
- la requête par site ou par site d’inventaire sur toutes les tables,
- le tableau de bord des annexes de PG avec les différentes possibilités dont la requête précédente