Présents: Arnaud, Rahim, Mathieu, Jérôme, Louis, Blandine, Alexis, David, Christian, Jérôme, Vincent

Livrables:

3.2: finalisé par Rahim

3.3: Petite description consommation par sentinelle à faire + joindre rapports (re-boucler avec Jean Louis, Victor et Christian avant commande)

6.1: Fait par Marine

Présentation de Louise et Blandine

Capteurs Abeilles operationnels pour Mai

Analyse chimique: protocole analyse en place

Collecte des matériaux: utilisation du matériel présent dans les nids, collecte de l’eau (récupérer les flacons chez David, s’organiser avec les équipes terrain pour l’échantillonnage, tout échantillonner dans la semaine)

Finalisation du protocole Xbee par Malik et Rahim. Maxime/Marine/Thomas font remonter le nichoir rapidement.

Gestion du flux de données: NodeRED->MongoDB->InfluxDB, Pull du serveur beeguard, Itération entre Arnaud et Emmanuel

Installation des stations météo: 10 livrés entre fin février et fin mars,

Mettre Blandine en contact avec Marine pour contacter les apiculteurs.

Louise en charge de la station de Montpellier et Blandine de l’UPS (récupération des flacons pour prélèvement d’eau)

Choix des dates réunion avec tous partenaires (mi mars): Arnaud fait passer un Doodle

Reportage France 3: 4 épisodes de 3-4 min, 1er début mai et dernier en octobre

CR Visio ECONECT 

Plan de gestion de données (DMP) et le système d’information 

17/07/2020

Présents : Maxime Cauchoix (MC), Arnaud Elger (AE), Rahim Kacimi (RK), Emilie Lerigoleur (EL), François Thiébolt (FT)

Objet de la réunion :

– Plan de gestion des données (DMP) dans le projet ECONECT!

– Choix techniques concernant le format des données / le type de base de données

1) Plan de gestion de données (DMP) 

Document devenu livrable pour de nombreux financeurs comme l’ANR, il vise à améliorer la gestion des données tout au long du projet de recherche : les partenaires se mettent d’accord sur les modalités d’acquisition, de stockage/sauvegarde/archivage et de diffusion des différents types de données acquises et produites.

Ce document est évolutif et est complémentaire de l’accord de consortium.

L’outil DMP Opidor permet d’éditer en ligne le modèle de DP de son choix.

Plusieurs modèles existent et parmi les 4 proposés par EL, une préférence est donnée au modèle de l’ANR.

→ Choix du modèle de l’ANR, à confirmer auprès de Sabine Pinel lors du prochain Copil

Le DMP soulève des questions autour des différents thèmes suivants : 

–    Nature des données, volumétrie

–    Convention de nommage

–    Type de fichiers

–    Organisation du stockage (arborescence dossiers et/ou structure BD)

–    Metadata

–    Identifiant pérenne

–    Validation des données

–    Ouverture (ou non) des données : embargo, licence d’utilisation

–    PI sur les données

–    Données à caractère personnel

–    Administrateur des données (gestion)

–  Stockage à court, moyen et long terme – cf. stockage vs. archivage (quelles données, modalités de conservation et d’accès aux données)

–    Coût du stockage (mais aussi de la préparation / validation des données)

Chaque partenaire pourra décider du niveau de partage/ouverture des données en choisissant une licence adaptée. EL recommande l’utilisation des licences creative commons qui offrent un panel des possibles internationalement reconnues et pour certaines compatibles avec les licences ouvertes françaises Etalab (CC-BY notamment). 

Se pose la question de l’anonymisation des personnes qui vont collecter les données dans le cadre de la science participative (pour éviter d’être contraint par le Règlement pour la Protection des Données RGPD) : comment identifier et tracer les mêmes personnes collectant des informations à différents moments ?

A faire :

• AE vérifie si le modèle ANR peut convenir auprès de Sabine et du Copil et informe le groupe
• EL créé dans DMP Opidor le DMP pour ECONECT selon le modèle choisi et validé
• AE/MC : prévoir une réunion spécifique en septembre avec les représentants de la collecte des données selon les différents systèmes connectés + données géographiques + science participative pour se mettre d’accord sur ;
  • les workflows de données
  • les lieux de stockage, les droits d’accès et de diffusion (choix licences)
  • les entrepôts et systèmes d’information en “sortie”, comme par exemple l’INPN ou le PNDB (Pôle national de données de la biodiversité)
  • les standards de données et métadonnées : à anticiper le plus tôt possible pour faciliter l’interopérabilité de notre système d’information avec les systèmes externes (entrepôts, INPN, PNDB, etc.). Par exemple pour les données écologiques, le standard EML pourrait être privilégié. Des réunions spécifiques par grands types de données collectées pourront suivre cette première réunion pour entrer plus en détail.

2) Système d’information ECONECT intégré dans neoCampus

FT présente le data lake de neOCampus avec ses trois zones interconnectées ‘landing area” (raw data), “golden area” (end-users data) et “work zone” (softly processed raw data) avec les API qui y permettent d’y accéder.

Tous les dispositifs sentinelles ECONECT enverront leurs données vers la plateforme qui s’occupera de leur stockage vers la “landing area” du data lake; un mécanisme de workflow (e.g Apache Airflow) permettra la mise en oeuvre de scripts de traitement de type flot de données pour alimenter les autres bases ou systèmes de fichiers.

Un serveur est provisionné où un moteur MongoDB, entre autres, sera déployé pour ECONECT. Une base mongoDB contiendra les données CAPTEURS stockées sous la forme d’un objet accompagné d’une URL d’origine et d’un timestamp. Les données seront stockées telles quelles (i.e data agnostic way). D’autres bases mongoDB pourront bien évidemment être mises en oeuvre pour les autres types de données (qu’il reste à préciser).

Des opérations de backup (dump) de la base CAPTEUR mongoDB seront réalisés à intervalles réguliers.

Pour permettre du machine learning et autres traitements de données, la solution Apache Airflow pourra être envisagée. 

Quid en cas de calculs coûteux (trop de données ou calculs trop complexes) ? RK précise que pour les petits calculs il sera possible de les faire en local dans un conteneur docker du serveur ECONECT. Une alternative est l’hébergement de scripts de traitement des données sur un autre serveur géré par un partenaire du projet, qui viendront se connecter aux bases de données sur le serveur ECONECT pour accéder aux données à traiter. Par contre en cas de calculs trop gourmands, il faudra utiliser des VM d’un datacenter comme par exemple Calmip ou OSIRIM (des conditions peuvent s’appliquer) de l’IRIT.  

→ Identifier les besoins en calculs et le ou les éventuels datacenters

L’ingénieur recruté à l’IRIT dans le cadre d’ECONECT travaillera pour les lots 3 et 4 dès septembre 2020.

→ Voir avec Adict Solutions comment répartir le travail entre l’ingénieur et eux pour le lot 4.

Calendrier ECONECT : pas de report de 6 mois, seulement 2 mois pour les justifications financières (et possiblement le rendu des derniers livrables).