CIOOS Atlantic ERDDAP
Accès plus facile aux données scientifiques

Présenté par NOAA NMFS SWFSC ERD    

ERDDAP > Informations

ERDDAP est un serveur de données qui vous offre un moyen simple et cohérent de télécharger des sous-ensembles d'ensembles de données scientifiques dans des formats de fichiers courants et de créer des graphiques et des cartes.

Table des matières

Les problèmes que ERDDAP essaie de résoudre

Sans ERDDAP, lorsqu'une personne (ou un programme informatique) recherche sur Internet un type spécifique de données scientifiques (par exemple, des données satellitaires sur la température de la surface de la mer), il y a des problèmes ...

Solutions ERDDAP

DAP ? OPeNDAP ? DODS ? ERDDAP ? Quelle est la différence? Ma compréhension (de Bob) est :

DODS (Distributed Oceanographic Data System) a été créé dans les années 1990, avant qu'il n'y ait http: (!). Le système DODS a créé et utilisé le protocole dods: sur Internet. Lorsque HTTP est arrivé et a connu un tel succès, ils sont passés de dods: à http:.

À un moment donné, ils ont réalisé que le système était utile pour plus que de simples données océanographiques. Alors ils ont abandonné ce nom DODS (bien qu'il vive dans un certain code), ont formé une petite organisation appelée OPeNDAP  (external link) et écrit la spécification DAP (Data Access Protocol)  (external link), qui standardise le format des demandes de métadonnées et/ou de données, et les réponses avec les métadonnées et/ou les données. OPeNDAP (l'organisation) dirige toujours DAP (la spécification) et est l'auteur de Hyrax (le serveur de données qui est souvent appelé à tort OPeNDAP ).

Hyrax, THREDDS, GRADS, ERDDAP et autres sont des serveurs de données (logiciels) qui implémentent DAP . Ils implémentent chacun un sous-ensemble de DAP mais font d'autres choses très différemment.

ERDDAP utilise du code (dans le répertoire "dods") (écrit en fait par Jake Hamby au NASA JPL) pour certaines fonctionnalités de lecture de données à partir de serveurs DAP externes. ERDDAP utilise son propre code pour écrire les réponses DAP .
 

L' ERDDAP est-il une solution aux problèmes de distribution/accès aux données de chacun ?
Non. ERDDAP essaie de trouver une solution idéale à la plupart des problèmes de distribution de données auxquels nous avons été confrontés. ERDDAP adopte une approche middleware : il peut obtenir des données à partir de nombreux types différents de serveurs de données distants et il peut fournir ces données aux clients dans de nombreux formats de fichiers différents. Il est conçu comme une solution agnostique qui cherche à rendre interopérables d'autres serveurs de données (OPeNDAP, SOS, OBIS, WMS, ...). Existe-t-il un serveur de données parfait qui répond parfaitement aux besoins de chacun ? Nous ne le pensons pas. Et même si vous pensez qu'il y en a ou qu'il y en aura, il faudra beaucoup de temps avant que tout le monde n'y passe, voire jamais. D'ici là, ERDDAP est disponible dès maintenant pour rendre d'autres serveurs de données interopérables et pour servir des données dès maintenant.

ERDDAP peut gérer la plupart/la plupart des ensembles de données tels quels, mais pas tous. Ce n'est pas que les ensembles de données restants (par exemple, les données de modèle utilisant une projection de sphère cubique) ne sont pas importants. C'est juste que l'objectif d' ERDDAP de renvoyer les données dans des formats de fichiers courants (dont certains sont assez simples) exclut une structure de données interne plus complexe. Les groupes de chercheurs travaillant avec des structures de données plus complexes ont souvent déjà des serveurs de données spécialisés et des logiciels clients spécialisés qui sont adaptés aux besoins de leur communauté. ERDDAP, en tant que serveur de données à usage général, ne cherche pas à concurrencer ces serveurs de données spécialisés. Ils sont adaptés aux besoins de leur communauté et font un excellent travail. Cependant, ces ensembles de données ne sont souvent « compris » que par les logiciels spécialisés de cette communauté.

Une solution de contournement pour les ensembles de données complexes - ERDDAP a un moyen de gérer des ensembles de données complexes qu'il ne peut pas gérer directement. Tout comme une base de données relationnelle  (external link) peut stocker un ensemble de données complexe en utilisant une seule structure de données simple (une table), ERDDAP peut servir les données d'ensembles de données plus complexes en divisant l'ensemble de données source en quelques ensembles de données ERDDAP, chacun avec des structures de données simples et similaires. Par exemple, certains ensembles de données de modèles environnementaux quadrillés peuvent être stockés dans ERDDAP en mettant les variables de surface de la mer ([time][latitude][longitude]) dans un ensemble de données ERDDAP, et en mettant les variables avec l'altitude ([time][altitude][ latitude][longitude]) dans un autre jeu de données ERDDAP . Nous savons que ce n'est pas idéal, mais il est nécessaire de permettre à ERDDAP de renvoyer les données dans des formats de fichiers courants (dont certains sont assez simples).

Une autre approche pour traiter des ensembles de données complexes (par exemple, pour les données de modèle utilisant une projection de sphère cubique) est d'offrir également une version reprojetée de l'ensemble de données ([heure][altitude][latitude][longitude]) avec laquelle ERDDAP peut travailler facilement. Ces structures de données plus simples ne sont pas destinées à remplacer les structures de données d'origine, mais elles peuvent être un moyen utile de distribuer les données à un public plus large.
 

Quelle est la pérennité du projet ERDDAP ?
ERDDAP est très durable.
Certaines personnes sont surprises et déçues d'apprendre que ERDDAP est principalement développé par une seule personne (moi, Bob Simons). [Soit dit en passant, les opinions sur cette page Web sont mes opinions personnelles et ne reflètent pas nécessairement une position du gouvernement ou de l' National Oceanic and Atmospheric Administration .] Ils craignent que s'il m'arrive quelque chose, ce sera la fin de ERDDAP . Ce n'est tout simplement pas vrai. Le positionnement de l' ERDDAP pour la durabilité à long terme est excellent, et proche du meilleur qu'il puisse être.

Oui, je suis le développeur principal d' ERDDAP . Je suis un employé fédéral entièrement financé. Mon financement n'est pas de l'argent « doux », donc je ne reçois pas ou ne compte pas sur des subventions. Je passe plus de la moitié de mon temps à développer ERDDAP . Le reste de mon temps est consacré à la gestion des ensembles de données. Ce travail est utile pour ERDDAP car j'ai besoin de travailler avec de vrais jeux de données afin de savoir en détail ce que ERDDAP doit faire. Mes patrons soutiennent pleinement mon travail sur ERDDAP car il fait ce pour quoi j'ai été embauché : permettre aux scientifiques halieutiques (principalement, mais vraiment tout le monde) d'obtenir des données scientifiques de diverses sources.

Ce qui est miraculeux avec un logiciel, c'est qu'il ne coûte rien à dupliquer. Donc pour faire mon travail, j'écris ERDDAP pour une utilisation à l' ERD . Je pense que c'est la meilleure façon pour moi de faire mon travail. Cette seule raison justifie les dépenses de développement de ERDDAP . (Je pense qu'il pourrait être démontré ERDDAP a fait gagner plus de temps aux scientifiques de la NOAA que ce que j'ai passé à développer ERDDAP . Time=Money.) Mais l'avantage secondaire est que toute autre organisation peut télécharger, installer et utiliser ERDDAP gratuitement pour distribuer leur données scientifiques.

Plus de 90 organisations dans au moins 14 pays utilisent ERDDAP . Peut-être qu'il existe une chose telle qu'un déjeuner gratuit.

ERDDAP est un programme Java. Le code source de chaque version est sur GitHub  (external link), le système le plus couramment utilisé pour les projets de logiciels collaboratifs. Jusqu'à présent, quatre autres groupes ont contribué au code de l' ERDDAP :

J'espère que d'autres contribueront au code à l'avenir. S'il m'arrive quelque chose, mes patrons embaucheront un remplaçant avec pour objectif précis qu'il continue le développement de l' ERDDAP . De plus, j'essaie d'écrire un code très propre. J'écris des commentaires Java Doc. J'écris des commentaires dans le code. J'ai choisi les noms de variables avec soin. Je suis les directives de formatage Java. Tout cela est un effort pour rendre le code plus lisible, pour d'autres programmeurs qui veulent le comprendre et/ou le changer, et pour moi, car, dans un an ou deux, j'aurai oublié les détails du comment et du pourquoi le code a été écrit tel qu'il était. Un code propre avec de bons commentaires facilite mon travail en cours sur ERDDAP, donc j'ai une grande incitation à écrire un code propre avec de bons commentaires.

Mais toutes mes réponses jusqu'à présent ne sont pas très importantes. Une seule chose qui est vraiment importante. Une seule chose garantit la pérennité de l' ERDDAP ou de tout projet logiciel : ERDDAP est un logiciel libre et ouvert (FOSS)  (external link) . Concrètement, ERDDAP utilise des licences logicielles compatibles Apache  (external link), donc n'importe qui peut faire ce qu'il veut avec le code.

Pourquoi est-ce important ? On pourrait penser que les logiciels seront disponibles de manière fiable à l'avenir parce qu'une grande entreprise est derrière. Mais Google, par exemple, a abandonné de nombreux projets (voici une liste  (external link)). Je ne veux pas m'en prendre à Google parce que j'aime beaucoup Google et qu'ils financent un grand nombre de grands projets open source. Microsoft a abandonné des projets. Apple a interrompu ses projets. … Le fait est que le simple soutien d'une grande entreprise ne garantit pas la poursuite du projet. Les utilisateurs de ce logiciel n'ont pas de chance, à moins que le logiciel ne soit (et soit toujours) un logiciel libre et ouvert (FOSS). Ensuite, chaque fois qu'un seul développeur s'y intéresse, le projet peut et continuera d'évoluer. FOSS est une police d'assurance. En fait, FOSS est la seule police d'assurance, la seule assurance qui compte. FOSS garantit qu'il y a toujours une voie à suivre pour le logiciel. C'est un droit que personne ne peut retirer, jamais.

On pourrait également penser qu'un logiciel qui a une grande équipe de développeurs sera plus durable qu'un logiciel avec un développeur principal. Mais beaucoup de développeurs ont généralement besoin de beaucoup de financement. Je connais un projet célèbre et assez important avec 10 développeurs (je ne vais pas les embarrasser en les nommant) qui est constamment en danger sérieux d'arrêter le projet parce qu'ils n'ont pas assez de financement. Ils dépendent des subventions. Ils sont toujours en déficit. Leur patron les a toujours renfloués à la dernière minute, mais il en a vraiment marre de les renflouer. Donc, s'ils ne peuvent pas collecter un million de dollars par an en subventions (ou si le mécène est trop fatigué de les renflouer), ils s'arrêteront. Et le groupe ne peut pas imaginer avoir moins de 10 développeurs. Chaque développeur a un rôle à jouer dans son groupe. À la lumière de cela, il me semble que c'est un grand signe que ERDDAP peut être, et est, activement développé par un seul développeur principal (qui est entièrement financé) avec l'aide non officielle de quelques autres. En fait, ce serait un mauvais signe si ERDDAP nécessitait plusieurs développeurs. Le fait ERDDAP n'ait qu'un seul développeur principal signifie que ce n'est pas une tâche énorme qui nécessite un financement continu massif ; il s'agit d'une tâche relativement petite qui nécessite un minimum d'efforts et de financement. C'est plus durable, pas moins.

On pourrait penser que l'embauche d'une entreprise contractante pour écrire des logiciels est une bonne idée. Moyennant des frais, ils fourniront aux développeurs et promettent la continuité (ce qui est bien à moins/jusqu'à ce qu'ils fassent faillite). Mais ils vous ont aussi sur un baril : vous devez les payer ce qu'ils demandent ou il n'y a plus de développement, à moins que le logiciel ne soit FOSS et que vous ne les payiez que pour travailler sur le code. Avec FOSS, vous avez toujours le choix sur la façon d'aller de l'avant. Parce ERDDAP est FOSS, les sous-traitants sont toujours une bonne option pour vous ou n'importe qui en ce qui concerne ERDDAP : s'il m'arrive quelque chose (le développeur principal), ou si je n'ai pas le temps de faire un changement que vous voulez, ou je prendre votre retraite et que vous n'aimez pas le travail de mon remplaçant, vous pouvez toujours engager une entreprise sous-traitante pour faire les changements que vous voulez (ou les faire vous-même).

En résumé, ERDDAP possède les deux caractéristiques de durabilité qui comptent le plus :

  1. ERDDAP est un petit projet (assez petit pour être géré par un développeur principal avec l'aide non officielle de quelques autres), il ne nécessite donc pas de ressources massives.
  2. ERDDAP est un logiciel libre et à code source ouvert, donc personne ne pourra jamais vous empêcher, vous ou quelqu'un d'autre, de travailler sur ERDDAP .
Je ne peux pas penser à une meilleure situation. J'espère que cela apaise toutes les craintes que vous (ou quelqu'un d'autre) aviez au sujet de la durabilité de l' ERDDAP . Si vous entendez des personnes remettre en question ou décourager l'utilisation d' ERDDAP parce qu'il n'y a qu'un seul développeur principal, veuillez les mettre au clair en les dirigeant vers la discussion ci-dessus à cette URL : https://coastwatch.pfeg.noaa.gov/erddap/information. html#durable .
 

Comment citer un ensemble de données dans un article
Il est important de faire savoir aux lecteurs comment vous avez obtenu les données que vous avez utilisées dans votre article. Pour chaque ensemble de données que vous avez utilisé, veuillez consulter les métadonnées de l'ensemble de données dans la section Structure des attributs de l'ensemble de données au bas de la page .html de l'ensemble de données, par exemple,
https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMU RSS T41.html . Les métadonnées incluent parfois un format de citation obligatoire ou suggéré pour l'ensemble de données. Les métadonnées "licence" répertorient parfois des restrictions sur l'utilisation des données.

Pour générer une citation pour un ensemble de données :
Si vous considérez l'ensemble de données comme un article scientifique, vous pouvez générer une citation basée sur l'auteur (voir les métadonnées "creator_name" ou "institution" ), la date à laquelle vous avez téléchargé les données, le titre (voir les métadonnées "title" ), et l'éditeur (voir les métadonnées "publisher_name"). Si possible, veuillez inclure les URL spécifiques utilisées pour télécharger les données. Si les métadonnées de l'ensemble de données incluent un identificateur d'objet numérique (DOI )  (external link), veuillez l'inclure dans la citation que vous créez.
 

Comment citer ERDDAP dans un article
Si vous souhaitez citer ERDDAP lui-même dans un article scientifique, veuillez utiliser quelque chose comme
Simons, RA 2020. ERDDAP . https://coastwatch.pfeg.noaa.gov/erddap. Monterey, Californie : NOAA / NMFS / SWFSC / ERD .

Que signifie l'acronyme « ERDDAP » ?
"ERDDAP" était un acronyme, mais il est devenu trop grand pour cette description originale. Maintenant, s'il vous plaît, considérez-le simplement comme un nom, pas un acronyme.
 

Directives pour les systèmes de distribution de données
Les opinions de Bob sur la conception et l'évaluation des systèmes de distribution de données peuvent être consultées ici .
 

Vous pouvez configurer votre propre serveur ERDDAP et servir vos propres données.

Nous contacter

Si vous avez des questions, des suggestions ou des commentaires sur ERDDAP en général (pas cette installation spécifique d' ERDDAP ), veuillez envoyer un e-mail à bob dot simons at noaa dot gov et inclure l'URL ERDDAP directement liée à votre question ou commentaire.
Ou, vous pouvez rejoindre le groupe Google ERDDAP / liste de diffusion en visitant https://groups.google.com/forum/#!forum/erddap  (external link) et en cliquant sur "Demander l'adhésion". Une fois que vous êtes membre, vous pouvez y poster votre question ou effectuer une recherche pour voir si la question a déjà été posée et répondue.

AVIS DE NON-RESPONSABILITÉ : Les opinions sur cette page Web sont des opinions personnelles de Bob Simons et ne reflètent pas nécessairement une position du gouvernement ou de la National Oceanic and Atmospheric Administration .


 
Translated by Google ?
ERDDAP, Version 2.18
Disclaimers | Privacy Policy | Contact