Un accès facilité aux données scientifiques
Présenté par NOAA NMFS SWFSC ERD
|
ERDDAP
Un accès facilité aux données scientifiques |
Présenté par NOAA NMFS SWFSC ERD |
ERDDAP a été conçu autour de l'idée que la plupart des ensembles de données sont énormes, de sorte que la plupart des utilisateurs ont simplement besoin ou souhaitent simplement un sous-ensemble de l'ensemble de données qui les intéresse (par exemple, une zone géographique plus petite, une période plus courte ou pas toutes les variables de données).
.
Mais nous comprenons que certains utilisateurs souhaitent en réalité un ensemble de données complet, ou au moins le sous-ensemble trouvé dans un sous-ensemble des fichiers de données sources.
Si c'est votre cas, alors le système "files" est peut-être fait pour vous.
L'un des avantages du système "files" est que vous pouvez voir la taille de chaque fichier (en octets) et l'heure de la dernière modification (fuseau horaire Zulu ), il est donc facile de voir si un fichier a été modifié.
De même, lorsque vous demandez un sous-ensemble de données à partir de l'un des formulaires d'accès aux données d' ERDDAP, vous pouvez spécifier le type de fichier (par exemple, .nc, .csv, .json, .mat ) que vous souhaitez recevoir en réponse.
Naturellement, les fichiers de données sources disponibles via "files" ne sont disponibles que dans un seul type de fichier.
Si vous n'êtes pas satisfait du type de fichier du fichier source, vous préférerez peut-être utiliser les formulaires d'accès aux données de l'ensemble de données.
dans l'en-tête de la requête HTTP GET envoyée par le client.
Si un type de compression pris en charge (gzip, x-gzip ou deflate ) est trouvé dans la liste d'acceptation-encodage, ERDDAP inclut « content‑encoding » dans l'en-tête de réponse HTTP et compresse les données au fur et à mesure de leur transmission.
C'est au programme client de rechercher content-encoding et de décompresser les données en conséquence.
La demande de compression est facultative, mais les réponses compressées sont souvent 3 à 10 fois plus rapides, ce qui représente un gain de temps considérable si vous téléchargez de nombreux fichiers volumineux.
(Notez qu'il n'y a aucun avantage à demander des fichiers .png compressés puisque le contenu des fichiers est déjà compressé.)
.
(bien que vous deviez soit gérer les réponses deflate 'd, soit ne pas demander deflate).
et installez-le.
Pour accéder à une ligne de commande sous Windows, cliquez sur l'icône Windows et tapez cmd dans le champ de texte de recherche.
("Win32 - Générique, Win32, binaire (sans SSL)" a fonctionné pour moi sous Windows 7.)
Les instructions d'utilisation curl se trouvent sur la
page de manuel curl et dans ce
tutoriel curl .
Mais voici un rapide tutoriel lié à l'utilisation curl avec ERDDAP :
curl --compressed -g "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_41008_met.nc" -o ndbc/41008.ncDans curl, comme dans de nombreux autres programmes, la partie requête de erddapUrl doit être codée en pourcentage
:
tous les caractères des valeurs de paramètre (les parties après les signes '=' ) autres que A-Za-z0-9_-!.~'()* doivent être codés en %HH, où HH est la valeur hexadécimale à 2 chiffres du caractère, par exemple, un espace devient %20.
Les caractères au-dessus de #127 doivent être convertis en octets UTF-8, puis chaque octet UTF-8 doit être codé en pourcentage (demandez de l'aide à un programmeur).
Il existe
des sites Web qui codent et décodent pour vous 
.
Si vous obtenez l'URL à partir du champ de texte d'adresse de votre navigateur, cela est peut-être déjà fait.
dans l'erddapURL comme %5B, %5D, %7B, %7D, respectivement.
Heureusement, ceux-ci ne figurent presque jamais dans les noms de fichiers "files" .
Ensuite, dans erddapUrl, remplacez un nombre complété par des zéros (par exemple 01) par une plage de valeurs (par exemple, [01-15]), ou remplacez une sous-chaîne (par exemple 41008) par une liste de valeurs (par exemple, {41008,41009,41010}).
Le #1 dans le nom du fichier de sortie entraîne le placement de la valeur actuelle de la plage ou de la liste dans le nom du fichier de sortie.
Par exemple, curl --compressed "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_{41008,41009,41010}_met.nc" -o ndbc/#1.nc
De même, pour quelques types de fichiers audio (notamment .mp3, .ogg et .wav), vous verrez une commande audio qui vous permet d'écouter le fichier audio.
Ces fonctionnalités d'aperçu ne fonctionneront que pour certains types de fichiers, dans certains navigateurs, dans certains systèmes d'exploitation. Ils s’appuient sur les fonctionnalités du navigateur et échappent donc en grande partie à notre contrôle.
Alternativement, si vous cliquez sur le lien d'un fichier image, audio ou vidéo, une visionneuse ou un lecteur s'ouvrira dans une fenêtre séparée.
(Si votre navigateur vous demande ce que vous voulez faire avec le fichier, dites-lui de gérer le fichier multimédia lui-même (pas via un autre logiciel) et dites-lui de mémoriser ce choix afin qu'il soit utilisé automatiquement à l'avenir.)
Si vous choisissez plutôt de télécharger et de travailler avec les fichiers sources originaux proposés par le système "files" d' ERDDAP, vous devez déterminer comment vous souhaitez travailler avec les fichiers. Heureusement, il existe de nombreux outils logiciels permettant de travailler avec les différents types de fichiers :
.
qui donnent une description de base du type de fichier et répertorient les logiciels qui peuvent être utilisés pour travailler avec les fichiers (afficher, lire, écrire, modifier, etc.).
Vous pouvez également utiliser votre moteur de recherche préféré pour rechercher ce que vous voulez.
Consultez la
liste Wikipedia des formats de fichiers audio .
Si vous souhaitez faire autre chose avec ces fichiers, il existe de nombreux programmes pour lire et éditer des fichiers audio, notamment :
et
Audacity sont des programmes open source permettant d'enregistrer, d'éditer, de mixer et de masteriser l'audio sous Linux, Mac OSX et Windows.
.
.
est un type courant de fichier de données binaires.
Il existe quelques progiciels capables de fonctionner avec les fichiers .hdf, notamment :
est un logiciel gratuit et couramment utilisé pour créer des graphiques et des cartes à partir de fichiers .hdf .
est la bibliothèque officielle du groupe HDF pour lire et écrire tous les fichiers .hdf .
et
le langage R peut lire les fichiers .hdf via une bibliothèque complémentaire.
Voir la
liste Wikipedia des formats de fichiers image .
Si vous souhaitez faire autre chose avec les fichiers image, il existe de nombreux programmes de visualisation et d'édition d'images, notamment :
, un programme open source pour tous les systèmes d'exploitation.
, un éditeur d'images gratuit pour Windows.
.
.
est un type courant de fichier de données binaires.
Il existe deux sous-catégories de fichiers .nc : les fichiers version 3 (encore largement utilisés) et les fichiers version 4 (qui sont en fait des fichiers .hdf avec quelques modifications). Les fichiers des deux versions portent l'extension .nc et peuvent être lus par les programmes qui lisent les fichiers .nc .
Il existe un grand nombre de progiciels pouvant fonctionner avec les fichiers .nc, notamment :
et
Ncview (qui peut également être installé
via Conda ).
, les principales bibliothèques logicielles pour C, C++, Fortran ou Java pour lire et écrire des fichiers .nc .
,
Matlab et
le langage R peut lire des fichiers .nc (peut-être via une bibliothèque complémentaire), créer des graphiques et des cartes et travailler avec les données des fichiers .nc .
.
sont différents des fichiers de traitement de texte, qui intègrent des commandes de formatage spéciales.
Si vous importez un fichier texte dans un traitement de texte et apportez des modifications au fichier, assurez-vous ensuite de sauvegarder à nouveau le fichier en tant que fichier texte ASCII.
Ou évitez ce problème en utilisant un programme d’édition de texte.
Si vous modifiez des fichiers .tsv (valeurs séparées par des tabulations), veillez à conserver les onglets qui séparent les valeurs dans différentes « colonnes » sur chaque ligne. Par défaut (même dans de nombreux éditeurs de texte), les tabulations apparaissent souvent sous forme d'espaces (ou de quelques espaces). Assurez-vous donc d'utiliser la fonctionnalité de l'éditeur qui rend les onglets visibles (sous la forme d'un symbole spécial) afin de pouvoir conserver les onglets entre les valeurs.
Les fichiers .xml sont techniquement des fichiers texte, mais il existe des avantages à utiliser des éditeurs XML distincts pour les utiliser.
Il existe des dizaines de programmes d'édition de texte pour chaque système d'exploitation, notamment :
.
Consultez la
liste Wikipedia des formats de fichiers vidéo .
Si vous souhaitez faire autre chose avec les fichiers vidéo, il existe de nombreux programmes de lecture et d'édition vidéo, notamment :
.
.
sont des fichiers texte structurés.
Vous pouvez les visualiser dans votre navigateur ou dans un éditeur de texte, mais il existe également des logiciels spécialisés pour travailler avec des fichiers XML.
Voir cette
comparaison Wikipedia des éditeurs XML .
.
Ceci est utilisé par certains logiciels clients (par exemple, les lecteurs audio et vidéo dans les navigateurs Web) pour demander des morceaux du fichier au lieu du fichier entier.
L'accès à un fichier distant via des plages d'octets est souvent lent et inefficace. Parfois, cela vaut la peine de lire de petits échantillons de fichiers distants, notamment des fichiers audio et vidéo. Mais plus vous avez besoin d'accéder au fichier, plus il est efficace de simplement télécharger le fichier, puis de travailler avec le fichier local.
Le système de "files" d' ERDDAP refuse toutes les demandes de plage d'octets vers les fichiers .nc et .hdf, alors n'essayez même pas d'utiliser Netcdf-java/c, ncview, Ferret ou d'autres outils logiciels pour vous connecter à .nc ou .hdf fichiers servis par le système "files" d' ERDDAP comme s'il s'agissait de fichiers locaux. Ces demandes sont bloquées car cette approche est terriblement inefficace et provoque souvent d'autres problèmes. Plutôt:
