CIOOS Atlantic ERDDAP
Accès plus facile aux données scientifiques

Présenté par NOAA NMFS SWFSC ERD    

ERDDAP > Des dossiers > Documentation

Le système de "files" d' ERDDAP vous permet de parcourir un système de fichiers virtuel et de télécharger des fichiers de données sources. Espérons qu'il s'agisse d'un système familier et simple que vous pouvez utiliser avec votre navigateur Web préféré ou, si vous préférez, à partir d'un programme en ligne de commande comme curl .

ERDDAP a été conçu autour de l'idée que la plupart des ensembles de données sont énormes, donc la plupart des utilisateurs ont juste besoin ou veulent un sous-ensemble de l'ensemble de données qui les intéresse (par exemple, une zone géographique plus petite, une plage de temps plus petite ou pas toutes les variables de données) . Mais nous comprenons que certains utilisateurs veulent en fait un ensemble de données entier, ou au moins le sous-ensemble qui se trouve dans un sous-ensemble des fichiers de données sources. Si c'est vous, alors le système de "files" est peut-être pour vous. L'un des avantages du système de "files" est que vous pouvez voir la taille de chaque fichier (en octets) et l'heure de la dernière modification (fuseau horaire Zulu ), il est donc facile de voir si un fichier a été modifié.
 

Table des matières

Cliquez sur

Pour utiliser le système de "files", il suffit de cliquer. Sur n'importe quelle page Web "files", vous pouvez :

Autres types de fichiers

Par défaut, une liste de répertoires est renvoyée sous forme de tableau HTML sur une page Web. Un utilisateur peut demander qu'une liste de répertoires soit renvoyée dans un format de fichier différent en ajoutant l'une de ces extensions de fichier : .csv, .htmlTable, .itx, .json, .jsonlCSV1, .jsonlCSV, .jsonlKVP, .mat, .nc, .nccsv, .tsv ou .xhtml . Par exemple, au lieu de cette page Web :
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMU RSS T41/
vous pouvez demander la liste des répertoires sous forme de fichier .csv :
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMU RSS T41/.csv
 

ATTENTION! Différentes métadonnées et noms de variables

Pour les ensembles de données disponibles via ERDDAP ou tabledap d'ERDDAP, les administrateurs ERDDAP peuvent configurer ERDDAP pour modifier les métadonnées d'un ensemble de données et les noms de variables à la volée afin que vous, l'utilisateur, puissiez voir une version améliorée des métadonnées de l'ensemble de données. Mais dans "files", vous verrez les métadonnées d'origine et les noms de variables, alors ne soyez pas surpris s'ils sont différents ! Si vous n'êtes pas à l'aise avec les différentes métadonnées et noms de variables, vous préférerez peut-être utiliser le formulaire d'accès aux données de l'ensemble de données.

De même, lorsque vous demandez un sous-ensemble de données à l'un des formulaires d'accès aux données de l' ERDDAP, vous pouvez spécifier le type de fichier (par exemple, .nc, .csv, .json, .mat ) que vous souhaitez recevoir en réponse. Naturellement, les fichiers de données sources disponibles via "files" ne sont disponibles que dans un seul type de fichier. Si vous n'êtes pas satisfait du type de fichier du fichier source, vous préférerez peut-être utiliser les formulaires d'accès aux données de l'ensemble de données.
 

Pas tous les ensembles de données

Certains jeux de données de cet ERDDAP ne sont pas disponibles via le système de "files" . Les raisons courantes incluent : Si les fichiers source d'un ensemble de données que vous souhaitez ne sont pas disponibles, vous pouvez envoyer un e-mail à l'administrateur de cet ERDDAP, nobody at example dot com, pour demander qu'ils soient disponibles, mais il y a généralement une raison pour laquelle ils ne sont pas déjà disponibles.
 

Pas FTP

Nous comprenons que certains utilisateurs pourraient préférer que ERDDAP propose des fichiers via FTP au lieu de HTTP comme le font "files" . Désolé. J'espère que vous pourrez faire ce que vous devez faire avec le système de "files" actuel.
 

Demande de fichiers compressés

ERDDAP n'offre pas de résultats stockés dans des fichiers compressés (par exemple, .zip ou .gzip ). Au lieu de cela, ERDDAP recherche le codage d'acceptation  (lien externe) dans l'en-tête de requête HTTP GET envoyé par le client. Si un type de compression pris en charge (gzip, x-gzip ou deflate ) est trouvé dans la liste d'encodages acceptés, ERDDAP inclut « content‑encoding » dans l'en-tête de réponse HTTP et compresse les données au fur et à mesure qu'il les transmet. Il appartient au programme client de rechercher content-encoding et de décompresser les données en conséquence. La demande de compression est facultative, mais les réponses compressées sont souvent 3 à 10 fois plus rapides, ce qui représente un gain de temps considérable si vous téléchargez de nombreux fichiers volumineux. (Notez qu'il n'y a aucun avantage à demander des fichiers .png compressés puisque le contenu des fichiers est déjà compressé.)

Téléchargements en ligne de commande avec curl

Si vous souhaitez télécharger une série de fichiers depuis ERDDAP, vous n'avez pas besoin de demander l'URL ERDDAP de chaque fichier dans votre navigateur, en attendant le téléchargement de chaque fichier. Façons d'utiliser curl : ERDDAP + curl est incroyablement puissant et vous permet d'utiliser ERDDAP de nombreuses nouvelles façons. Pour installer curl : S'il vous plaît soyez gentil avec les autres utilisateurs d' ERDDAP : exécutez un seul script ou commande curl à la fois.

Les instructions d'utilisation de curl trouvent sur la page man de curl  (external link) et dans ce tutoriel curl  (external link) . Mais voici un rapide tutoriel lié à l'utilisation de curl avec ERDDAP :

Afficher les fichiers multimédias

Pour les types de fichiers image et vidéo les plus courants, le système "files" affichera désormais un « ? » icône à gauche du nom de fichier. Si vous passez la souris dessus, vous verrez une fenêtre contextuelle affichant l'image ou un lecteur audio ou vidéo.

De même, pour quelques types de fichiers audio (notamment .mp3, .ogg et .wav), vous verrez un contrôle audio qui vous permet d'écouter le fichier audio.

Ces fonctionnalités de prévisualisation ne fonctionneront que pour certains types de fichiers, dans certains navigateurs, dans certains systèmes d'exploitation. Ils reposent sur les fonctionnalités du navigateur, ils sont donc largement hors de notre contrôle.

Alternativement, si vous cliquez sur le lien d'un fichier image, audio ou vidéo, une visionneuse ou un lecteur s'ouvrira dans une fenêtre séparée. (Si votre navigateur vous demande ce que vous voulez faire avec le fichier, dites-lui de gérer le fichier multimédia lui-même (pas via un autre logiciel) et dites-lui de se souvenir de ce choix afin qu'il soit utilisé automatiquement à l'avenir.)
 

« Comment puis-je travailler avec ces fichiers ? »

L'une des principales caractéristiques d' ERDDAP est qu'il vous permet de télécharger des sous-ensembles d'un ensemble de données (via le formulaire d'accès aux données de l'ensemble de données) dans le format de fichier de votre choix ou de créer des graphiques et des cartes personnalisables via la page Web Make A Graph de l'ensemble de données (pour ne pas pas besoin de télécharger des fichiers de données ou d'installer un logiciel graphique). Ceux-ci vous permettent d'éviter d'avoir à travailler avec les fichiers de données source d'origine dans des formats de fichiers que vous ne connaissez pas et/ou avec lesquels vous ne voulez pas travailler.

Si vous choisissez plutôt de télécharger et de travailler avec les fichiers sources originaux proposés par le système de "files" de l' ERDDAP, vous devez déterminer comment vous souhaitez travailler avec les fichiers. Heureusement, il existe de nombreux outils logiciels pour travailler avec les différents types de fichiers :

Demandes de plage d'octets

Contrairement aux requêtes pour la plupart des autres ressources dans ERDDAP, une requête pour un fichier du système "files" (autre que les fichiers .nc et .hdf ) peut inclure une requête "Range" dans l'en-tête qui spécifie une plage d'octets à renvoyé, au lieu du fichier entier. Voir Byte_serving  (external link) . Ceci est utilisé par certains logiciels clients (par exemple, les lecteurs audio et vidéo dans les navigateurs Web) pour demander des morceaux du fichier au lieu du fichier entier.

L'accès à un fichier distant via des plages d'octets est souvent lent et inefficace. Parfois, cela vaut la peine de lire de petits échantillons de fichiers distants, notamment des fichiers audio et vidéo. Mais plus vous avez besoin d'accéder au fichier, plus il est efficace de simplement télécharger le fichier, puis de travailler avec le fichier local.

Le système "files" d' ERDDAP refuse toutes les demandes de plage d'octets aux fichiers .nc et .hdf, alors n'essayez même pas d'utiliser Netcdf-java/c, ncview, Ferret ou d'autres outils logiciels pour vous connecter à .nc ou .hdf fichiers servis par le système "files" d' ERDDAP comme s'il s'agissait de fichiers locaux. Ces demandes sont bloquées car cette approche est horriblement inefficace et cause souvent d'autres problèmes. Au lieu:


 
Translated by Google ?
ERDDAP, Version 2.23
Disclaimers | Privacy Policy | Contact