bid ce workshop 1 session 09 - biodiversity data management tools
TRANSCRIPT
Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Other data management toolsNicolas Noé
Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Autres outils de gestion de données Nicolas Noé
Rationale
●You NEED someone in the team who’s comfortable with data manipulation:
• Real-world data = messy• Transformations are always needed• Automate!
●Cleaning but also other transformations
Rat
iona
le
Justification
●Importance d’avoir au moins une personne à l’aise avec la manipulation de données:
• Données réelles = désordonnées• Des transformations sont toujours nécessaires• Automatisation!
●Nettoyage des données, mais pas seulement
Just
ifica
tion
Pre-workshop activity: results
• https://docs.google.com/spreadsheets/d/1QtV4z45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi4/edit#gid=0P
re-w
orks
hop
Sondage pré-atelier: résultats
• https://docs.google.com/spreadsheets/d/1QtV4z45pgvbAyM_ibKTW5bK1BOipqpfRpCd_o29TSi4/edit#gid=0
Pré
-ate
lier
Strengths and weaknesses
• Price, availability, license, …• Ease of use• Documentation and support• Flexibility• Performance• Technical requirements• Automation• ...
Tool
cho
ice
Forces et faiblesses
• Prix, disponibilité, license, ...• Facilité d’utilisation• Documentation et support• Flexibilité• Performances• Besoins techniques• Automatisation• ...
Sél
ectio
n d’
outil
Build your own palette of tools!
This is not a recipe
Créez votre propre palette d’outils !
Pas de “recette toute faite”
Exchange format: CSV, TSV, *SV
• What is it?• Separators• Encoding• Demo!
Form
at
Format d’échange: CSV, TSV, *SV
• De quoi s’agit-il• Separateurs• Encodage• Demonstration
Form
at
CSV tips
●When creating the file:• Document options used• Encoding: use UTF-8
●When opening external file: try different options and check the results.
CS
V fo
rmat
Trucs et astuces CSV
●A la création du fichier:• Documentation sur • Encodage: UTF-8
●A l’utilisation: essayez différentes options et valider.
Form
at C
SV
- MDB ACCDB Viewer
- CSV files- ...
Tool
sStep 0: Out of MS-Access
- MDB ACCDB Viewer
- Fichiers CSV- ...
Out
ils Etape 0: Exporter depuis MS-Access
Step 1: SQLite- A complete lightweight relational
database- Free and Open Source
Tool
s
Etape 1: SQLite- Un moteur de base de données
relationnelle complet- Gratuir et Open Source
Out
ils
Step 2: LibreOfficeTo
ols
Learn how to use advanced spreadsheet features!
Etape 2: LibreOfficeO
utils
Utilisez les fonctions avancées du tableur !
Step 3: QGIS- General use Desktop GIS solution- For transformation, analysis,
visualisation, cleaning, ...
Tool
s
Etape 3: QGIS- Solution SIG Desktop complète et
généraliste- Pour transformations, analyse,
visualisation, nettoyage, ...
Out
ils
Step 4: ScriptingTo
ols
Etape 4: ScriptsO
utils
Specialised tools- Nomenclature:
• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do• TNRS: http://tnrs.iplantcollaborative.org/index.html
- Geography:• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en• Canadensys coordinates conversion:
http://data.canadensys.net/tools/coordinates• GPS Visualizer: http://www.gpsvisualizer.com/
Tool
s
Outils spécialisés- Nomenclature:
• ECAT Name Parser: http://tools.gbif.org/nameparser/parser.do• TNRS: http://tnrs.iplantcollaborative.org/index.html• http://splink.cria.org.br/infoxy?criaLANG=en
- Geographie:• Info XY: http://splink.cria.org.br/infoxy?criaLANG=en• Canadensys coordinates conversion:
http://data.canadensys.net/tools/coordinates• GPS Visualizer: http://www.gpsvisualizer.com/
Out
ils
Data sources- www.naturalearthdata.com- http://www.diva-gis.org/Data- Biodiversity data already at GBIF- OpenStreetMap- Catalog of Life annual checklistD
ata
sour
ces
Sources de données- www.naturalearthdata.com- http://www.diva-gis.org/Data- Biodiversity data already at GBIF- OpenStreetMap- Catalog of Life annual checklist
Sou
rces
de
donn
ées
Demo!
Exercise!
Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Other data management toolsNicolas Noé
Auguest 24th, 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Autres outils de gestion de données Nicolas Noé