Nieuws
Verbeteren van stadsregenmetingen met crowdsourced data
Door: Lotte de Vos, PhD-kandidaat op KNMI en Wageningen Universiteit.17 november 2016 – Het KNMI meet al ruim een eeuw neerslag. Met automatische sensoren én met een enthousiast netwerk van vrijwilligers. Maar niet op elke vierkante kilometer. En ook niet in stedelijke gebieden. Om nu meer te weten te komen over de variatie in de hoeveelheid neerslag op kleine schaal is er recent onderzoek gedaan naar de kwaliteit van crowdsourced metingen van weeramateurs in Amsterdam.
De metingen van het KNMI hebben een te lage dichtheid om kleinschalige regenvariaties te meten, die juist zo belangrijk zijn voor stadsklimaat. Radar meet regen al in een hogere resolutie, maar het beste is, als de radarmetingen worden aangevuld met grondmetingen. In het onderzoek werd gekeken of automatische regenmetingen van weeramateurs, die op online platformen gedeeld worden, aan die vraag kunnen voldoen. Hieruit bleek dat, als er een paar veelgemaakte fouten vermeden worden, er een grote potentie zit in het gebruik van crowdsourced-netwerken voor regenmetingen met een grote dichtheid.
Er bestaan diverse internet platformen waar de real-time metingen in de regio te zien zijn. De metingen van Netatmo weerstations zijn automatisch op de Netatmo Weathermap gelink. Door deze koppeling zijn er al duizenden stations in Nederland op de Netatmo kaart te vinden. Netatmo stations worden ook automatisch doorgelinkt naar de Wundermap van Weather Underground. Dit netwerk laat ook andere type weerstations zien. En, hoewel hét crowdsourcingplatform van het KNMI, WOW-NL, minder stations heeft dan Wundermap en Netatmo Weathermap, is er wel metadata beschikbaar over de stations, zodat er meer bekend is over de meetopstelling en de omgeving. De meta-data informatie weegt mee bij de interpretatie van de metingen.
De kwaliteit van de meting
Om te testen wat de kwaliteit van de meetreeksen is, zijn drie Netatmo stations in een geïdealiseerde opstelling naast een hoge kwaliteit regenmeter van het KNMI geplaatst. Zowel de directe metingen van de Netatmo stations als dezelfde meetreeksen verkregen via het online platform Wundermap, werden vergeleken met de referentie regenmeter. Deze opstelling en de bijbehorende metingen zijn te zien in Figuur 1. Door haperingen in de verbinding werd de data niet altijd goed doorgelinkt naar het online platform en ontbreken er metingen in die reeks. De cumulatieve regenval weergegeven op Wundermap, genaamd W2 en W3 is daardoor lager dan de regenval via Netatmo Weathermap: N2 en N3. Verder bleek dat Wundermap gebruik maakt van drempelwaarden en afronding, waardoor meetreeksen op dit platform verschillen van de oorspronkelijke metingen.
Dit is vooral zonde, omdat uit de scatterplot vergelijking (rechterpanel van Figuur 1) blijkt dat de oorspronkelijk Netatmo regenmetingen in 10 minuten tijdstappen heel goed overeen komen met de hoge kwaliteit regenmeter van het KNMI. De verschillen met de radarmetingen zijn zoals verwacht wat groter. Met radar wordt de gemiddelde regen over een pixel van 1 km2 bepaald en dit zal daarom altijd iets verschillen van een puntmeting op de grond.
Figuur 1: in linker panel opstelling en cumulatieve regenval van 3 Netatmo stations (N1, N2 en N3), ook verkregen via het Wundermap platform (W2 en W3)[1], in rechterpanel scatterplots van regenval in 10 minuut tijdstappen van stations (N1, N2 en N3) tegen bijbehorende pit gauge referentie (oranje) en gecorrigeerde radar (blauw).
Case: Regen meten met crowdsourced data in Amsterdam
In de case werden tijdreeksen van 63 stations in Amsterdam afkomstig van de Wundermap verzameld en geanalyseerd om te bepalen hoe goed de metingen zijn in niet-geïdealiseerde omstandigheden. Radar regenmetingen die met de KNMI grondstations zijn gecorrigeerd werden gebruikt als referentie. In de dataset kwamen veel gaten in tijdreeksen en andere fouten voor. Een voorbeeld hiervan waren stations die zeer afwijkende metingen lieten zien ten opzichte van de omringende stations. Dit zijn hoogstwaarschijnlijk stations die aan de verkeerde locatie zijn gekoppeld, bijvoorbeeld doordat een verhuizing niet is gecommuniceerd naar de weerkaart.
Afgezien van deze fouten bleek de afronding en drempelwaarden in de data-transfer naar het platform te leiden tot grote verschillen tussen radar en stations. Door regenval in grotere tijdstappen te analyseren werden de verschillen kleiner. Figuur 2 laat zien dat de hoeveelheden regen per uur veel beter overeenkomen dan die voor kleinere tijdstappen. De scatterpunten liggen voornamelijk op de 1:1 lijn. Naast het middelen in de tijd bleek de overeenkomst met radar ook te verbeteren door het gemiddelde te nemen van nabij gelegen stations. Dit gaat wel ten koste van de resolutie van de metingen.
[1] Eén van de Netatmo stations (N1) kon niet verkregen worden via Wundermap vanwege een lokalisatiefout, waardoor W1 data ontbreekt.
Figuur 2: scatter dichtheid plots van
de stations in Amsterdam met de bijbehorende gecorrigeerde radar metingen als
radar minimaal 0.1 mm h-1 meet voor intervallen van 5 minuten en 1
uur.
Conclusies
Er zitten veel positieve aspecten aan de amateur metingen. De dichtheid is vooral in druk bevolkte gebieden erg groot, en de platformen maken het mogelijk om metingen van grote aantallen stations over de hele wereld in real-time te analyseren. De metingen zijn echter van lagere kwaliteit dan KNMI metingen door fouten in de opstelling. Denk hierbij aan beschutte regenmeters, weinig/geen onderhoud, onregelmatige meetintervallen en sensor uitval. Een manier om hiermee om te gaan is door de nabijgelegen metingen te vergelijken. Zo kunnen foute metingen geïdentificeerd en zo nodig weggelaten worden.
Daarnaast ontstaan er ook grote fouten door afronding en drempelwaardes in bijvoorbeeld Wundermap. Een ander veelvoorkomend probleem in platforms is dat de verkeerde tijdsindicatie wordt meegegeven aan een meting, namelijk het tijdstip dat de meting naar het platform wordt gelinkt in plaats van het tijdstip van de oorspronkelijke meting door de sensor. Deze problemen zijn simpel op te lossen door aanpassingen in de data-transfer. Het aanpassen van de data-transfer en een stuk bewustwording over het goed plaatsen van de meetapparatuur zijn de belangrijkste stappen om optimaal gebruik te maken van amateur-netwerken. Regen kan dan zonder grote investeringen in veel hogere resolutie worden gemeten. Zo wordt er meer duidelijk over de variatie in hoeveelheid neerslag op kleine schaal. Dit kan ingezet worden om wateroverlast in steden tegen te gaan.
Voor meer informatie zie:
de Vos, L., Leijnse, H., Overeem, A., and Uijlenhoet, R.: The potential of urban rainfall monitoring with crowdsourced automatic weather stations in Amsterdam, Hydrol. Earth Syst. Sci. Discuss., doi:10.5194/hess-2016-505, in review, 2016.
Conclusies
Er zitten veel positieve aspecten aan de amateur metingen. De dichtheid is vooral in druk bevolkte gebieden erg groot, en de platformen maken het mogelijk om metingen van grote aantallen stations over de hele wereld in real-time te analyseren. De metingen zijn echter van lagere kwaliteit dan KNMI metingen door fouten in de opstelling. Denk hierbij aan beschutte regenmeters, weinig/geen onderhoud, onregelmatige meetintervallen en sensor uitval. Een manier om hiermee om te gaan is door de nabijgelegen metingen te vergelijken. Zo kunnen foute metingen geïdentificeerd en zo nodig weggelaten worden.
Daarnaast ontstaan er ook grote fouten door afronding en drempelwaardes in bijvoorbeeld Wundermap. Een ander veelvoorkomend probleem in platforms is dat de verkeerde tijdsindicatie wordt meegegeven aan een meting, namelijk het tijdstip dat de meting naar het platform wordt gelinkt in plaats van het tijdstip van de oorspronkelijke meting door de sensor. Deze problemen zijn simpel op te lossen door aanpassingen in de data-transfer. Het aanpassen van de data-transfer en een stuk bewustwording over het goed plaatsen van de meetapparatuur zijn de belangrijkste stappen om optimaal gebruik te maken van amateur-netwerken. Regen kan dan zonder grote investeringen in veel hogere resolutie worden gemeten. Zo wordt er meer duidelijk over de variatie in hoeveelheid neerslag op kleine schaal. Dit kan ingezet worden om wateroverlast in steden tegen te gaan.
Voor meer informatie zie:
de Vos, L., Leijnse, H., Overeem, A., and Uijlenhoet, R.: The potential of urban rainfall monitoring with crowdsourced automatic weather stations in Amsterdam, Hydrol. Earth Syst. Sci. Discuss., doi:10.5194/hess-2016-505, in review, 2016.