DSMR integratie - grafieken?

28 feb 2020, 19:31

Hoi,

Dankzij de overheid heb ik sinds kort ook een slimme meter in huis. Dus die data poorten maar laten openzetten, kabeltje gekocht, en geintegreerd in Home Assistant. Werkt wel OK.

Ik zit me nu wel af te vragen wat de beste manier zijn om die data over langere tijd te capteren... de HA database is daar absoluut niet voor geschikt.

Ik denk aan iets zoals grafana, maar misschien zijn er nog betere/andere opties?

DenDries · 28 feb 2020, 20:14

Kan je kort uitleggen hoe je dat hebt geïntegreerd? Zelf ben ik van de default HA database overgestapt naar MariaDB (docker), werkt perfect en veel performanter.

bitbite · 28 feb 2020, 20:27

devilkin schreef:grafana

Ik dacht dat prometheus ook zeer geschikt was, maar tussen die twee weet ik het niet.

Welk model meter heb je?

28 feb 2020, 20:48

bitbite schreef: Welk model meter heb je?

Een Sagemcom T211-D

DenDries schreef:Kan je kort uitleggen hoe je dat hebt geïntegreerd? Zelf ben ik van de default HA database overgestapt naar MariaDB (docker), werkt
perfect en veel performanter.

Ja, die stap heb ik een paar jaar geleden (toen ik begon met HA) direct genomen. Desondanks is die database niet geschikt om voor lange tijd gegevens in bij te houden - zelf purge ik die elke 10 dagen om de performance van HA hoog genoeg te houden (zodat je zonder issues kan gaan graven in 't logboek voor rare dingen).

Mijn integratie is vrij eenvoudig:

Code: Selecteer alles

recorder:
  purge_keep_days: 10
  db_url: !secret mariadb_url
  exclude:
    entities:
      - sensor.power_consumption

sensors:
  - platform: dsmr
    port: /dev/serial/by-id/usb-FTDI_FT232R_USB_UART_AK47F0V6-if00-port0
    dsmr_version: 5B

  - platform: filter
    name: power_consumption_10s
    entity_id: sensor.power_consumption
    filters:
      - filter: throttle
        window_size: 10

Op deze manier hou ik de per-second data niet bij, want dan gaat je db echt ontploffen. Ik filter op 10 seconden.

dupondje · 29 feb 2020, 08:49

Je hebt geluk, de Belgische slimme meter is pas vanaf HA 0.106.0 supported

Wat ik doe is HA -> InfluxDB (is een plugin/integration) en dan kan je gewoon grafana dashboard maken.

02 maa 2020, 19:59

Ondertussen gesettled op influxdb en grafana

devastator · 02 maa 2020, 20:25

EnergieID ?

Wat kan je allemaal uitlezen eigenlijk ?
Bijvoorbeeld ook het huidig verbruik (positief/negatief) ? Hoe vaak is dat dan geupdate ?

02 maa 2020, 20:34

Misschien nog een idee om dat daarin op te laden, als zie ik de meerwaarde niet momenteel. Plus, ik zou het moeten kunnen integreren met HA (op een of andere manier)

devastator · 02 maa 2020, 20:40

Trendanalyze. Geeft een indicatie van het verwachte verbruik op basis van het geleerde verbruik. Ik steek der hier water/gas/elek in. Best wel tevreden van.
Redelijk makkelijk te intereren in HA

Code: Selecteer alles

rest_command:
  energieid:
    url: https://hooks.energyid.eu/services/WebhookIn/yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
    method: POST
    content_type: 'application/json'
    payload: '{"meterId": "{{ meterid }}", "data": [["{{ tijdstip }}", {{ waarde }} ]]}'

Code: Selecteer alles

- alias: EnergieId upload
  trigger:
    platform: time_pattern
    minutes: 59
  action:
    - service: rest_command.energieid
      data_template:
        meterid: 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
        tijdstip: "{{ now() }}"
        waarde: "{{ states.input_number.verbruik_water.state }}"
    - service: rest_command.energieid
      data_template:
        meterid: 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
        tijdstip: "{{ now() }}"
        waarde: "{{ states.input_number.verbruik_gas.state }}"
...

02 maa 2020, 21:47

Nice! Ga ik een dezer eens bekijken

03 maa 2020, 22:00

devastator schreef:Wat kan je allemaal uitlezen eigenlijk ?
Bijvoorbeeld ook het huidig verbruik (positief/negatief) ? Hoe vaak is dat dan geupdate ?

Afhankelijk van welke poort je gebruikt... de P1 is 1 update per seconde, de S1 is nog veel meer maar daar heb je hopen manueel werk mee.

Handleiding

bruma · 03 maa 2020, 22:23

Voor dit soort logging heb je geen relationele maar een historische database nodig (soms time series database genoemd).
Vroeger bestond er een open source versie maar ik ben de naam kwijt.
Je definieert bij elke te registreren waarde een hysteris in absolute waarde of in %
Eenmaal een waarde gestockeerd met zijn timestamp en je blijft binnen de hysteresiswaarde dan registreer je niets meer. Eenmaal buiten de hysteresiswaarde registreer je opnieuw met de timestamp en werk je met de volgende hysteresiswaarde.
Werkt perfect voor tellerstand én ogenblikkelijke waarden niet niet al te frequent wijzigen. Wijzigen de ogenblikkelijke waarden snel dan kan je daar een filter opzetten (beperkt aantal meetpunten ifv tijd) meestal registreren ze dan op dit soort meetwaarden dan binnen die filterperiode supplementair de min/max waarden
dB wordt kleiner, makkelijker doorzoekbaar maar veel sneller én je blijft detail houden.

tien · 04 maa 2020, 07:23

bruma schreef: Vroeger bestond er een open source versie maar ik ben de naam kwijt.

mrtg / rrd?

dupondje · 04 maa 2020, 11:27

tien schreef:
bruma schreef: Vroeger bestond er een open source versie maar ik ben de naam kwijt.
mrtg / rrd?

Prometheus / InfluxDB / etc zijn allemaal open source ook

04 maa 2020, 18:17

devastator schreef:Trendanalyze. Geeft een indicatie van het verwachte verbruik op basis van het geleerde verbruik. Ik steek der hier water/gas/elek in. Best wel tevreden van.
Redelijk makkelijk te intereren in HA

Waar vond je de webhookin ID?

EDIT: gevonden - https://www.energyid.eu/integrations/webhookin

devastator · 29 jun 2020, 09:54

Welke kabel heb je nodig eigenlijk voor die meter uit te lezen? De mijne wordt morgen geinstalleerd.

MClaeys · 29 jun 2020, 10:13

Er zijn er die ze zelf maken, ik ben voor gemak gegaan en heb deze gekocht.

Bababa · 29 jun 2020, 10:19

Met dsmr-reader worden de gegevens op je kaartje geschreven van de RPI. Dit heeft als risico dat het kaartje snel kan stuk gaan, zijn er bepaalde types kaartjes die hier beter tegen kunnen?

devastator · 29 jun 2020, 10:26

De raspberry pi's die ik in gebruik heb, hebben allemaal een read only filesystem met writeable overlay. Dus geen slijtage van de SD, en ook geen corruptie van de data als de stroom er opeens af gaat.

ygeffens · 29 jun 2020, 10:27

Ik gebruik nu P1 Monitor (https://www.ztatz.nl/).
Die schrijft slechts 1x/kwartier naar de SD kaart. ipv elke 10 seconden.

Mijn kabel heb ik hier gekocht:
https://webshop.cedel.nl/Slimme-meter-kabel-P1-naar-USB

devastator · 29 jun 2020, 12:54

ygeffens schreef:Ik gebruik nu P1 Monitor (https://www.ztatz.nl/).
Die schrijft slechts 1x/kwartier naar de SD kaart. ipv elke 10 seconden.

Mijn kabel heb ik hier gekocht:
https://webshop.cedel.nl/Slimme-meter-kabel-P1-naar-USB

Die monitor ziet er niet slecht uit, maar de broncode is blijkbaar niet te downloaden. Enkel een heel image. Beetje overkill om iedere keer de code uit dat image te peuteren

ygeffens · 29 jun 2020, 13:12

Dat is inderdaad een nadeel. Het 'eist' een volledige rPI op, je kan het niet bij iets anders installeren.
Updaten valt nog mee.
Lege USB stick plaatsen.
Migratie aanvinken
Op 2de SD kaartje de nieuwe versie plaatsen.
Shutdown
Kaartje wisselen
Bij opstart ziet het systeem de backup van de database en haalt die binnen.
Maar je bent wel tss de 5 à 10 minuten statistiek kwijt.

MClaeys · 29 jun 2020, 15:28

Bababa schreef:Met dsmr-reader worden de gegevens op je kaartje geschreven van de RPI. Dit heeft als risico dat het kaartje snel kan stuk gaan, zijn er bepaalde types kaartjes die hier beter tegen kunnen?

Ik had de database naar USB gezet, maar nu heb ik het in een VM draaien op ESX dat is wat stabieler.

sky · 02 jul 2020, 09:54

devastator schreef:De raspberry pi's die ik in gebruik heb, hebben allemaal een read only filesystem met writeable overlay. Dus geen slijtage van de SD, en ook geen corruptie van de data als de stroom er opeens af gaat.

Waar schrijf je data dan naartoe? En hoe maak je zoiets aan?

Kan je je RPI met HA rechtstreeks met zo een kabel een de P1 poort hangen of heb je 2 RPi's nodig?
En hoe zit dan dan als je HA in een docker op je nas of in een vm op een nuc draait. Heb je dan ook RPi nodig of kan je deze gegevens dan rechtstreeks uitlezen?

devastator · 02 jul 2020, 10:11

Ik heb een aantal RPI's die geen data moeten wegschrijven, bijv de controller van m'n poort en alarmsysteem. HA draait bij mij niet op een PI (dat zou ook niet goed werken op een read-only filesystem

). Omdat het read-only is, kan ik gewoon de stroom uittrekken zonder dat de SD kaart corrupt wordt. Ook is er geen slijtage van de SD, dus in principe zou deze kaart 'oneindig lang' moeten meegan.

Met die dsm-reader kan je wegschrijven naar een server die op een andere machine draait. Dat moet ik nog opzetten, hoop het kabeltje vandaag te ontvangen.

devastator · 09 jul 2020, 12:52

Krijgen jullie ook gegevens over het gasverbruik? Dit lijkt bij mij onbeschikbaar.

dupondje · 09 jul 2020, 13:39

Ja ik krijg die data gewoon door

Gebruik DSMR component in HA

sky · 09 jul 2020, 14:22

dupondje schreef:Ja ik krijg die data gewoon door
Gebruik DSMR component in HA

Gaat je kabel dan rechtstreeks van je P1 poort naar je HA toestel?

devastator · 09 jul 2020, 14:36

ik gebruik dsmr-reader, maar niks van gas data ...

honda4life · 09 jul 2020, 16:15

Krijg eerst je waarden op het portaal van je DNB te zien.

Ook de optie voor gas moest ik aanzetten, werkte vervolgens nog niet... Tot ik had gezegd "vergeet maar dat ik me nog ga bezig houden met meterstanden door te geven". Het was spoedig van op afstand in orde gebracht hoor.

dupondje · 10 jul 2020, 11:22

sky schreef: Gaat je kabel dan rechtstreeks van je P1 poort naar je HA toestel?

Nee, de P1 poort gaat naar een RPi bij de meter.
Mijn HA draait op een home-server die de data uitleest van de RPi (via ser2net)