Lazer

Chez moi j'ai systématiquement 3 jours de décalage. Hop, nouveau tuto ici : [Tuto Energie] Automatiser Le Relevé Du Compteur D'eau Veolia Depuis Le Site Web Bon courage Sakkhho, c'est pas simple.... Je sens déjàque je vais regretter d'avoir partagé un tuto pareil et que je vais passer le restant de mes jours àassurer le support d'une telle usine àgaz...

Ce sujet fait suite au sujet [Votre avis ?] Compteur Eau Veolia Hrf initié par @Sakkhho. Remarque préliminaire : depuis janvier 2019, Veolia a mis en place un nouveau site Web utilisant un framework trop complexe pour permettre la récupération automatisée des données depuis un script. Par conséquent, la nouvelle procédure est de télécharger manuellement le relevé au format CSV sur le site Web, puis de le transférer sur la machine sur laquelle s'exécute le script présenté ci-dessous. Opération à renouveler manuellement occasionnellement. Si votre fournisseur d'eau est Veolia, il a peut être installé un compteur d'eau équipé d'un module HRF permettant la télétransmission quotidienne des relevés du compteur vers les serveurs de Veolia. Pour Veolia, cela permet de vendre des services à valeur tarif ajoutée au client, comme une assurance "détection de fuite d'eau". Pour le client, cela permet de consulter son historique dans l'espace personnel accessible sur le site web https://www.service-client.veoliaeau.fr/home.html => https://espace-client.vedif.eau.veolia.fr/s/login/ A noter que les données accessibles sur le site ont un retard de 1 jour environ. Pour rappel, le télé-relevé est mis en place par le fournisseur d'eau en accord avec la municipalité, car cela nécessite la pose d'antennes en plusieurs points de la ville. La communication entre le compteur et l'antenne s'effectue sur une fréquence de 433 ou 868 MHz selon la génération, avec un protocole chiffré afin de sécuriser les données transmises. Par conséquent, il est impossible d'y accéder directement. Ce tutoriel décrit comment mettre en place un script permettant d'aller chercher automatiquement le relevé sur le site web, puis aux choix : injecter les données dans une base SQL envoyer les données vers un service de graphiques en ligne mettre à jour une variable globale sur une box domotique ... Tout d'abord, le script qui parcours les pages Web est écris en langage Shell Bash, il faut donc disposer d'un système Linux. Cela peut être un serveur dédié, un NAS, une machine virtuelle, un Raspberry PI, un émulateur Cygwin sous Windows, etc.... ce tuto ne décrit pas l'installation d'une telle plateforme. Ce script a été écrit rapidement, il sera peut-être nécessaire de l'adapter légèrement à votre usage. Notamment, j'ai tout installé avec le compte root, ce qui n'est pas une bonne pratique. Il est souhaitable de le faire tourner avec un utilisateur lambda disposant de peu de privilèges. De plus, la gestions des logs peut être améliorée. veolia.sh #/bin/bash # # Script: veolia.sh # # Version : 2.1 # # Date : Août 2019 # # Auteur : Lazer # # User data NAS_ADDRESS="http://XXXXX" NAS_URL="/graph" # Do not modify below this line # Initialization if [ -z "${1}" ] then echo -e "\nUsage : $0 <CSV File>\n" exit 1 fi if [ ! -f ${1} ] then echo "Error : file \"${1}\" does not exist" exit 2 fi # Prepare CSV data echo -e "\nPrepare data..." DATE=`/bin/date +"%Y%m%d"` grep "^[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] " $1 > /dev/null 2>&1 if [ $? -eq 0 ] then echo "Date format : YYYY-MM-DD" cat $1 | sed -e 's/"//g' | sed '1d' | awk -F\; 'BEGIN{OFS=","} {print substr($1,1,10),$2,$3,$4}' > conso-${DATE}.csv else grep "^[0-9][0-9]/[0-9][0-9]/[0-9][0-9][0-9][0-9] " $1 > /dev/null 2>&1 if [ $? -eq 0 ] then echo "Date format : DD/MM/YYYY" cat $1 | sed -e 's/"//g' | sed '1d' | awk -F\; 'BEGIN{OFS=","} {print substr($1,7,4)"-"substr($1,4,2)"-"substr($1,1,2),$2,$3,$4}' > conso-${DATE}.csv else echo "Error : unknown date format" exit 3 fi fi # Send data to DomoCharts POST=`awk -F\, 'BEGIN {ORS="";print "[";OFS=",";sep=""} {print sep"{\"id\":3000","\"date\":\""$1"\"","\"type\":\"water\"","\"value\":"$3"}"; sep=","} END {print "]\n"}' conso-${DATE}.csv` echo -e "\nJSON data :\n${POST}" echo -e "\nSend data to DomoCharts..." /usr/bin/curl --request POST --data ${POST} ${NAS_ADDRESS}${NAS_URL}/data_post.php echo Dans le script ci-dessus, il faut remplacer XXXXX par vos informations personnelles : # User data NAS_ADDRESS="http://XXXXX" NAS_URL="/graph" On rend ce script exécutable : [root@redhat veolia]# chmod u+x veolia.sh xls2csv Sur ma distribution Redhat, le script xls2csv est buggé. I y a un bug avec le format de date utilisé par Excel, et pas de chance on est en plein dedans. Ca se traduit par une date erronée de 4 ans et 1 jour. Ce script buggé est celui qui est fourni dans le package catdoc-0.94.2 écrit en C par V.B. Vagner et disponible dans toutes les bonnes distributions Linux. Il existe un autre script xls2csv, écrit en Perl par Ken Prows, qui fonctionne très bien. En revanche, il est plus compliqué à installer, comme tout ce qui touche à Perl ! Pour commencer, installer le compilateur gcc : [root@redhat ~]# yum install gcc Puis configurer le gestionnaire de paquets Perl CPAN : [root@redhat ~]# perl -MCPAN -e 'shell' [...] CPAN needs access to at least one CPAN mirror. As you did not allow me to connect to the internet you need to supply a valid CPAN URL now. Please enter the URL of your CPAN mirror http://www.cpan.org Configuration does not allow connecting to the internet. Current set of CPAN URLs: http://www.cpan.org Enter another URL or RETURN to quit: [] New urllist http://www.cpan.org Please remember to call 'o conf commit' to make the config permanent! cpan shell -- CPAN exploration and modules installation (v1.9402) Enter 'h' for help. cpan[1]> o conf commit commit: wrote '/usr/share/perl5/CPAN/Config.pm' cpan[2]> q No history written (no histfile specified). Lockfile removed. Lancer Perl et installer les packages suivants : [root@redhat ~]# perl -MCPAN -e 'shell' install CPAN reload CPAN install YAML install Locale::Recode install Unicode::Map install Spreadsheet::ParseExcel install Spreadsheet::ParseExcel::FmtUnicode install Text::CSV_XS exit Télécharger les sources de xls2csv et extraire l'archive : [root@redhat ~]# wget http://search.cpan.org/CPAN/authors/id/K/KE/KEN/xls2csv-1.07.tar.gz [root@redhat ~]# ll xls2csv-1.07.tar.gz -rw-r--r--. 1 root root 4665 Jan 22 2012 xls2csv-1.07.tar.gz [root@redhat ~]# tar xzf xls2csv-1.07.tar.gz [root@redhat ~]# cd xls2csv-1.07 [root@redhat xls2csv-1.07]# ll total 36 drwxr-xr-x. 4 501 games 4096 Jan 22 2012 . dr-xr-x---. 17 root root 4096 May 10 23:12 .. -rw-r--r--. 1 501 games 1227 Jan 22 2012 Changes -rw-r--r--. 1 501 games 710 Jan 22 2012 Makefile.PL -rw-r--r--. 1 501 games 163 Jan 22 2012 MANIFEST -rw-r--r--. 1 501 games 710 Jan 22 2012 META.yml -rw-r--r--. 1 501 games 536 Jan 22 2012 README drwxr-xr-x. 2 501 games 4096 May 10 23:12 script drwxr-xr-x. 2 501 games 4096 Jan 22 2012 t Compiler et installer xls2csv : [root@redhat xls2csv-1.07]# perl Makefile.PL [...] [root@redhat xls2csv-1.07]# make [...] [root@redhat xls2csv-1.07]# make install [...] Vérifier le bon fonctionnement : [root@redhat xls2csv-1.07]# /usr/local/bin/xls2csv -h xls2csv - Recode a spreadsheet's charset and save as CSV. usage: xls2csv -x spreadsheet.xls [-w worksheet] [-n worksheet number] [-b charset] [-c csvfile.csv] [-a charset] [-qshvWf] -x : filename of the source spreadsheet -b : the character set the source spreadsheet is in (before) -c : the filename to save the generated csv file as -a : the character set the csv file should be converted to (after) -q : quiet mode -s : print a list of supported character sets -h : this help message -v : get version information -W : list worksheets in the spreadsheet specified by -x -w : specify the worksheet name to convert (defaults to the first worksheet) -n : specify the worksheet number to convert (you cannot use this option with -w) -f : force the worsheet to be fully parsed. This disables the feature that skips rows when the first cell is blank example: xls2csv -x "spreadsheet.xls" -b WINDOWS-1252 -c "csvfile.csv" -a UTF-8 More detailed help is in "perldoc xls2csv" Graphiques Le script veolia.sh injecte les données dans la même base de données que mon outil DomoCharts. Dans le fichier index.php on dé-commente les 2 lignes suivantes dans la rubrique <select id="update"> <option value="water_day">Eau [L] (moyenne journalière)</option> <option value="water_month">Eau [L] (moyenne mensuelle)</option> veolia.sh Retour au script veolia.sh écrit précédemment. Il devrait maintenant pouvoir s'exécuter avec succès : [root@redhat veolia]# ls -l veolia.sh -rwxr-xr-x. 1 root root 992 May 1 17:37 veolia.sh [root@redhat veolia]# ./veolia.sh historique_jours_litres_20190501.csv Prepare data... Send data to DomoCharts... {"success":true,"rowcount":0} Check old values... .......................................................................................... Bonus Si on veut mettre à jour une variable globale sur la box Home Center 2 en v4, on peut remplacer les dernières lignes du script veolia.sh par la ligne suivante (non testé personnellement) : # Send data to HC2 global variable CONSO=`tail -1 conso-${DATE}.csv | awk -F\, '{print $3}'` PUT="{\"name\": \"ConsoEau\", \"value\": \"${CONSO}\"}" curl --request PUT --data ${PUT} --user admin:password http://192.168.x.y/api/globalVariables/ConsoEau

Vivement le 10 Gbps.... mon réseau câblé est prêt

Es-tu certain d'avoir câblé comme il faut ? Tu entends bien le petit relai du module Diagral commuter lorsque tu mets en marche/arrêt l'alarme ? Avec un multimètre en mode ohmètre (ou testeur de continuité), tu peux vérifier que le contact s'établit ou se coupe en sortie du module. Effectivement, tu n'as rien à faire dans le panneau d'alarme à ce niveau. Tu dois juste voir l'état de l'une des entrées du module Fibaro Univesel changer dans l'interface Web HC2.

mprinfo, oui la profondeur est la principal problème chez moi. Donc je vais faire du sur mesure, avec ces rails là : http://www.ebay.fr/itm/Adam-Hall-61535B6-Profile-rack-en-acier-2-mm-6U-/390607475611?ssPageName=ADME:L:OC:FR:3160 Quelques cornières chez LM et quelques planches de bois pour habiller le tout et ça sera parfait. Il ne me reste plus qu'à trouver une solution pour la porte vitrée. Ca a beau être installé dans un placard, je veux que ça soit quand même fermé. @clarkkent609 : ah mon avis je rêve, et ce genre de matos me coutera plusieurs centaines d'euros.... heureusement rien ne presse. Ou alors je prend un 24 ports manageable normal, et un petit POE à coté de 4 ou 8 ports, ça suffit. Le cout total sera moins cher.

Hum, je vois mal Jojo modifier la base SQL dans la sauvegarde, de ce coté làje ne suis pas inquiet

@mprinfo ce n'est pas un problème, il suffit de recalculer le checksum. De toutes façons, le checksum ne sécurise pas le répertoire scenes, qui contient les fichiers LUA. Regarde mon topic pour plus de détails : http://www.domotique-fibaro.fr/index.php/topic/2364-hc2-usb-recovery-tweaks/

Ah ça on risque d'attendre un moment.... :/

J'ai vu le test rapide de Domadoo ce matin, je ne le pensais pas si petit. Il me plait bien, il pourrait bien succéder au FGMS.

Oui Jojo tu as bien compris.

Si les fichiers Lua sont sur la clé. Regarde mon topic, tu peux les relire sans souci.

Did, les interfaces de management sont souvent lentes. Sur mon Netgear c'est une horreur, mais ça n'empêche pas le switch de délivrer les performances attendues: du vrai gigabit. Mprinfo, je vais passer en 19 pouces, pour cela je vais fabriquer du sur mesure, j'ai déjàreçu les rails nus. C'est dans un placard, donc aucun coffret tout fait ne convient.

Ou la borne UAP-AC si tu veux du 802.11ac, mais le prix n'est plus du tout le même. Je confirme 8 ports c'est trop juste et on arrive vite àsaturation. Je pense qu'avant la fin d'année, il faudra que je me trouve un minimum 24 ports manageable POE àvil prix.... C'est pas gagné.

Les scènes s'exécutent dans le processus principal de la HC2. Donc àpriori, pas de moyen simple des les bloquer, si ce n'est modifier la base de donnée afin qu'elles ne s'exécutent pas au prochain reboot.A noter que le code LUA des scènes est stocké dans des fichiers sur disque, donc on peut aussi les supprimer... Ainsi la base de données pointera sur un code source inexistant, donc il ne peut pas s'exécuter. Les modules virtuels s'exécutent dans des processus séparés, donc il est facile de faire un kill.

Il semble y avoir un bug en 4.048, la sonde de température n'est pas reconnue : http://forum.fibaro.com/index.php?/topic/18584-update-hc2-4048-hotfix/page-2#entry66539

Bah c'est interprété comme un commentaire dans le VD, je ne vois pas le souci.

Mes équipements sont connectés sur un switch, donc le réseau survie au reboot/panne de la box. J'ai une passerelle SMS pour communiquer avec l'extérieur. Le seul souci, c'est le Wi-Fi qui utilise actuellement le point d'accès de la box, mais j'ai en projet de le remplacer par un point d'accès indépendant (Ubiquiti pour les connaisseurs). A noter qu'en entreprise, les serveurs sont toujours en adressage statique. Il n'y a que pour les postes de travail que le DHCP est utilisé, et encore, pas toujours.

Ça fait une bonne idée de virus ça. Le 1er avril prochain, je vous ferai un tutoriel avec un virtual device àtélécharger. Dedans, il y aura le code du reboot dans la main loop. Et hop Je sors....

@cybersquat il faut vraiment que le support se connecte en SSH pour regarder ce qui ne va pas. Voici un rapide monitoring de ma box en v4.047 pendant 24h. Pour rappel, mon installation n'est pas toute propre, puisque j'ai tout migré depuis la v3, donc il y a quelques inconsistances dans la base de données. L'interface Web n'est pas super réactive, quand j'ouvre plusieurs onglets simultanément les boules bleues tournent pendant de longues secondes avant de rendre la main. (ceci dit, j'ai remarqué le même comportement sur ma box de test réinstallée proprement en v4 avec seulement 5 modules).... donc les lenteurs de l'interface ne proviennent pas des migrations successibles. Et pourtant, les graphs suivants confirment ce que j'ai toujours dis et pensé : la HC2 est sous exploitée, elle ne fait rien de la journée. Consommer 13W pour ça, c'est presque du gâchis : . Au niveau RAM, on voit une légère oscillation, mais dans l'ensemble c'est stable autour de 50% libre :

Pour les FGRM, c'est "Open" ou "Close" avec le pourcentage derrière. {"Open", id["VOLET"], 100} -- le matin {"Close", id["VOLET"], 100} -- le soir

Réponse hors topic Tu fais une sauvegarde sur ta clé USB, puis tu éteints la box, tu débranches la clé, tu la branches sur un PC, tu recopie le contenu du répertoires 'backups', tu éjectes proprement la clé, tu la rebranches sur la HC2, et tu boote. Pour plus d'infos : http://www.domotique-fibaro.fr/index.php/topic/4924-faire-une-copie-de-la-clef-usb-recovery-sous-windows/

Pas d'accord Si la box est en panne, ou quand on change d'opérateur, alors on perd tout le réseau dès le bail DHCP dépassé. A mon avis, le mieux est de cumuler adressage forcé par le DHCP, plus adressage fixe sur les machines. Comme ça, si la box domotique (ou tout autre équipement) reboote en mode Recovery, alors elle reprendra la même IP qu'elle avait lors de son fonctionnement normal. Idem pour le PC, si on le réinstalle, il sera en Dhcp donc reprendra la même IP. Si c'est la box adsl qui est HS, mais alors tout le réseau continue de fonctionner.

Euh y a des petites choses àce sujet je crois. Le souci c'est qu'il y a autant de tutos que de box sur le marché, et on est sur un forum domotique, pas réseau/informatique.

Tu ouvres sur un autre numéro de port. Ta box adsl doit pouvoir faire de la redirection de ports.

Ok je comprends, mais n'oublie pas que Veolia publie les données avec 3 jours de retard donc ça limite malheureusement beaucoup la réactivité et l'intérêt du push.