Backfill di due anni di log: observability enterprise-grade su un Raspberry Pi

Wed, 08 Apr 2026 00:00:00 +0000

Ho un server FreeBSD che si chiama m42 e gira da anni. Gestisce email (Postfix + Dovecot + Rspamd), web (nginx con una dozzina di vhost), firewall (pf), e tutti i soliti servizi. Genera migliaia di entry di log al giorno su quattro formati distinti: BSD syslog, fail2ban, pf packet filter, e nginx access/error.

Ho anche scritto pfasciilogd nel 2023 per convertire i log binari di pf in testo ASCII così che fail2ban potesse parsarli — un pezzo fondamentale che oggi alimenta di telemetria strutturata del firewall l’intera pipeline.

Ho anche due anni di backup mensili conservati in snapshot restic. Circa 25 milioni di righe di log, lì ferme. Una miniera di telemetria di sicurezza, pattern di traffico, e dati sugli attacchi — completamente non indicizzata e non ricercabile.

Ho costruito uno stack completo di observability su un Raspberry Pi 5 a casa — VictoriaLogs per lo storage, Telegraf per il processing, Grafana per la visualizzazione — e poi ho fatto il backfill di ognuna di quei 25 milioni di entry attraverso la stessa identica pipeline che processa i dati live. Con enrichment completo: geolocalizzazione GeoIP, identificazione ASN, e risoluzione DNS inversa per ogni indirizzo IP.

Questo è log management di livello enterprise. Che gira su un single-board computer da 80€. Nel mio salotto.

Perché i backfill sono difficili (e di solito vengono saltati)

Siamo onesti: nessuno fa i backfill. Sono i broccoli del lavoro operativo. Sai che dovresti, ma il rapporto sforzo/beneficio sembra pessimo.

Observability on Marcello Barnaba

Backfill di due anni di log: observability enterprise-grade su un Raspberry Pi

Perché i backfill sono difficili (e di solito vengono saltati)