erlug
[Top] [All Lists]

Re: [Erlug] Log aggregation, sempre lui

To: ERlug - Lista Pubblica <erlug@xxxxxxxxxxxxxx>
Subject: Re: [Erlug] Log aggregation, sempre lui
From: m <m@xxxxxxxxxxxxxxxx>
Date: Sun, 6 Jan 2013 12:19:59 +0100
* Sandro Zaccarini (guly@xxxxxxxxxxxx) [130106 11:43]:
> > 
> > Relativo se sei una banca/una telco/un signore del narcotraffico: ho
> > fatto un'indagine recentemente e per "un bel po' di Gb al giorno"
> > secondo me e` inaffrontabile.
> 
> per i 500mb di licenza base IIRC sono $4k annui, che "per me" attualmente
> sarebbero sufficienti, ma sono molto lontani dalla quanto dice giulio.
>

so di un posto dove lo hanno preso, hanno molti dati, gli hanno fatto
uno sconto serio, ma siamo ancora nell'ordine delle decine di migliaia
di euro all'anno

> > Giusto per seminare zizzania:
> > https://github.com/johnl/riak-syslog#readme
> 
> non conosco, ho visto setup di situazioni simili a splunk implementare
> xapian e reagire abbastanza bene su ricerche log grezzi ma sono sempre
> almeno un ordine di grandezza sotto splunk.
>

secondo me si stanno mischiando casi di uso molto diversi: li enuncio in
ordine sparso per come li ho capiti:
- i log sono log applicativi, gia` 'pronti' per essere analizzati,
  quindi coerenti, ecc. o vanno pre-processati ? perche` in tal caso
  nell'equazione forse serve un oggetto come logstash
- i log sono gia` consolidati o consolidabili in un posto unico, o c'e`
  anche un problema di trasporto ? perche` anche qua ci sono vari
  strumenti, tra cui logstash di cui sopra
- c'e` un vincolo legato alle performance, per cui si sa o si suppone di
  avere un certo traffico (alto) ? oppure parliamo dell'equivalente di
  un log di un apache server un po' carico ?
- si possono perdere delle voci dei log, o e` necessario garantire
  l'affidabilita` di tutti i dati in transito ? perche' in quest'ultimo
  caso potresti introdurre un ulteriore elemento, che ti realizza un
  canale con memoria, con un sistema di code a la` RabbitMQ per capirci

perche', per esempio, mettere i log di syslog su riak, puo' essere una
genialata, come la 'mas grande vacata del mundo' [1], perche' da un lato
va come un treno, per le prove che abbiamo fatto noi in BioDec, ma uno
dei suoi punti di forza e` (anche) la replicabilita` dei dati: non so se
ha senso avere un cluster di tre nodi per tenere delle righe di log,
forse si o forse no; ha la ricerca full-text, ma magari non ti serve a
molto se devi fare dei grafichi bellini per persone che capiscono poco
di data analytics

cioe`, il problema, per come l'ho capito io, non e` sufficientemente
chiaro, e quindi non saprei cosa consigliare

> riak che performances permette di avere? c'e' qualche use-case reale
> pubblico/abile?
>  

performance molto buone, usato come cache distribuita di file, in rete
locale: lo stesso setup, a meno di un calo ovvio [2] di prestazioni, puo'
anche essere usato su rete geografica

per il momento, per casi di uso simili al nostro, lo consiglierei senza
dubbio

[1] Capitano Raimundo Navarro, Paloma II
[2] ovvio magari no, se avete la vostra fibra a 100Gb/s di proprieta`

-- 
 .*.                            finelli
 /V\
(/ \) --------------------------------------------------------------
(   )       Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

Peraltro, a ben guardare, il riferimento ai testicoli è un commento di
Zuppiroli alla replica del Tanno ad una battuta di Ivan Sergio Borgonovo
sulle gnocche allo SMAU. Panerai non c'entra proprio un tubo. Ma
immagino che la comprensione del testo non sia cosa da giornalisti.

   Alberani, durante la great PaneParade

<Prev in Thread] Current Thread [Next in Thread>