erlug
[Top] [All Lists]

[Erlug] net balancing, squid e analisi dei log

To: ERlug - Lista Pubblica <erlug@xxxxxxxxxxxxxx>
Subject: [Erlug] net balancing, squid e analisi dei log
From: Matteo Sgalaberni <sgala@xxxxxxxxx>
Date: Fri, 5 Jul 2013 19:45:11 +0200 (CEST)
Ciao @all, 

sto facendo un esperimento di setup esoterico per bilanciare il traffico locale 
uscente del mio ufficio tra connettività multiple con latenze molto differenti 
(tra cui due estremi HDSL e satellite).

Il mio obiettivo è buttare su satellite e connettività "pompate" (tanta 
latenza, molta banda) il traffico "feccia", youtube, etc... e tenere le linee 
fighe (poca latenza, "poca" banda) libere per altri scopi più nobili (c'è anche 
chi lavora!)

Per bilanciare il traffico ho pensato a una combinazione esoterica di:

- tabelle di routing multiple tipo:
ip rule add add from  172.16.99.0/24 table SAT
ip route add default via 172.16.99.1 table SAT

- squid con ACL e modifica del source in modo che il traffico venga poi 
pigliato dalle mia tabelle di routing speciale e faccia il corso che voglio io

(questo è un esempio di acl segrete che ho fatto)

acl satellite_dstdomain dstdomain   .1e1000.net
acl satellite_dstdomain dstdomain   .youtube.com
acl satellite_dstdomain dstdomain   .vimeocdn.com
acl satellite_dstdomain dstdomain   .staticflickr.com
acl satellite_dstdomain dstdomain   .flickr.com
acl satellite_dstdomain dstdomain   .akamaihd.net
acl satellite_urlpath_regex urlpath_regex  
\.(mpg|mpeg|mp4|m4v|mov|avi|asf|wmv|wma|dat|flv|swf)\?
acl satellite_urlpath_regex urlpath_regex  
\/(get_video\?|videodownload\?|videoplayback.*id)

tcp_outgoing_address 172.16.99.2 satellite_dstdomain
tcp_outgoing_address 172.16.99.2 satellite_urlpath_regex

fatta questa premessa che mi soddisfa molto (ho in test questa configurazione 
da 1 week)... vorrei arrivare a monitorare quel che passa dal proxy e 
aggiungere i "top" domain che fanno più traffico per buttarli su satellite, o 
trovare dall'analisi, strategie di ACL più intelligenti.

Con il tempo così dovrei avere una discreta "blacklist" di robe da mandare su 
satellite...

se avete commenti sul sopra siete i benvenuti...(io cercavo una soluzione per 
buttare dinamicamente su satellite le connessioni più "ciccione" tipo, se 
trasferisci oltre 5MB, vai su satellite... ma ormai che la connessione è 
ESTABLISHED non puoi girarla altrove...con source diversi poi)

ma veniamo al dunque... cosa mi consigliate per fare statistiche/monitoraggio 
dei log di squid?

ho provato calamaris e mi sembra l'unico che produca un output DECENTE, ma non 
ha nessun modo per filtrare i dati per giorno mese anno...

altre robe mi sembrano acerbe e farraginose...ho provato anche awstats ma non è 
fatto per un proxy, (non ti fa tipo il raggruppamento per dominio dst e per 
host interno... cose che nella mia analisi mi servirebbero...)

se qualcuno ha idee, si faccia avanti!

ciao e grazie!!

Matteo

<Prev in Thread] Current Thread [Next in Thread>