Indice del forum Emilia Romagna Linux Users Group
i forum di ERLUG
torna alla home page di ERLUG
 
 Forum SubscriptionsForum Subscriptions   FAQFAQ   CercaCerca   Lista utentiLista utenti   GruppiGruppi   RegistratiRegistrati 
 ProfiloProfilo   Messaggi privatiMessaggi privati   Log inLog in 

riguardo al fare dei backup seri
Vai a 1, 2  Successivo
 
Nuovo argomento   Rispondi    Indice del forum -> ERLUG
Precedente :: Successivo  
Autore Messaggio
Michele Finelli
Ospite





MessaggioInviato: Gio 07 Set 2017 21:36    Oggetto: riguardo al fare dei backup seri Rispondi citando

Salve o popolo,
mi chiedevo che cosa usassero i partecipanti di questo nobile
consesso per gestire situazioni come la seguente (ad esempio): fare un
backup su rete geografica (diciamo che si possa assumere una 100Mb/s
scarsa di media) di un server (o più server) Linux che però abbiano
dimensioni serie (serio > 0.5TB). Noi usiamo backuppc e arriva dove può
con parecchio tweaking, e mi chiedo se ci siano alternative migliori.

Nota: per evitare perdite di tempo, il mio punto è Linux-to-Linux, per
cui ottime soluzioni in cui si usano SAN specifiche che hanno feature di
un tipo o di un altro, al di là del fatto di essere proprietarie, o a
pagamento, non mi servono, perché sarebbero la soluzione ad un problema
diverso dal mio [1]

Thanks

[1] poi possiamo aprire il thread separato su come le soluzioni
mirabolanti con le quali ci siamo trovati a che fare hanno spesso tirato
dei ciocchi da ribaltarsi

_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

Eenie meenie macka racka
Rair roe dominacka,
Soominacka noominacka,
Rum tum scum scoosh!
Top
"Sandro \"guly\" Zacca...
Ospite





MessaggioInviato: Gio 07 Set 2017 21:57    Oggetto: riguardo al fare dei backup seri Rispondi citando

secondo me mancano info:
- database o file?
- linux su ferro o virtualizzati?
- se virtualizzati, quale hypervisor?
- filesystem dove risiedono i dati
- per backup intendi backup, non DR o copia per la business continuity
- se si', backup full o incrementale?
- se incrementale, di media quanti giga cambiano ogni run?
- ogni quanto vuoi il sync?
- uno o piu' non e' un numero, quanti server sono? :)
- intuisco che gestisci tu entrambi i nodi, e non e' un requisito) anche se
credo sia comunque desiderata) cifrare il backup (sempre se di backup si
parla) sulla destinazione

attento: se e' interessante dovrai raccontarci come hai fatto con backuppc
:)


taste your favourite IT consultant


2017-09-07 11:53 GMT+02:00 Michele Finelli <m@xxxxxx.xyz>:

Citazione:
Salve o popolo,
mi chiedevo che cosa usassero i partecipanti di questo nobile
consesso per gestire situazioni come la seguente (ad esempio): fare un
backup su rete geografica (diciamo che si possa assumere una 100Mb/s
scarsa di media) di un server (o più server) Linux che però abbiano
dimensioni serie (serio > 0.5TB). Noi usiamo backuppc e arriva dove può
con parecchio tweaking, e mi chiedo se ci siano alternative migliori.

Nota: per evitare perdite di tempo, il mio punto è Linux-to-Linux, per
cui ottime soluzioni in cui si usano SAN specifiche che hanno feature di
un tipo o di un altro, al di là del fatto di essere proprietarie, o a
pagamento, non mi servono, perché sarebbero la soluzione ad un problema
diverso dal mio [1]

Thanks

[1] poi possiamo aprire il thread separato su come le soluzioni
mirabolanti con le quali ci siamo trovati a che fare hanno spesso tirato
dei ciocchi da ribaltarsi

--
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

Eenie meenie macka racka
Rair roe dominacka,
Soominacka noominacka,
Rum tum scum scoosh!
_______________________________________________
Erlug mailing list
Erlug@xxxxxx.xyz
http://erlug.linux.it/cgi-bin/mailman/listinfo/erlug
-----------------------------------------------------------
ErLUG webzine: http://erlug.linux.it
Manuali FDL:
LinuxFacile - http://linuxfacile.medri.org/
Linux Da Zero - http://erlug.linux.it/linuxdazero/
Connettivita' offerta da Ehiweb.it - http://www.ehiweb.it/
-----------------------------------------------------------

Top
Pierluigi Luciani
Ospite





MessaggioInviato: Gio 07 Set 2017 22:18    Oggetto: riguardo al fare dei backup seri Rispondi citando

Ciao,

noi stiamo testando da diversi mesi Urbackup[1], installato su una vm
presso OVH, come Backup Server remoto affiancato alla macchina BackupPC
locale, e sembra comportarsi bene. Prevede espressamente la modalità
"Internet Client".

Ciao Pierluigi

[1] https://www.urbackup.org


Il 07/09/2017 11:53, Michele Finelli ha scritto:
Citazione:
Salve o popolo,
mi chiedevo che cosa usassero i partecipanti di questo nobile
consesso per gestire situazioni come la seguente (ad esempio): fare un
backup su rete geografica (diciamo che si possa assumere una 100Mb/s
scarsa di media) di un server (o più server) Linux che però abbiano
dimensioni serie (serio > 0.5TB). Noi usiamo backuppc e arriva dove può
con parecchio tweaking, e mi chiedo se ci siano alternative migliori.

Nota: per evitare perdite di tempo, il mio punto è Linux-to-Linux, per
cui ottime soluzioni in cui si usano SAN specifiche che hanno feature di
un tipo o di un altro, al di là del fatto di essere proprietarie, o a
pagamento, non mi servono, perché sarebbero la soluzione ad un problema
diverso dal mio [1]

Thanks

[1] poi possiamo aprire il thread separato su come le soluzioni
mirabolanti con le quali ci siamo trovati a che fare hanno spesso tirato
dei ciocchi da ribaltarsi


_________________
Pierluigi Luciani

Tel: +39.0532.92904
Mob: +39.348.3909540
Fax: +39.0532.978482
Email: pluciani@ink-os.net

INK Open Solutions
Consulenza informatica
Via R. Leoncavallo, 37
44124 Ferrara (FE)
www.ink-os.net
Top
Michele Finelli
Ospite





MessaggioInviato: Gio 07 Set 2017 23:22    Oggetto: riguardo al fare dei backup seri Rispondi citando

* Sandro "guly" Zaccarini (guly@xxxxxx.xyz) [170907 12:14]:
Citazione:
secondo me mancano info:
- database o file?

a seconda dei server, sia gli uni che gli altri, o ambedue

Citazione:
- linux su ferro o virtualizzati?

ambi i casi, anche in questo caso

Citazione:
- se virtualizzati, quale hypervisor?

libvirtd+KVM o Ganeti

Citazione:
- filesystem dove risiedono i dati

XFS o ZFS, dipende dai casi

Citazione:
- per backup intendi backup, non DR o copia per la business continuity

intendo quella cosa con la quale puoi iniziare a ragionare di DR e
business continuity e senza la quale si parla di niente

Citazione:
- se si', backup full o incrementale?

quello che passa il convento: il fatto dell full / incrementale dipende
dall'implementazione del backuppatore, per bilanciare le richieste di
trasferimento (uso della banda) rispetto ad altre richieste (RAM e CPU
per capire che il dato ci sia già): a me come utente del backup, non
interessa la modalità, ma mi serve il dato disponibile (e integro, ecc.)

Citazione:
- se incrementale, di media quanti giga cambiano ogni run?

dipende tantissimo dal server, da come è dimensionato e da cosa fa: ma
il punto è che per i piccoli il problema è banale alla fine (10 minuti
di differenza su un'ora non cambiano la vita) se il server è grande
(ricordati che il problema mi interessa per moli di dati attorno al
Terabyte, se parliamo di GB lo reputo un problema risolto) invece si
inizia ad avere tutti i tipi di comportamento

aggiungo che questo aspetto può anche cambiare nel tempo, ovvero oggi
hai che ti cambiano il 1% dei file, ma tra sei mesi è il 20%, oppure che
in media è x% ma esistono n momenti in un anno in cui è y% con y >> x

e varianti sul tema: non è un qualcosa che puoi considerare predefinito

Citazione:
- ogni quanto vuoi il sync?

questo di solito è un risultato della configurazione del sistema, ovvero
il backup corre con la maggior frequenza possibile, modulo il non essere
un problema lui stesso: è chiaro che se la frequenza è settimanale, è un
backup problematico, ma se (in linea di principio) gira tutti i minuti e
non avrei vantaggi a ridurne la frequenza, perché no

diciamo che le aspettative sono che in media non passi più di un giorno
(tanto per fissare i ragionamenti), poi si apre il problema della durata
dello storico ecc. (che però per me è un problema concettualmente
diverso, ovvero come costruire e garantire un archivio)

Citazione:
- uno o piu' non e' un numero, quanti server sono? :)

certi backuppc ne hanno mezzo centinaio, altri qualche decina, altri
poche unità

Citazione:
- intuisco che gestisci tu entrambi i nodi,

ovvio :)

Citazione:
e non e' un requisito (anche se credo sia comunque desiderata) cifrare
il backup (sempre se di backup si parla) sulla destinazione


no, non necessariamente, a volte è la partizione che è cifrata, poi se
c'è un software che mi da anche quella feature, è un qualcosa di di più
che può essere un valore, ma al momento non è un è un requisito

Citazione:
attento: se e' interessante dovrai raccontarci come hai fatto con backuppc :)


ovviamente si

_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

Vado, l'ammazzo e torno.

Tuco
Top
Michele Finelli
Ospite





MessaggioInviato: Gio 07 Set 2017 23:23    Oggetto: riguardo al fare dei backup seri Rispondi citando

* Pierluigi Luciani (pluciani@ink-os.net) [170907 12:35]:
Citazione:

noi stiamo testando da diversi mesi Urbackup[1], installato su una vm presso
OVH, come Backup Server remoto affiancato alla macchina BackupPC locale, e
sembra comportarsi bene. Prevede espressamente la modalità "Internet Client".


si, ma di quanti dati parliamo ? vedi anche la mia risposta a Zaccarini:
che mole viene trasferita, e in che tempi ?


_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

On Thursday January 8th (2009, ndr) the Bank of England cut the base rate
from 2% to 1.5%, the lowest since the central bank was founded in 1694.

The Economist
Top
Pierluigi Luciani
Ospite





MessaggioInviato: Ven 08 Set 2017 00:30    Oggetto: riguardo al fare dei backup seri Rispondi citando

Poca roba ... si parla di circa 80 GB di dati complessivi, movimentati
settimanalmente circa 130 MB -compressi a 30 MB- e giornalmente 32 MB
-compressi 9MB-, utilizziamo una connessione ad Internet 50Mbps/10Mbps.
In queste condizioni il full ci impiega in circa 55 min e l'incrementale
circa 2 minuti

Ciao
Pierluigi

Il 07/09/2017 13:40, Michele Finelli ha scritto:
Citazione:
* Pierluigi Luciani (pluciani@ink-os.net) [170907 12:35]:
Citazione:
noi stiamo testando da diversi mesi Urbackup[1], installato su una vm presso
OVH, come Backup Server remoto affiancato alla macchina BackupPC locale, e
sembra comportarsi bene. Prevede espressamente la modalità "Internet Client".

si, ma di quanti dati parliamo ? vedi anche la mia risposta a Zaccarini:
che mole viene trasferita, e in che tempi ?



_________________
Pierluigi Luciani

Tel: +39.0532.92904
Mob: +39.348.3909540
Fax: +39.0532.978482
Email: pluciani@ink-os.net

INK Open Solutions
Consulenza informatica
Via R. Leoncavallo, 37
44124 Ferrara (FE)
www.ink-os.net
Top
Fabio Ferrero
Ospite





MessaggioInviato: Ven 08 Set 2017 21:51    Oggetto: riguardo al fare dei backup seri Rispondi citando

Citazione:
On 7 Sep 2017, at 11:53, Michele Finelli <m@xxxxxx.xyz> wrote:
backup su rete geografica (diciamo che si possa assumere una 100Mb/s
scarsa di media) di un server (o più server) Linux che però abbiano
dimensioni serie (serio > 0.5TB). Noi usiamo backuppc e arriva dove può

Io non ho esigenze di dimensioni simili, ma da qualche anno uso con soddisfazione duplicity:
http://duplicity.nongnu.org/
Il sottotitolo dice:
Encrypted bandwidth-efficient backup using the rsync algorithm

Prevede un discreto numero di backend, tra i quali S3, e caselle imap, puo? crittografare tutto ed e? ampiamente configurabile su cosa salvare, quando e per quanto tempo?

Ovviamente solo console.

Ciao.

_________________
Voglia di Gusto: prodotti senza glutine, per intolleranze e biologici
via Matteotti, 30/a - Cento (FE)
telefono: 051.412.3838
http://www.vogliadigusto.it
info@xxxxxx.xyz
Top
~leo



Registrato: 20/09/07 20:27
Messaggi: 10
Residenza: BO

MessaggioInviato: Mar 12 Set 2017 05:20    Oggetto: Re: riguardo al fare dei backup seri Rispondi citando

incrementali con zfs send?

nota che zfs on linux da pochissimo (v0.7) ha addato il send compresso, quindi se il tuo dataset ha tipo 10x di compress rate, puoi sendarlo gia` compresso senza uccidere le cpu (io uso molto comp=gzip seppure non raccomandatissimo, ma anche lz4 e` forte)

per i database, tenere una replica asincrona sul srv.backup, eventualmente tenerla ferma di giorno e farla riallineare la sera, e dumparla quindi localmente.

Oppure full dump solo ogni mese, o bi-weekly, e poi trasferire i log (binary log in mysql).

Sempre canonico rsync, poi ho usato anche io duplicity anni fa...
Top
Profilo Invia messaggio privato
Michele Finelli
Ospite





MessaggioInviato: Mar 12 Set 2017 06:14    Oggetto: riguardo al fare dei backup seri Rispondi citando

* ~leo (leon666@xxxxxx.xyz) [170911 19:33]:
Citazione:
incrementali con zfs send?

<snip>
Citazione:

Sempre canonico rsync, poi ho usato anche io duplicity anni fa...


ok, come si fa lo so, chiedevo di esperienze in caso di tanti dati
(~1TB), o di tool particolari che magari mi sono perso, visto che poi
c'è gente che ci lavora su ste cose

ribadisco: se i dati sono pochi, come si dice in inglese "All Saints do
help along !" (come nella variante "Getting to the bottom, all Saints
help a lot"); la mia domanda è "e se ne avete molti, come fate ?"

legittima l'opzione "non ne ho molti, quindi boh"

_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

The most distasteful aspect of Silvio Berlusconi's behaviour is not that
he is a chauvinist buffoon.

http://www.timesonline.co.uk/tol/comment/leading_article/article6401859.ece
Top
Matteo Sgalaberni
Ospite





MessaggioInviato: Gio 21 Set 2017 19:24    Oggetto: riguardo al fare dei backup seri Rispondi citando

Citazione:
Salve o popolo,
mi chiedevo che cosa usassero i partecipanti di questo nobile
consesso per gestire situazioni come la seguente (ad esempio): fare un
backup su rete geografica (diciamo che si possa assumere una 100Mb/s

Backuppc è meraviglioso, fantastico, uno e trino.

Forse l'unico software opensource così figo che esista per i backup secondo me.

Ma come dici tu ha grosse criticità e limitazioni sui casi che evidenzi. E tecnologicamente parlando c'è poco da fare, se l'approccio è quello, cambi software ma il nodo del problema rimane.

Io personalmente non sposo mai backuppc come primo livello di backup in quei casi.
Per me è il backuppatore "best effort", ovvero lui gira, poi ci mette quel che ci mette, prima o poi finirà e avrò dei backup, probabilmente consistenti.
Anche perchè poi non puoi nemmeno affidarti su di lui per un bare metal recovery di un server "intero".
Definire un RTO con BackupPC direi che è la cosa più impossibile che ci sia.

Al dilà di questo, secondo me la metodologia più veloce in assoluto per fare backup dei "bidoni grossi" rimane fare snapshot "del bidone" (filesystem tipo) e fartene una copia.
La cosa ancora più megahipster in assoluto avere una soluzione che fa change block tracking e ti fa lo snapshot incrementale cosi da rendere tutto ancora più veloce ed efficiente. Metodologia usata poi da tutti i sistemi più hipster che trovi nel mercato anche se nel mondo opensource non ho ancora visti.

Una soluzione diversa dall'approccio sopra indicato, che è anche molto vincolante all'hypervisor e all'infrastruttura e non sarebbe quindi assolutamente attuabile nel tuo caso, è la soluzione adottata dal software Veeam Agent for linux (free ma non opensource). Questa implementa un sistema di backup di una efficienza assoluta.

Veeam Agent for linux ragiona a livello di singolo server quindi funziona su qualsiasi cosa di fatto.
Hanno implementato un changed block tracking driver per linux (e supporta svariati filesystem), che tiene traccia quindi dei blocchi cambiati a livello di filesystem. permette quindi di fare backup incrementali a velocità e ottimizzazioni supersoniche e il target del backup può essere svariate cose che spedisci via rete dove vuoi.
L'idea di base a me sembra win-win ed è vero peccato che non ci siano alternative opensource che la implementino.


M.
Top
Fabio Muzzi
Ospite





MessaggioInviato: Gio 21 Set 2017 19:56    Oggetto: riguardo al fare dei backup seri Rispondi citando

On 2017-09-21 09:28, Matteo Sgalaberni wrote:

Citazione:
Veeam Agent for linux ragiona a livello di singolo server quindi
funziona su qualsiasi cosa di fatto. Hanno implementato un changed
block tracking driver per linux (e supporta svariati filesystem), che
tiene traccia quindi dei blocchi cambiati a livello di filesystem.
permette quindi di fare backup incrementali a velocità e
ottimizzazioni supersoniche e il target del backup può essere
svariate cose che spedisci via rete dove vuoi. L'idea di base a me
sembra win-win ed è vero peccato che non ci siano alternative
opensource che la implementino.

Parlami di veeam agent for linux.

Lo uso per windows con gioia per i client e anche per qualche server
fisico, tutto rigorosamente in "barbon mode" e quindi free as a stolen beer.

Funziona bene per Linux? Non causa problemi tipo rallentamenti,
piantamenti, ingolfamenti di ram, eccetera?

Inoltre noto che per quanto implementi il CBT, le prestazioni sono meno
che eccelse a meno che il backup target (nel mio caso server smb) non
sia in LAN. Soprattutto perche` alla fine del backup deve fare il
consolidamento sul target e lo fa tutto il client, via rete. Una roba
tipo Access per intenderci.

Se invece usi come target il repository veeam e` piu` efficiente? Si
puo` usare come target un repo veeam in barbon mode, ovvero tutto gratis?


_________________
Fabio "Kurgan" Muzzi

- IZ4UFQ -

La diagnosi del tecnico: Il problema e' che il redirect comporta un
disallowed da parte del javascript, che per motivi di sicurezza non
permette di prelevare le variabili di ambiente del client.
Top
Ivan Rossi
Ospite





MessaggioInviato: Ven 22 Set 2017 02:49    Oggetto: riguardo al fare dei backup seri Rispondi citando

Il giorno 21 settembre 2017 09:28, Matteo Sgalaberni <sgala@xxxxxx.xyz> ha
scritto:

Citazione:

La cosa ancora più megahipster in assoluto avere una soluzione che fa
change block tracking e ti fa lo snapshot incrementale cosi da rendere
tutto ancora più veloce ed efficiente. Metodologia usata poi da tutti i
sistemi più hipster che trovi nel mercato anche se nel mondo opensource non
ho ancora visti.


un pò come ZFS send (e btrfs send, se ti fidi di btrfs) ;-)
Il problema è avere detti filesystem sul client...
Top
Dario Vinella
Ospite





MessaggioInviato: Ven 22 Set 2017 07:26    Oggetto: riguardo al fare dei backup seri Rispondi citando

Il giorno 21 settembre 2017 16:53, Ivan Rossi <rouge2507@xxxxxx.xyz> ha
scritto:

Citazione:

Il problema è avere detti filesystem sul client...


Ed un backuppc on-site che fa backup su un drbd-over-wan [1][2]?

[1] https://about.gitlab.com/2015/03/09/moving-all-your-data/
[2]
https://www.surf.nl/binaries/content/assets/surf/en/knowledgebase/2011/drbd-vmigrate-v1.1.pdf
Top
Michele Finelli
Ospite





MessaggioInviato: Ven 22 Set 2017 10:10    Oggetto: riguardo al fare dei backup seri Rispondi citando

* Dario Vinella (d.vinella@xxxxxx.xyz) [170921 21:30]:
Citazione:

Il problema è avere detti filesystem sul client... 

Ed un backuppc on-site che fa backup su un drbd-over-wan [1][2]?

[1] https://about.gitlab.com/2015/03/09/moving-all-your-data/
[2] https://www.surf.nl/binaries/content/assets/surf/en/knowledgebase/2011/
drbd-vmigrate-v1.1.pdf


cioè, reimplementare a mano zfs send e receive ?
https://twitter.com/postwait/status/826771144170754048

no, thanks

_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

So, here's the reminder: If you base on 3rd party proprietary software,
you can't provide a serious service.

Enrico Zini
Top
Michele Finelli
Ospite





MessaggioInviato: Ven 22 Set 2017 10:12    Oggetto: riguardo al fare dei backup seri Rispondi citando

* Fabio Muzzi (kurgan@xxxxxx.xyz) [170921 10:01]:
Citazione:

Inoltre noto che per quanto implementi il CBT, le prestazioni sono meno
che eccelse a meno che il backup target (nel mio caso server smb) non
sia in LAN. Soprattutto perche` alla fine del backup deve fare il
consolidamento sul target e lo fa tutto il client, via rete. Una roba
tipo Access per intenderci.

Se invece usi come target il repository veeam e` piu` efficiente? Si
puo` usare come target un repo veeam in barbon mode, ovvero tutto gratis?


Spiega meglio sto pezzo, che non ho capito: cosa è il 'consolidamento
del client' ?

Inoltre, non lo hai mai provato su WAN, nemmeno per test ?

_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------

All told, a monad in X is just a monoid in the category of endofunctors
of X, with product x replaced by composition of endofunctors and unit
set by the identity endofunctor.

Saunders Mac Lane - Categories for the Working Mathematician
Top
Mostra prima i messaggi di:   
Nuovo argomento   Rispondi    Indice del forum -> ERLUG Tutti i fusi orari sono GMT + 1 ora
Vai a 1, 2  Successivo
Pagina 1 di 2

 
Vai a:  
Non puoi inserire nuovi argomenti
Non puoi rispondere a nessun argomento
Non puoi modificare i tuoi messaggi
Non puoi cancellare i tuoi messaggi
Non puoi votare nei sondaggi


Powered by phpBB © 2001, 2005 phpBB Group
phpbb.it

torna alla home page di ERLUG
Per informazioni o problemi, contattare info@erlug.linux.it.
La connettività per questo sito e per gli altri nostri servizi è offerta da Ehiweb.it