| Precedente :: Successivo |
| Autore |
Messaggio |
Federico Calboli
Registrato: 01/04/07 18:57
Messaggi: 430
|
 Inviato: Lun 03 Feb 2014 14:58 Oggetto: bitrot |
 |
|
Illuminate onnipotenze,
che voi sapete qualcosa di bello su ZFS e Btrfs? ovvero metter in piedi una macchinetta con un unico SSD morbido morbido tutto su un filesystem tipo codesti si fa? O meglio, si fa senza tirare moccoli e perdere la serenità?
Ciao
Fede |
|
| Top |
|
 |
Daniele Palumbo
Ospite
|
| Inviato: Mar 04 Feb 2014 02:37 Oggetto: bitrot |
|
|
Il giorno 03/feb/2014, alle ore 14:35, Federico Calboli <f.calboli@xxxxxx.xyz> ha scritto:
| Citazione: | che voi sapete qualcosa di bello su ZFS e Btrfs? ovvero metter in piedi una macchinetta con un unico SSD morbido morbido tutto su un filesystem tipo codesti si fa? O meglio, si fa senza tirare moccoli e perdere la serenità?
|
zfs richiede (secondo alcune specifiche) 8GB di ram + 1GB per ogni tera se si vuole usare la deduplica (molto fica).
es: 10 TB di storage = 10GB di ram.
zfs su linux funziona solo con fuse, io lo uso con freebsd.
se vuoi prova pure kfreebsd (cioè debian).
brtfs mai usato, fino ad ora, ma sono curioso.
ciao,
d. |
|
| Top |
|
|
tannoiser
Registrato: 02/04/07 10:06
Messaggi: 621
|
| Inviato: Mar 04 Feb 2014 10:40 Oggetto: bitrot |
|
|
* Tuesday 04 February 2014, alle 02:14, Daniele Palumbo scrive:
| Citazione: | Il giorno 03/feb/2014, alle ore 14:35, Federico Calboli <f.calboli@xxxxxx.xyz> ha scritto:
| Citazione: | che voi sapete qualcosa di bello su ZFS e Btrfs? ovvero metter in piedi una macchinetta con un unico SSD morbido morbido tutto su un filesystem tipo codesti si fa? O meglio, si fa senza tirare moccoli e perdere la serenità?
|
zfs richiede (secondo alcune specifiche) 8GB di ram + 1GB per ogni tera se si vuole usare la deduplica (molto fica).
es: 10 TB di storage = 10GB di ram.
zfs su linux funziona solo con fuse, io lo uso con freebsd.
se vuoi prova pure kfreebsd (cioè debian).
brtfs mai usato, fino ad ora, ma sono curioso.
|
Rispondo a entrambi:
Per Fede: no, senza sacramentare, no. (ni[1]).
Più in generale, zfs sarà anche interessante, ma le speranze di un
porting serio su linuccio mi sembrano finite (è un impressione), specie
da quando hanno avviato brtfs.
brtfs è "più interessante" perchè è nativo nel kernel (ma sperimentale
ancora circa un pò vediamo).
[1] Ovvero. Opensuse "socheversione" lo implementa, e se installi
quello, dovrebbe funzionare out of the box. Poi però sacramenti perchè
hai una suse, non so quanto il gioco valga la candela.
POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance. A me sembra un pò una moda/malinconia... ;)
Sono interessato a sapere perchè chi lo brama, pensa che sarà cosi
lifechanger, perchè a me lascia molto perplesso (sarà l'eta che avanza).
_________________
Maurizio - Tannoiser - Lemmo
Founder Member of ERLUG http://erlug.linux.it
-------------------------------------------------------------------------------
I love this fucking job. This job loves fucking me. |
|
| Top |
|
|
m
Ospite
|
| Inviato: Mar 04 Feb 2014 12:13 Oggetto: bitrot |
|
|
* Maurizio Lemmo - Tannoiser (tannoiser@xxxxxx.xyz) [140204 10:18]:
| Citazione: |
[1] Ovvero. Opensuse "socheversione" lo implementa, e se installi
quello, dovrebbe funzionare out of the box. Poi però sacramenti perchè
hai una suse, non so quanto il gioco valga la candela.
|
l'installer di jessie, scaricato ieri, ha il supporto per creare in fase
di installazione sia zfs che btrfs
| Citazione: | POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance. A me sembra un pò una moda/malinconia... ;)
Sono interessato a sapere perchè chi lo brama, pensa che sarà cosi
lifechanger, perchè a me lascia molto perplesso (sarà l'eta che avanza).
|
perché con i dischi grandi, ore 3TB/4TB probabilmente fra non tanti anni
anche 10TB (lo diceva uno di Samsung o ditta analoga ad un talk) hai dei
problemi che con dischi più piccoli non si presentano o si presentano di
rado, ad esempio il fatto che ti muoia un array durante le ricostruzioni
oppure il fatto che diventa interessante per gestire degli archivi, e a
quel punto ha senso gestire anche la silent data corruption (cosa che
sui nastri è molto meno frequente)
cioè, tra un paio di anni per poche migliaia di euro un cliente potrebbe
chiederti di fare uno storage per mezzo petabyte, e con quegli strumenti
e una rete veloce spenderesti una frazione di una SAN dedicata
(e forse va anche meglio, nel senso di sapere come è fatta e cosa ci va
dentro)
_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------
Ci vorrebbe una ditta che produca Direttori. Come sempre il problema e`
tra la sedia e la scrivania.
Nando |
|
| Top |
|
|
Fabio Muzzi
Ospite
|
| Inviato: Mar 04 Feb 2014 12:32 Oggetto: bitrot |
|
|
On 02/04/2014 10:17 AM, Maurizio Lemmo - Tannoiser wrote:
| Citazione: | brtfs è "più interessante" perchè è nativo nel kernel (ma sperimentale
ancora circa un pò vediamo).
|
"File system" e "sperimentale" nella stessa frase suonano come "bombe
atomiche" e "Al Quaeda" nella stessa frase. E` qualcosa che eviterei
volentieri di incontrare.
| Citazione: | POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance.
|
Cosa intendi per "certezza del file"? Io avevo capito, pur non avendolo
mai usato, che ZFS ha proprio le feature necessarie per garantire che
non vi sia corruzione "nascosta" dei dati. Questo, assieme con le
feature a cui si riferiva l' Esimio Finelli, e` un buon motivo per usare
ZFS soprattutto nelle sue configurazioni multi-disco simil-raid.
Sulle performance sono d'accordo, ma io tutto sommato ho sempre
preferito la roba affidabile alla roba veloce. Posto ovviamente che la
velocita` non risulti NECESSARIA nello specifico lavoro.
_________________
Fabio "Kurgan" Muzzi
- IZ4UFQ -
La diagnosi del tecnico: E` un errore dell'utente |
|
| Top |
|
|
Federico Calboli
Registrato: 01/04/07 18:57
Messaggi: 430
|
| Inviato: Mar 04 Feb 2014 13:12 Oggetto: bitrot |
|
|
On 4 Feb 2014, at 01:14, Daniele Palumbo <daniele@xxxxxx.xyz> wrote:
| Citazione: | Il giorno 03/feb/2014, alle ore 14:35, Federico Calboli <f.calboli@xxxxxx.xyz> ha scritto:
| Citazione: | che voi sapete qualcosa di bello su ZFS e Btrfs? ovvero metter in piedi una macchinetta con un unico SSD morbido morbido tutto su un filesystem tipo codesti si fa? O meglio, si fa senza tirare moccoli e perdere la serenità?
|
zfs richiede (secondo alcune specifiche) 8GB di ram + 1GB per ogni tera se si vuole usare la deduplica (molto fica).
es: 10 TB di storage = 10GB di ram.
|
Ok, ma io non esco di casa senza 16GB di RAM per un portatile?
| Citazione: |
zfs su linux funziona solo con fuse, io lo uso con freebsd.
se vuoi prova pure kfreebsd (cioè debian).
|
Idea interessante.
Ciao
F
| Citazione: |
brtfs mai usato, fino ad ora, ma sono curioso.
ciao,
d.
|
|
|
| Top |
|
|
tannoiser
Registrato: 02/04/07 10:06
Messaggi: 621
|
| Inviato: Mar 04 Feb 2014 13:12 Oggetto: bitrot |
|
|
* Tuesday 04 February 2014, alle 12:09, Fabio Muzzi scrive:
| Citazione: | | Citazione: | brtfs è "più interessante" perchè è nativo nel kernel (ma sperimentale
ancora circa un pò vediamo).
|
"File system" e "sperimentale" nella stessa frase suonano come "bombe
atomiche" e "Al Quaeda" nella stessa frase. E` qualcosa che eviterei
volentieri di incontrare.
|
Guarda che sono d'accordo con te, e si ricollega con:
| Citazione: |
| Citazione: | POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance.
|
Cosa intendi per "certezza del file"? Io avevo capito, pur non avendolo
mai usato, che ZFS ha proprio le feature necessarie per garantire che
non vi sia corruzione "nascosta" dei dati.
|
Se funziona correttamente, si. Ma essendo che sono ancora sperimentali,
quello che può succedere è che ti introia i file. Che mi sembra un
problema non da poco per un filesystem... ;)
| Citazione: | Questo, assieme con le feature a cui si riferiva l' Esimio Finelli, e`
un buon motivo per usare ZFS soprattutto nelle sue configurazioni
multi-disco simil-raid.
|
Le due feature che fanno eccitare la fantasia di praticamente tutti
sono:
- una sorta di lvm integrato (ma se ti serve, non andava bene lvm?)
- la possibilità di fare snapshot (ma seriamente, davvero ha un uso
_pratico_? Il backup è un conto, ma non sicuro che vorrei tornare a
"ieri" a livello di filesystem perchè tante cose sono cambiate non
solo quelle "bad")
In compenso il Copy On Write introduce una fantastica feature: la
deframmentazione. Insisto, ma siam sicuri che siano stan gran bazza
questi fs? Al netto dell'obiezione di Finelli che è corretta: a _breve_
(per valori non ovvi di breve) dischi sempre più grandi richiederanno fs
più "aware", ma non sono sicuro che questi carrozzoni over-feature siano
la risposta.
| Citazione: | Sulle performance sono d'accordo, ma io tutto sommato ho sempre
preferito la roba affidabile alla roba veloce. Posto ovviamente che la
velocita` non risulti NECESSARIA nello specifico lavoro.
|
d'accordo, ma se iniziano ad andare più piano della tua rete casalinga
un pò un problema lo è.
_________________
Maurizio - Tannoiser - Lemmo
Founder Member of ERLUG http://erlug.linux.it
-------------------------------------------------------------------------------
Volevo scrivere, infatti: "Questo perche` sei un'oca morta", ma temevo poi non
si capisse...
-- MaxNegro |
|
| Top |
|
|
Federico Calboli
Registrato: 01/04/07 18:57
Messaggi: 430
|
| Inviato: Mar 04 Feb 2014 13:20 Oggetto: bitrot |
|
|
On 4 Feb 2014, at 09:17, Maurizio Lemmo - Tannoiser <tannoiser@xxxxxx.xyz> wrote:
| Citazione: |
POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance. A me sembra un pò una moda/malinconia... ;)
|
io avevo capito che il feeko sta nel fatto che il zfs e btrfs *garantiscono* la certezza del file, piuttosto che minarla. Se questa certezza avviene con un costo in termini di performance uno ha da farsi un conto benefici/svantaggi.
| Citazione: |
Sono interessato a sapere perchè chi lo brama, pensa che sarà cosi
lifechanger, perchè a me lascia molto perplesso (sarà l'eta che avanza).
|
Io che sappia, dei milioni di file della cippi che ho, il 'bitrot' non l'ho visto mai (e qui mi tocco). Ma il fatto che il problema venga evidenziato vuole dire che la mia esperienza non e` universale, e il problema esiste. Per cui a me non sembra male 'prevenire invece che curare' un problema che potrebbe benissimo cascarmi tra capo e collo in un futuro (a qui mi tocco).
Ciao
Fede |
|
| Top |
|
|
Fabio Muzzi
Ospite
|
| Inviato: Mar 04 Feb 2014 13:30 Oggetto: bitrot |
|
|
On 02/04/2014 12:49 PM, Maurizio Lemmo - Tannoiser wrote:
| Citazione: | | Citazione: | "File system" e "sperimentale" nella stessa frase suonano come "bombe
atomiche" e "Al Quaeda" nella stessa frase. E` qualcosa che eviterei
volentieri di incontrare.
|
Guarda che sono d'accordo con te, e si ricollega con:
|
Ah, ok. avevo capito che ZFS non era cosi` tanto sperimentale.
| Citazione: | Le due feature che fanno eccitare la fantasia di praticamente tutti
sono:
- una sorta di lvm integrato (ma se ti serve, non andava bene lvm?)
- la possibilità di fare snapshot (ma seriamente, davvero ha un uso
_pratico_? Il backup è un conto, ma non sicuro che vorrei tornare a
"ieri" a livello di filesystem perchè tante cose sono cambiate non
solo quelle "bad")
|
Quello che a me fa ingrifare (posto che funzioni) e`:
1- la feature di protezione del contenuto dei files
2- la feature per cui il RAID e il FS lavorano in accordo l'uno con
l'altro.
3- idealmente, mi farebbe ancora di piu` ingrifare un sistema cosi`
intelligente per cui se ci sono corruzioni diverse su dischi diversi il
FS disponga di un sistema intelligente di recovery che tenti, posto che
le curruzioni non si sovrappongano, di salvare tutto quanto. Non come il
classico raid che se un disco ha UN settore difettoso lo mette offline e
non lo usa piu`, nemmeno per il recovery di un altro settore che e`
perfettamente buono, e che magari e` rotto in un altro disco.
Queste sono tutte cose che, appunto, vanno prese in seria considerazione
in un mondo dove il cliente si aspetta che lo storage sia infinitamente
grande (e abbia lo stesso livello di problemi che aveva quando era
ridicolmente piccolo).
Tutto questo sempre SE il file system non e` un colabrodo sperimentale.
_________________
Fabio "Kurgan" Muzzi
- IZ4UFQ -
La diagnosi del tecnico: Si e` rotto il condotto del plasma |
|
| Top |
|
|
Davide Brini
Ospite
|
| Inviato: Mar 04 Feb 2014 13:31 Oggetto: bitrot |
|
|
On Tue, 4 Feb 2014 12:49:30 +0100, Maurizio Lemmo - Tannoiser
<tannoiser@xxxxxx.xyz> wrote:
| Citazione: | Guarda che sono d'accordo con te, e si ricollega con:
| Citazione: |
| Citazione: | POI: ma siamo cosi sicuri che sia cosi importante avere queste feature
su un fs? Perchè a fronte delle feature feeke (che sono sicuramente
feeke) minano l'unica cosa che un fs non dovrebbe minare: certezza del
file e performance.
|
Cosa intendi per "certezza del file"? Io avevo capito, pur non avendolo
mai usato, che ZFS ha proprio le feature necessarie per garantire che
non vi sia corruzione "nascosta" dei dati.
|
Se funziona correttamente, si. Ma essendo che sono ancora sperimentali,
quello che può succedere è che ti introia i file. Che mi sembra un
problema non da poco per un filesystem... ;)
| Citazione: | Questo, assieme con le feature a cui si riferiva l' Esimio Finelli, e`
un buon motivo per usare ZFS soprattutto nelle sue configurazioni
multi-disco simil-raid.
|
Le due feature che fanno eccitare la fantasia di praticamente tutti
sono:
- una sorta di lvm integrato (ma se ti serve, non andava bene lvm?)
- la possibilità di fare snapshot (ma seriamente, davvero ha un uso
_pratico_? Il backup è un conto, ma non sicuro che vorrei tornare a
"ieri" a livello di filesystem perchè tante cose sono cambiate non
solo quelle "bad")
|
Premesso che anch'io sono abbastanza grumpy in queste cose, una feature che
mi sembra utile di btrfs (e zfs) è il send/receive:
https://lwn.net/Articles/506244/
utile per i backup. Per il resto, sono d'accordo con te. |
|
| Top |
|
|
m
Ospite
|
| Inviato: Mar 04 Feb 2014 15:56 Oggetto: bitrot |
|
|
* Federico Calboli (f.calboli@xxxxxx.xyz) [140204 12:57]:
| Citazione: |
| Citazione: | Sono interessato a sapere perchè chi lo brama, pensa che sarà cosi
lifechanger, perchè a me lascia molto perplesso (sarà l'eta che avanza).
|
Io che sappia, dei milioni di file della cippi che ho, il 'bitrot' non l'ho visto mai (e qui mi tocco).
|
non lo hai mai visto perché non hai modo di accorgertene, secondo me
se in un tuo file di test una 'a' diventa una 'b' come fai a saperlo ?
magari lo riapri tra sei anni e dici 'toh, c'era un errore nel
curriculum, come avrò fatto a non notarlo ?'
se invece lo hai in un file di sequenza e una 'A' ti diventa una 'B'
forse lo noti perché il software tira una crepa ... o forse no e ti
risponde alla cazzo ... e se si flippa un bit in un eseguibile ? come lo
scopri ?
_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------
FREEEZIII NON EEE` UN ZIOCATOOOREEE !!! FREZI E` UN BAA-GAA-GLIO !!!
Valerio Pinotti |
|
| Top |
|
|
m
Ospite
|
| Inviato: Mar 04 Feb 2014 15:57 Oggetto: bitrot |
|
|
* Maurizio Lemmo - Tannoiser (tannoiser@xxxxxx.xyz) [140204 12:49]:
| Citazione: |
Le due feature che fanno eccitare la fantasia di praticamente tutti
sono:
- una sorta di lvm integrato (ma se ti serve, non andava bene lvm?)
- la possibilità di fare snapshot (ma seriamente, davvero ha un uso
_pratico_? Il backup è un conto, ma non sicuro che vorrei tornare a
"ieri" a livello di filesystem perchè tante cose sono cambiate non
solo quelle "bad")
|
non a me, quello che piace è il controllo di integrità dei file, tramite
hash, vedi la risposta che ho dato a Calboli
_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------
(...) no one really knows where all those servers are. As amazing as it
might seem to those not in the server management business, actually
knowing just the basics about a random server (e.g. where it is, what it
does, who the business owner is ? heck, if it even exists) with, say,
90-95% overall accuracy is doing a tremendous job. There?s an entire
research field and sets of solutions (that don?t work very well) dealing
with the problem of building a somewhat Sisyphean configuration
management database (CMDB), in the hope that you?d have an Oracle that
knew all.
dan farmer |
|
| Top |
|
|
Federico Calboli
Registrato: 01/04/07 18:57
Messaggi: 430
|
| Inviato: Mar 04 Feb 2014 16:02 Oggetto: bitrot |
|
|
On 4 Feb 2014, at 14:33, m <m@xxxxxx.xyz> wrote:
| Citazione: | * Federico Calboli (f.calboli@xxxxxx.xyz) [140204 12:57]:
| Citazione: |
| Citazione: | Sono interessato a sapere perchè chi lo brama, pensa che sarà cosi
lifechanger, perchè a me lascia molto perplesso (sarà l'eta che avanza).
|
Io che sappia, dei milioni di file della cippi che ho, il 'bitrot' non l'ho visto mai (e qui mi tocco).
|
non lo hai mai visto perché non hai modo di accorgertene, secondo me
se in un tuo file di test una 'a' diventa una 'b' come fai a saperlo ?
magari lo riapri tra sei anni e dici 'toh, c'era un errore nel
curriculum, come avrò fatto a non notarlo ?'
se invece lo hai in un file di sequenza e una 'A' ti diventa una 'B'
forse lo noti perché il software tira una crepa ... o forse no e ti
risponde alla cazzo ... e se si flippa un bit in un eseguibile ? come lo
scopri ?
|
D'accordo, per quello che capisco io il bitrot lo vedo come (1) file che fungeva ed era leggibile e adesso non funge e non e` leggibile; (2) file che rimane leggibile ma che e` in parte difettoso (chesso`, foto in cui parte dell'immagine e` persa/trasformata in random noise).
Se il bitrot e` qualcosa che posso aggiustare, come il passaggio di una lettera ad un'altra ci vivo ampiamente. Se invece significa perdere file e/o avere file che si aprono ma sono di fatto persi in quanto parte dell'informazione e` andata allora la vedo peggio.
F |
|
| Top |
|
|
m
Ospite
|
| Inviato: Mar 04 Feb 2014 16:12 Oggetto: bitrot |
|
|
* Federico Calboli (f.calboli@xxxxxx.xyz) [140204 15:39]:
| Citazione: |
Se il bitrot e` qualcosa che posso aggiustare, come il passaggio di una lettera ad un'altra ci vivo ampiamente. Se invece significa perdere file e/o avere file che si aprono ma sono di fatto persi in quanto parte dell'informazione e` andata allora la vedo peggio.
|
quello che ti sto dicendo io è che lo scopri _dopo_, perché non puoi
saperlo a priori
_________________
.*. finelli
/V\
(/ \) --------------------------------------------------------------
( ) Linux: Friends dont let friends use Piccolosoffice
^^-^^ --------------------------------------------------------------
The book of nature is written in the language of mathematics. Its symbols are
triangles, circles, and other geometric figures, without which it is impossible
to understand a single word; without which there is only a vain wandering
through a dark labyrinth.
Galileo, of course, ``Il Saggiatore'' |
|
| Top |
|
|
Federico Calboli
Registrato: 01/04/07 18:57
Messaggi: 430
|
| Inviato: Mar 04 Feb 2014 16:17 Oggetto: bitrot |
|
|
On 4 Feb 2014, at 14:50, m <m@xxxxxx.xyz> wrote:
| Citazione: | * Federico Calboli (f.calboli@xxxxxx.xyz) [140204 15:39]:
| Citazione: |
Se il bitrot e` qualcosa che posso aggiustare, come il passaggio di una lettera ad un'altra ci vivo ampiamente. Se invece significa perdere file e/o avere file che si aprono ma sono di fatto persi in quanto parte dell'informazione e` andata allora la vedo peggio.
|
quello che ti sto dicendo io è che lo scopri _dopo_, perché non puoi
saperlo a priori
|
Ti ho capito, per cui il mio interesse nel prevenire visto che _dopo_ si pigliano su solo i cocci.
F |
|
| Top |
|
|
|
|
Non puoi inserire nuovi argomenti
Non puoi rispondere a nessun argomento
Non puoi modificare i tuoi messaggi
Non puoi cancellare i tuoi messaggi
Non puoi votare nei sondaggi
|
|
Forum Subscriptions
FAQ
Cerca
Lista utenti
Gruppi
Registrati
Profilo
Messaggi privati
Log in
