LizardFS un file system open source, scalabile e distribuito

lucertola

LizardFS è un file system cluster distribuito che consente la diffusione dei dati su diversi server, ma fornisce l'accesso ad essi sotto forma di un'unica grande partizione, che viene eseguita per analogia con le partizioni del disco tradizionali. La sezione assemblata con LizardFS supporta attributi di file POSIX, ACL, blocchi, socket, canali, file di dispositivo, collegamenti simbolici e fisici. Il sistema non ha un singolo punto di guasto, tutti i componenti sono ridondanti.

Questo file system supporta la parallelizzazione delle operazioni sui dati (Più client possono accedere ai file contemporaneamente). D'altra parte, per garantire la tolleranza ai guasti, i dati sono suddivisi in repliche, che vengono distribuite a diversi nodi con ridondanza (più copie sono collocate in diversi nodi), in caso di guasto del nodo o del drive, il sistema continua a funzionare senza perdita di informazioni e ridistribuisce automaticamente i dati tenendo conto dei nodi rimanenti.

Informazioni su LizardFS

El proyecto LizardFS è stata fondata nel 2013 come fork di MooseFS e si differenzia principalmente per la presenza di una modalità di replica basata sui codici di correzione dei bug Reed-Solomon (analogo di raidzN), supporto ACL esteso, presenza di un client per la piattaforma Windows, ottimizzazioni aggiuntive, un sistema di configurazione più flessibile, supporto per lettura proattiva dei dati, quote di directory ed elaborazione interna.

Per espandere lo spazio di archiviazione, è sufficiente collegare nuovi nodi ad esso senza interrompere il lavoro manutenzione (il sistema stesso replica parte dei dati sui nuovi server e bilancia l'archiviazione con i nuovi server). Lo stesso può essere fatto per ridurre le dimensioni del cluster: puoi semplicemente spegnere l'apparecchiatura che viene disattivata.

Dati e metadati vengono archiviati separatamente. Per il suo funzionamento, si consiglia di installare due server di metadati che funzionano in modalità master-slave, oltre ad almeno due server di archiviazione dati (server dati).

Inoltre, i server di log possono essere utilizzati per eseguire il backup dei metadati, che memorizzano le informazioni sulle modifiche ai metadati e che consentono di ripristinare il lavoro se tutti i server di metadati esistenti sono danneggiati.

Ogni file è diviso in blocchi (chunk), fino a 64 MB di dimensione. I blocchi sono distribuiti tra i server di archiviazione secondo la modalità di replica selezionata: standard (questo determina esplicitamente il numero di copie da posizionare su diversi nodi, compreso il collegamento a directory separate, per i dati importanti è possibile aumentare il numero di copie, ma per quelle non essenziali), XOR (RAID5) e CE (RAID6).

Lo spazio di archiviazione può scalare fino a petabyte. Tra le applicazioni, vengono menzionati l'archiviazione, l'archiviazione di immagini di macchine virtuali, i dati multimediali, il backup, l'utilizzo come DRC (Disaster Recovery Center) e l'archiviazione di clustering di elaborazione ad alte prestazioni.

LizardFS fornisce un'altissima velocità di lettura di file di qualsiasi dimensione e durante la scrittura mostra buone prestazioni durante la scrittura di interi file di grandi e medie dimensioni, quando non ci sono modifiche costanti, lavoro intenso con file aperti e singole operazioni con molti file piccoli.

Tra le caratteristiche da questo file system si può anche osservare la presenza del supporto di backup Rispecchiano lo stato dei file in un determinato momento e l'implementazione incorporata (i file non vengono eliminati immediatamente e sono disponibili per il ripristino per qualche tempo).

L'accesso alla partizione può essere limitato dall'indirizzo IP o dalla password (simile a NFS). Esistono meccanismi di QoS e di gestione delle quote per limitare le dimensioni e la larghezza di banda per alcune categorie di utenti. È possibile creare magazzini distribuiti geograficamente, i cui segmenti si trovano in diversi data center.

Come usare LizardFS in Ubuntu?

Per coloro che sono interessati a poter utilizzare questo file system possono consultare il seguente link, dove puoi trovare la documentazione necessaria. Il codice del progetto è scritto in C e C ++ ed è distribuito sotto licenza GPLv3.


Lascia un tuo commento

L'indirizzo email non verrà pubblicato. I campi obbligatori sono contrassegnati con *

*

*

  1. Responsabile dei dati: Miguel Ángel Gatón
  2. Scopo dei dati: controllo SPAM, gestione commenti.
  3. Legittimazione: il tuo consenso
  4. Comunicazione dei dati: I dati non saranno oggetto di comunicazione a terzi se non per obbligo di legge.
  5. Archiviazione dati: database ospitato da Occentus Networks (UE)
  6. Diritti: in qualsiasi momento puoi limitare, recuperare ed eliminare le tue informazioni.