LizardFS - масштабируемая и распределенная файловая система с открытым исходным кодом.

Ящерица

LizardFS - это распределенная кластерная файловая система. что позволяет размещать данные на разных серверах, но обеспечивает доступ к ним в виде одного большого раздела, что делается по аналогии с традиционными разделами диска. Раздел собран с LizardFS поддерживает атрибуты файлов POSIX, списки контроля доступа, блокировки, сокеты, каналы, файлы устройств, символьные и жесткие ссылки. В системе нет единой точки отказа, все компоненты резервированы.

Эта файловая система поддерживает распараллеливание операций с данными (Несколько клиентов могут получить доступ к файлам одновременно). С другой стороны, для обеспечения отказоустойчивости данные делятся на реплики, которые распределяются по разным узлам с избыточностью (несколько копий размещаются в разных узлах), в случае отказа узла или диска система продолжает работать без потери информации и автоматически перераспределяет данные с учетом оставшихся узлов.

О LizardFS

В рамках проекта LizardFS была основана в 2013 году как форк MooseFS. и отличается в основном наличием режима репликации на основе кодов исправления ошибок Рида-Соломона (аналог raidzN), расширенной поддержкой ACL, наличием клиента для платформы Windows, дополнительными оптимизациями, более гибкой системой настройки, поддержкой упреждающее чтение данных, квоты каталогов и внутренняя обработка.

Для расширения хранилища достаточно подключить к нему новые узлы, не останавливая работу. обслуживание (сама система реплицирует часть данных на новые серверы и уравновешивает хранилище с новыми серверами). То же самое можно сделать и для уменьшения размера кластера: вы можете просто выключить оборудование, которое выводится из эксплуатации.

Данные и метаданные хранятся отдельно. Для его работы рекомендуется установить два сервера метаданных, которые работают в режиме master-slave, а также как минимум два сервера хранения данных (сервер данных).

Кроме того, серверы журналов могут использоваться для резервного копирования метаданных, которые хранят информацию об изменениях метаданных и позволяют восстановить работу, если все существующие серверы метаданных повреждены.

Каждый файл разделен на блоки (chunk) размером до 64 МБ. Блоки распределяются между серверами хранения в соответствии с выбранным режимом репликации: стандартный (это явно определяет количество копий, которые будут размещены на разных узлах, включая ссылку на отдельные каталоги, для важных данных вы можете увеличить количество копии, но для несущественных), XOR (RAID5) и CE (RAID6).

Хранилище можно масштабировать до петабайтных размеров. Из приложений упоминаются архивирование, хранение образов виртуальных машин, мультимедийные данные, резервное копирование, использование в качестве DRC (центра аварийного восстановления) и в качестве хранилища для высокопроизводительной вычислительной кластеризации.

LizardFS обеспечивает очень высокую скорость чтения файлов любого размера. а при записи показывает хорошую производительность при записи целых больших и средних файлов, когда нет постоянной модификации, интенсивной работы с открытыми файлами и одиночных операций с большим количеством маленьких файлов.

Среди особенностей из этой файловой системы также можно наблюдать наличие поддержки резервного копирования Они отражают состояние файлов на определенный момент времени и встроенную реализацию (файлы не удаляются сразу и доступны для восстановления в течение некоторого времени).

Доступ к разделу может быть ограничен IP-адресом или паролем (аналогично NFS). Существуют механизмы управления QoS и квотами для ограничения размера и полосы пропускания для некоторых категорий пользователей. Возможно создание территориально распределенных складов, сегменты которых находятся в разных дата-центрах.

Как использовать LizardFS в Ubuntu?

Для тех, кто заинтересован в использовании этой файловой системы они могут проконсультироваться по следующей ссылке, где вы можете найти необходимую документацию. Код проекта написан на C и C ++ и распространяется под лицензией GPLv3.


Будьте первым, чтобы комментировать

Оставьте свой комментарий

Ваш электронный адрес не будет опубликован. Обязательные для заполнения поля помечены *

*

*

  1. Ответственный за данные: Мигель Анхель Гатон
  2. Назначение данных: контроль спама, управление комментариями.
  3. Легитимация: ваше согласие
  4. Передача данных: данные не будут переданы третьим лицам, кроме как по закону.
  5. Хранение данных: база данных, размещенная в Occentus Networks (ЕС)
  6. Права: в любое время вы можете ограничить, восстановить и удалить свою информацию.