8832

Примеры файловых систем. UNIX V7; BSD; Linux (EXT2; EXT3; RFS; JFS; XFS); NFS

Контрольная

Информатика, кибернетика и программирование

Примеры файловых систем. UNIX V7 BSD Linux (EXT2 EXT3 RFS JFS XFS) NFS Файловая система UNIXV7 Хотя это старая файловая система основные элементы используются и современных UNIX системах. Особенности: Имена файлов ограничены...

Русский

2013-02-17

244.5 KB

22 чел.

Примеры файловых систем.

UNIX V7; BSD; Linux (EXT2; EXT3; RFS; JFS; XFS); NFS

14.1 Файловая система UNIX V7

Хотя это старая файловая система основные элементы используются и современных UNIX системах.

Особенности:

  •  Имена файлов ограничены 14 символами ASCII, кроме косой черты "/" и NUL - отсутствие символа. (в последующих версиях расширены до 255)
  •  Поддержка ссылок.
  •  Контроль доступа к файлам и каталогам.
  •  Имена чувствительны к регистру, my.txt и MY.TXT это разные файлы.
  •  Используется схема i-узлов.
  •  Не делается различий между разными файлами (текстовыми, двоичными и д.р.).
  •  Поддерживаются символьные специальные файлы (для символьных устройств ввода-вывода).
    - Если открыть файл /
    dev/lp и записать в него данные, то данные будут распечатаны на принтере.
    - Если открыть файл /
    dev/tty и прочитать из него данные, то получим данные, введенные с клавиатуры.
  •  Поддерживаются блочные специальные файлы (для блочных устройств ввода-вывода, например /dev/hd1).
  •  Позволяет монтировать разделы в любое место дерева системы.

 

Расположение файловой системы UNUX

Суперблок содержит:

  •  Количество i-узлов
  •  Количество дисковых блоков
  •  Начало списка свободных блоков диска

При уничтожении суперблока, файловая система становится не читаемой.

Каждый i-узел имеет 64 байта в длину и описывает один файл (в том числе каталог).

 

Каталог содержит по одной записи для каждого файла.

 

Каталоговая запись UNIX V7 в 16 байт

Структура i-узела

Поле

Байты

Описание

 Mode

2

 Тип файла, биты защиты, биты setuid и setgid

 Nlinks

2

 Количество каталоговых записей, указывающий на этот i-узел

 Uid

2

 Идентификатор владельца

 Gid

2

 Номер группы

 Size

4

 Размер файла в байтах

 Addr

39

 Адрес первых 10 дисковых блоков файла и 3 косвенных блока

 Gen

1

 Счетчик использования i-узла

 Atime

4

 Время последнего доступа файла

 Mtime

4

 Время последнего изменения файла

 Ctime

4

 Время последнего изменения i-узла

 

Первые 10 дисковых блоков файла хранятся в самом i-узле, при блоке в 1Кбайт, файл может быть 10Кбайт.

Дополнительные блоки для i-узла, в случае больших файлов:

  •  Одинарный косвенный блок - дополнительный блок с адресами блоков файла, если файл не сильно большой, то один из адресов в i-узле указывает на дополнительный блок с адресами. Файл может быть 266Кбайт=10Кбайт+256Кбайт (256Кбайт <= 256 (2^8)-адресов блоков = 1Кбайт-размер блока / 4байта-размер адреса)
  •  Двойной косвенный блок - дополнительный блок с адресами одинарных косвенных блоков, если одного дополнительного блока не хватает. Файл может быть 65Мбайт=10Кбайт+2^8Кбайт+2^16Кбайт.
  •  Тройной косвенный блок - дополнительный блок с адресами двойных косвенных блоков, если одного одинарного косвенного блока не хватает. Файл может быть 16Гбайт=10Кбайт+2^8Кбайт+2^16Кбайт+2^24Кбайт.

i-узел UNIX V7

 

14.1.1 Поиск файла

 

Этапы поиска файла по абсолютному пути /usr/sbin/mc

При использовании относительного пути, например sbin/mc, поиск начинается с рабочего каталога /usr.

 

14.1.2 Блокировка данных файла

Блокирование осуществляется по блочно.

Стандартом POSIX два типа блокировки:

  •  Блокировка с монополизацией - больше ни один процесс эти блоки заблокировать не может.
  •  Блокировка без монополизации - могут блокировать и другие процессы.

Блокировки данных файла без монополизации

Если процесс К попытается блокировать блок 6 с монополизацией, то сам процесс будет заблокирован до разблокирования блока 6 всеми процессами.

 

14.1.3 Создание и работа с файлом

fd=creat("abc", mode) - Пример создания файла abc с режимом защиты, указанном в переменной mode (какие пользователи имеют доступ). Используется системный вызов creat.

Успешный вызов возвращает целое число fd - дескриптор файла.

Который хранится в таблице дескрипторов файла, открывшего процесса.

После этого можно работать с файлом, используя системные вызовы write и read.

n=read(fd, buffer, nbytes)

n=write(fd, buffer, nbytes)

У обоих вызовов всего по три параметра:

  •  fd - дескриптор файла, указывающий на открытый файл
  •  buffer - адрес буфера, куда писать или откуда читать данные
  •  nbytes - счетчик байтов, сколько прочитать или записать байт

Теперь нужно по дескриптору получить указатель на i-узел и указатель на позицию в файле для записи или чтения.

Таблица открытых файлов - создана для хранения указателей на i-узел и на позицию в файле. И позволяет родительскому и дочернему процессам совместно использовать один указатель в файле, но для посторонних процессов выделять отдельные указатели.

 

Связь между таблицей дескрипторов файлов, таблицей открытых файлов и таблицей i-узлов.

 

 

14.2 Файловая система BSD

Основу составляет классическая файловая система UNIX.

Особенности (отличие от предыдущей системы):

  •  Увеличена длина имени файла до 255 символов
  •  Реорганизованы каталоги
  •  Было добавлено кэширование имен файлов, для увеличения производительности.
  •  Применено разбиение диска на группы цилиндров, чтобы i-узлы и блоки данных были поближе друг к другу, для каждой группы были свои:
    - суперблок
    -
    i-узлы
    - блоки данных.
    Это сделано для уменьшения перемещений галовок.
  •  Используются блоки двух размеров, для больших файлов использовались большие блоки, для маленьких маленькие.

Каталоговые записи ни как не отсортированы и следуют друг за другом.

 

Каталог BSD с тремя каталоговыми записями для трех файлов и тот же каталог после удаления файла zip, увеличивается длина первой записи.

 

 

14.3 Файловые системы LINUX

Изначально использовалась файловая система MINIX с ограничениями: 14 символов для имени файла и размер файла 64 Мбайта.

После была создана файловая система EXT с расширением: 255 символов для имени файла и размер файла 2Гбайта.

Система была достаточно медленной.

 

14.3.1 Файловая система EXT2

Эта файловая система стала основой для LINUX, она очень похожа BSD систему.

Вместо групп цилиндров используются группы блоков.

 

 

Размещение файловой системы EXT2 на диске

 

Другие особенности:

  •  Размер блока 1 Кбайт
  •  Размер каждого i-узла 128 байт.
  •   i-узел содержит 12 прямых и 3 косвенных адресов, длина адреса в i-узле стала 4 байта, что обеспечивает поддержку размера файла чуть более 16Гбайт.

Особенности работы файловой системы:

  •  Создание новых каталогов распределяется равномерно по группам блоков, чтобы в каждой группе было одинаковое количество каталогов.
  •  Новые файлы старается создавать в группе, где и находится каталог.
  •  При увеличении файла система старается новые блоки записывать ближе к старым.

Благодаря этому файловую систему не нужно дефрагментировать, она не способствует фрагментации файлов (в отличии от NTFS), что проверено многолетним использованием.

 

14.3.2 Файловая система EXT3

В отличие от EXT2, EXT3 является журналируемой файловой системой,  т.е. не попадет в противоречивое состояние после сбоев. Но она полностью совместима с EXT2.

Разработанная в Red Hat

В данный момент является основной для LINUX.

Драйвер Ext3 хранит полные точные копии модифицируемых блоков (1КБ, 2КБ или 4КБ) в памяти до завершения операции. Это может показаться расточительным. Полные блоки содержат не только изменившиеся данные, но и не модифицированные.

Такой подход называется "физическим журналированием", что отражает использование "физических блоков" как основную единицу ведения журнала. Подход, когда хранятся только изменяемые байты, а не целые блоки, называется "логическим журналированием" (используется XFS). Поскольку ext3 использует "физическое журналирование", журнал в ext3 имеет размер больший, чем в XFS. За счет использования в ext3 полных блоков, как драйвером, так и подсистемой журналирования нет сложностей, которые возникают при "логическом журналировании".

Типы журналирования поддерживаемые Ext3, которые могут быть активированы из файла /etc/fstab:

  •  data=journal (full data journaling mode) - все новые данные сначала пишутся в журнал и только после этого переносятся на свое постоянное место. В случае аварийного отказа журнал можно повторно перечитать, приведя данные и метаданные в непротиворечивое состояние.
    Самый медленный, но самый надежный.
  •  data=ordered - записываются изменения только мета-данных файловой системы, но логически metadata и data блоки группируются в единый модуль, называемый transaction. Перед записью новых метаданных на диск, связанные data блоки записываются первыми. Этот режим журналирования ext3 установлен по умолчанию.
    При добавлении данных в конец файла режим
    data=ordered гарантированно обеспечивает целостность (как при full data journaling mode). Однако если данные в файл пишутся поверх существующих, то есть вероятность перемешивания "оригинальных" блоков с модифицированными. Это результат того, что data=ordered не отслеживает записи, при которых новый блок ложится поверх существующего и не вызывает модификации метаданных.
  •  data=writeback (metadata only) - записываются только изменения мета-данных файловой системы. Самый быстрый метод журналирования. С подобным видом журналирования вы имеете дело в файловых системах XFS, JFS и ReiserFS.

 

14.3.3 Файловая система XFS

XFS - журналируемая файловая система разработанная Silicon Graphics, но сейчас выпущенная открытым кодом (open source).

Официальная информация на http://oss.sgi.com/projects/xfs/

XFS была создана в начале 90ых (1992-1993) фирмой Silicon Grapgics (сейчас SGI) для мультимедийных компьютеров с ОС Irix. Файловая система была ориентирована на очень большие файлы и файловые системы. Особенностью этой файловой системы является устройство журнала - в журнал пишется часть метаданных самой файловой системы таким образом, что весь процесс восстановления сводится к копированию этих данных из журнала в файловую систему. Размер журнала задается при создании системы, он должен быть не меньше 32 мегабайт; а больше и не надо - такое количество незакрытых транзакций тяжело получить.

Некоторые особенности:

  •  Более эффективно работает с большими файлами.
  •  Имеет возможность выноса журнала на другой диск, для повышения производительности.
  •  Сохраняет данные кэша только при переполнении памяти, а не периодически как остальные.
  •  В журнал записываются только мета-данные.
  •  Используются B+ trees.
  •  Используется логическое журналирование
     

 

14.3.4 Файловая система RFS

RFS (RaiserFS) - журналируемая файловая система разработанная Namesys.

Официальная информация на RaiserFS

Некоторые особенности:

  •  Более эффективно работает с большим количеством мелких файлов, в плане производительности и эффективности использования дискового пространства.
  •  Использует специально оптимизированные b* balanced tree (усовершенствованная версия B+ дерева)
  •  Динамически ассигнует i-узлы вместо их статического набора, образующегося при создании "традиционной" файловой системы.
  •  Динамические размеры блоков.

 

14.3.4 Файловая система JFS

JFS (Journaled File System) - журналируемая файловая система разработанная IBM для ОС AIX, но сейчас выпущенная как открытый код.

Официальная информация на Journaled File System Technology for Linux

Некоторые особенности:

  •  Журналы JFS соответствуют классической модели транзакций, принятой в базах данных
  •  В журнал записываются только мета-данные
  •  Размер журнала не больше 32 мегабайт.
  •  Асинхронный режим записи в журнал - производится в моменты уменьшения трафика ввода/вывода
  •  Используется логическое журналирование.

     

14.4 Сравнительная таблица некоторых современных файловых систем

 

NTFS

EXT3

RFS

XFS

JFS

Хранение информации о файлах

MFT

inode

inode

inode

inode

Максимальный размер раздела
 

16 Эбайт

4 Тбайт

4 гигаблоков
(т.к. блоки динамические)

18 тыс. Пбайт

32 Пбайт 

Размеры блоков

от 512 байт до 64 Кбайт

1 Кбайт - 4 Кбайт

До 64 Кбайт (сейчас фиксированы 4 Кбайт)

от 512 байт до 64 Кбайт

512/1024/ 2048/4096 байт

Максимальное число блоков

2^48

2^32

 

 

2^32

Максимальный размер файла

 

2 Гбайт

4 Гбайт

9 тыс. Пбайт

4 Пбайт

Максимальная длина имени файла

255

255

 

 

 

Журналирование

Да

Да

Да

Да

Да

Управление свободными блоками

 

Нет

На основе битовой карты

B-деревья, индексированные по смещению и по размеру

Дерево+ Binary Buddy

Экстенты для свободного пространства

 

Нет

Нет

Да

Нет

B-деревья для элементов каталогов

Да

Нет

Как поддерево основного дерева файловой системы

Да

Да

B-деревья для адресации блоков файлов

 

Нет

Внутри основного дерева файловой системы

Да

Да

Экстенты для адресации блоков файлов

 

Нет

Да
(с 4 версии)

Да

Да

Данные внутри inode (небольшие файлы)

 

Нет

Да

Да

Нет

Данные симво-льных ссылок внутри inode

 

Нет

Да

Да

Да

Элементы каталогов внутри inode (небольшие каталоги)

 

Нет

Да

Да

Да

Динамическое выделение inode/MFT

Да

Нет

Да

Да

Да

Структуры управления динамически выделяемыми inode

 

Нет

Общее B*дерево

B+дерево

B+дерево с непрерывными областями inode

Поддержка разреженных файлов

Да

Нет

Да

Да

Да

 

14.5 Файловая система NFS

NFS (Network File System) - сетевая файловая система. Создана для объединения файловых систем по сети.

 

14.4.1 Архитектура файловой системы NFS

Предоставляется доступ к каталогу (экспортируется) с подкаталогами. Информация об экспортируемых каталогах хранится в /etc/exports. При подключении эти каталоги монтируются к локальной файловой системе.

Примеры монтирования удаленных файловых систем

 

14.4.2 Протоколы файловой системы NFS

Протокол - набор запросов и ответов, клиента и сервера.

Используется два протокола:

  1.  Протокол управления монтирования каталогов
  2.  Протокол управления доступа к каталогам и файлам

 

14.4.3 Реализация файловой системы NFS

 

Структура уровней файловой системы NFS

 

VFS (Virtual File System) - виртуальная файловая система. Необходима для управления таблицей открытых файлов.

Записи для каждого открытого файла называются v-узлами (virtual i-node).

VFS используется не только для NFS, но и для работы инородными файловыми системами (FAT, /proc и т.д.)

 

Алгоритм работы NFS (рассмотрим последовательность системных вызовов mount, open и read):

  1.  Вызывается программа mount, ей указывается удаленный каталог и локальный каталог для монтирования.
  2.  Программа ищет сервер, соединяется с ним.
  3.  Запрашивает дескриптор каталога.
  4.  Программа mount обращается к системному вызову mount для монтирования полученного каталога.
  5.  Ядро формирует v-узел для открытого удаленного каталога.
  6.  Ядро формирует r-узел (удаленный i-узел) для удаленного каталога в своих внутренних таблицах. В результате v-узел указывает либо на r-узел для удаленного каталога, либо на i-узел одной из локальных файловых систем.
  7.  Система просит программу клиента NFS открыть файл.
  8.  Создаются v-узел и r-узел для удаленного файла.
  9.  Вызывающему процессу выдается дескриптор удаленного файла.
  10.  Теперь этот процесс может работать с файлом, используя вызов read.

PAGE  1


 

А также другие работы, которые могут Вас заинтересовать

65168. К вопросу о переходе власти в государствах Чингизидов. Золотая Орда в 1358-1362 гг.: династический кризис и феномен самозванства 153 KB
  Также мы попытаемся разобраться с проблемой самозванства ряда претендентов на трон в этот период – кажется единственный беспрецедентный период в истории Золотой Орды когда к власти приходили правители с сомнительным происхождением.
65169. Мамай летописный и Мамай исторический (попытка развенчания стереотипов) 214 KB
  Личность Мамая выдающегося правителя Золотой Орды Улуса Джучи второй половины XIV в. Безусловно такая задача была бы практически нерешаемой если бы в нашем распоряжении были только упомянутые нарративные источники с негативной оценкой деятельности Мамая и собственные логические умозаключения.
65170. «Закон», «обычай», «традиция» средневековых монголов в «Книге о тартарах» 81 KB
  Книга о тартарах Иоанна де Плано Карпини имеет большую ценность для исследователей права средневековых монголов поскольку в ней представлен взгляд европейского современника который к тому же побывал в Монгольской империи в эпоху преобразований.
65171. Золотоордынские ярлыки Русской Церкви как пример правоотношений светской и духовной власти на государственном и надгосударственном уровне 50 KB
  Ярлыки русской церкви представляют собой в общемто весьма распространенный тип ярлыков выдававшихся и в Монгольской империи и в ее отдельных улусах. Надо полагать что выдача ярлыков русской церкви осуществлялась всеми золотоордынскими ханами начиная с самых первых за исключением...
65172. К вопросу о судебной реформе крымского хана Мурад-Гирея (по сведениям «Семи планет» Сейида Мухаммеда Ризы) 29 KB
  Дальнейшая политика Мурад Гирея свидетельствовала о его лояльности: он постоянно являлся в Стамбул активно участвовал в войнах империи. На наш взгляд действия Мурад Гирея являлись популистской акцией попыткой укрепления собственного имиджа в глазах подданных.
65173. ОБРАЗ МАМАЯ В РУССКОМ ЛЕТОПИСАНИИ КАК СРЕДСТВО ДЕЛЕГИТИМИЗАЦИИ ВЛАСТИ ОРДЫНСКОГО ХАНА 132 KB
  В отечественной историографии правитель Золотой Орды Мамай удостоился самых отрицательных отзывов какими только характеризовались враги России. Эти характеристики могут быть отнесены к проводимой им в отношении Руси политики но некоторые источники...
65174. ОБЫЧАЙ И ЗАКОН В ПРАВЕ КОЧЕВНИКОВ ЦЕНТРАЛЬНОЙ АЗИИ (ПОСЛЕ ИМПЕРИИ ЧИНГИС-ХАНА) 78 KB
  Другие же ногайские орды казахские узбекские монгольские сибирские ханства по мнению исследователей сделали в своем развитии шаг назад и из государств трансформировались в вождества; соответственно развитая система писанного права существовавшая...
65175. Математик, которого я знаю – Ньютон Исаак 235 KB
  Исаак Ньютон появился на свет в небольшой деревушке в семье мелкого фермера, умершего за три месяца до рождения сына. Младенец был недоношенным, бытует легенда, что он был так мал, что его поместили в овчинную рукавицу, лежавшую на лавке, из которой он однажды выпал и сильно ударился головкой об пол.
65176. Математик, которого я знаю – Франсуа Виет 77.7 KB
  Франсуа Виет 1540-1603 Родился в 1540 году на юге Франции в небольшом городке Фантенеле Конт французской провинции Пуату Шарант в 60 км от Ла Рошели. Его отец Этьен Виет прокурор. Благодаря связям матери Маргариты Дюпон и браку своей ученицы с принцем...