24536

Физические организации файловой системы NTFS

Доклад

Информатика, кибернетика и программирование

Физические организации файловой системы NTFS. Физические организации файловой системы NTFS. Аббревиатура NTFS означает New Technology File System – новая технология файловой системы. NTFS содержит ряд значительных усовершенствований существенно отличающих ее от других файловых систем.

Русский

2013-08-09

42.33 KB

29 чел.

Вопрос 41. Физические организации файловой системы NTFS.

§7.7. Физические организации файловой системы NTFS.

Аббревиатура NTFS означает New Technology File System – новая технология файловой системы. NTFS содержит ряд значительных усовершенствований, существенно отличающих ее от других файловых систем. NTFS была разработана в качестве основной файловой системы для ОС Windows NT в начале 1990-х годов с учетом опыта использования файловых систем FAT, HPFS (основная файловая система для OS/2) и других.

Основными отличительными свойствами NTFS являются:

- поддержка больших файлов и больших дисков объемом до 264 байт;

- восстанавливаемость после сбоев и отказов программ и аппаратуры управления дисками;

- высокая скорость операций, в том числе и для больших дисков;

- гибкая структура, допускающая развитие за счет добавления новых типов записей и атрибутов файлов с сохранением совместимости с предыдущими версиями файловых систем;

- устойчивость к отказам дисковых накопителей;

- поддержка длинных символьных имен;

- контроль доступа к каталогам и отдельным файлам.

Структура тома NTFS. Весь том NTFS состоит из последовательности кластеров, что отличает эту файловую систему от FAT, где на кластеры делилась только область данных. NTFS поддерживает размеры кластеров от 512 байт до 64 Кбайт, неким стандартом считается кластер в 4 Кбайт.

Том (раздел) NTFS условно делится на две части (рис. 7.12). Первые минимум 12,5% тома отводятся под так называемую MFT-зону, в которой располагается главный служебный метафайл MFT, растущий от начала MFT-зоны к ее концу по мере создания новых пользовательских файлов/подкаталогов. Таким образом, чем больше файлов содержаться на дисковом томе, тем больше размер MTF. Запись данных в эту область невозможна, чтобы файл MFT не фрагментировался при своем росте. Остальные 87,5% тома представляют собой обычное пространство для хранения файлов. В зависимости от значения параметра NtfsMftZoneReservation, MFT-зона может составлять 25%, 37% или 50%.

Рис. 7.12. Структура тома NTFS

Свободное место тома включает в себя всё физически свободное место, в том числе незаполненные куски MFT-зоны. Механизм использования MFT-зоны таков: когда файлы уже нельзя записывать в обычное пространство, MFT-зона сокращается (в текущих версиях операционных систем ровно в два раза), освобождая таким образом место для записи файлов. Освободившееся пространство уже не является MFT-зоной, поэтому в него можно записывать данные. При освобождении места в обычной области MFT-зона может снова расшириться. При этом не исключена ситуация, когда в MFT-зоне остались и обычные файлы: аномалии тут нет, система старалась оставить её свободной, но не получилось. Из-за этого метафайл MFT все-таки может фрагментироваться, хоть это и нежелательно.

В отличие от FAT каждый элемент системы NTFS представляет собой файл, даже служебная информация. Самый главный файл в NTFS называется MFT (Master File Table) – общая таблица файлов. Он размещается в MFT-зоне и представляет собой централизованный каталог всех файлов диска, включая сам MFТ.  MFТ позволяет определять местонахождение всех остальных файлов.

MFT поделен на записи фиксированного размера, размер которых задается при форматировании – 1, 2 или 4 кбайт (обычно 1 Кбайт). Каждая запись соответствует какому-либо файлу. Приблизительный размер MFT-файла равен:

Размер записи х NFiles, где NFiles – полное количество файлов раздела.

Первые 16 файлов носят служебный характер и недоступны операционной системе – они называются метафайлами, причем самый первый метафайл – сам MFT. Эти первые 16 элементов MFT – единственная часть диска, имеющая фиксированное положение. Вторая копия этих 16 записей, для надежности хранится ровно посередине диска. Остальной MFT-файл, при недостатке места в MFT-зоне, может фрагментироваться, т.е. располагаться, как и любой другой файл, в произвольных местах диска. Установить расположение частей MFT можно с помощью его самого, "зацепившись" за первый элемент MFT. Нулевая запись MFT содержит описание самой MFT, в том числе и адреса всех ее отрезков.

Иными словами, сама таблица MFT системой рассматривается как файл, к которому применим метод размещения в виде нескольких отрезков, произвольно расположенных в томе. Напомним, что в системе FAT таблица размещения файлов занимает строго отведенную для нее часть дискового пространства и не может быть фрагментирована.

Каждый из метафайлов отвечает за какой-либо аспект работы системы. Преимущество такого модульного подхода заключается в поразительной гибкости. Например, в FAT физическое повреждение в самой области FAT фатально для функционирования всего диска, а NTFS может сместить и даже фрагментировать по диску, все свои служебные области, обойдя любые неисправности поверхности, кроме первых 16 элементов MFT. Метафайлы находятся корневом каталоге NTFS-диска, они начинаются с символа имени "$" (табл. 7.2).

Таблица 7.2. Метафайлы NTFS

Системный файл

Имя файла

Назначение файла

0

Главная таблица файлов

$MFT

Содержит полный список файлов тома NTFS

1

Копия главной таблицы файлов

$MFTMirr

Зеркальная копия первых трех записей MFT

2

Файл журнала

$LogFile

Список транзакций, который используется для восстановления файловой системы после сбоев

3

Том

$Volume

Имя тома, версия NTFS и другая информация о томе

4

Таблица определения атрибутов

$AttrDef

Таблица имен, номеров и описаний атрибутов

5

Индекс корневого каталога

$.

Корневой каталог

6

Битовая карта кластеров

$Bitmap

Разметка использованных кластеров тома

7

Загрузочный сектор раздела

$Boot

Адрес загрузочного сектора раздела

8

Файл плохих кластеров

$BadClus

Файл, содержащий список всех обнаруженных на томе плохих кластеров

9

Таблица квот

$Quota

Квоты используемого пространства на диске для каждого пользователя

10

Таблица преобразования регистра символов

$Upcase

Используется для преобразования регистра символов для кодировки Unicode

11-15

Зарезервированы для будущего использования

Файлы NTFS. У системы NTFS нет ничего кроме файлов. Все файлы на томе NTFS идентифицируются номером файла, который определяется позицией записи файла в MFT. Система NTFS располагает файлы и их части в отрезках. Отрезком называется непрерывная последовательность смежных кластеров, характеризующаяся номером начального кластера и длиной.

Порядковый номер кластера в томе NTFS называется логическим номером кластера (LCNLogical Cluster Number). Порядковый номер кластера внутри файла называется виртуальным номером кластера (VCNVirtual Cluster Number). В качестве адреса отрезка NTFS использует логический номер его первого кластера, а также количество кластеров в отрезке k, то есть пара (LCN, k). Таким образом, часть файла, помещенная в отрезок и начинающаяся с виртуального кластера VCN, характеризуется адресом, состоящим из трех чисел: (VCN, LCN, k).

Для хранения номера кластера в NTFS используются 64-разрядные указатели, что дает возможность поддерживать тома и файлы размером до 264 кластеров, что значительно больше емкости современных жестких дисков.

Классическое определение, данное в учебниках информатики, отождествляет файл с именованной записью на диске. Большинство файловых систем добавляет к этому понятие атрибута (attribute) – некоторой вспомогательной характеристики, описывающей время создания, права доступа и т.д. В NTFS имя файла, данные файла и его атрибуты полностью уравнены в правах.

Каждый файл и каталог на томе NTFS представляет собой набор атрибутов. Важно отметить, что имя файла и его данные также рассматриваются как атрибуты файла, то есть в NTFS кроме атрибутов, у файла нет никаких других компонентов. Каждый из атрибутов хранится как отдельный поток (stream) байтов, поэтому во избежание путаницы атрибуты, хранящие данные файла, часто называют потоками.

В NTFS файл целиком размещается в записи таблицы MFT, если это позволяет сделать его размер. В случае, когда размер файла больше размера записи MFT, в запись помещаются только некоторые атрибуты файла, а остальная часть файла размещается в отдельном отрезке тома (или нескольких отрезках). Часть файла, размещаемая в записи MFT, называется резидентной частью, а остальные части – нерезидентными. Адресная информация об отрезках, содержащих нерезидентные части файла, размещается в атрибутах резидентной части.

То есть файл имеет обязательный элемент – запись в MFT, где хранится вся информация о файле (имя файла, размер, положение на диске отдельных фрагментов). Если для информации не хватает одной записи MFT, то используются несколько, причем не обязательно подряд. Дополнительные нерезидентные части файла (атрибуты данных) могут отсутствовать. У некоторых файлов данных может вовсе не быть, а у файлов небольшого размера (сотни байт) данные хранятся прямо в записи таблицы MFT, в оставшемся от обязательной информации месте.

Дополнительные потоки не видны стандартными средствами ОС: наблюдаемый размер файла – это лишь размер основного потока, который содержит традиционные данные. Например, можно иметь файл нулевой длины, при стирании которого освободится 1 Гбайт свободного места потому, что какая-нибудь программа прикрепила к нему дополнительный поток в 1 Гбайт. Файл в NTFS – это более глубокое понятие, чем можно себе вообразить, просто просматривая каталоги диска.

Имя файла может содержать любые символы, включая полый набор национальных алфавитов, так как данные представлены в Unicode – 16-битном представлении, которое дает 65535 разных символов. Максимальная длина имени файла – 255 символов.

Каждый атрибут файла NTFS состоит из полей: тип атрибута, длина атрибута, значение атрибута и, возможно, имя атрибута. Тип атрибута, длина и имя образуют заголовок атрибута.

Имеется системный набор атрибутов, определяемых структурой тома NTFS. Системные атрибуты имеют фиксированные имена и коды их типа, а также определенный формат. Могут применяться также атрибуты, определяемые пользователями.

Системный набор включает следующие атрибуты:

Attribute List (список атрибутов) – список атрибутов, из которых состоит файл; содержит ссылки на номер записи MFT, где расположен каждый атрибут; нужен только в том случае, если атрибуты файла не умещаются в основной записи и занимают дополнительные записи MFT;

File Name (имя файла) – содержит длинное имя файла в формате Unicode, а также номер входа в таблице MFT для родительского каталога; если файл содержится в нескольких каталогах, то у него будет несколько атрибутов типа File Name; этот атрибут всегда резидентный;

MS-DOS Name (имя MS-DOS) – содержит имя файла в формате 8.3;

Version (версия) – содержит номер последней версии файла;

Security Descriptor (дескриптор безопасности) – содержит информацию о защите файла: права доступа и допустимые операции над файлом;

Volume Version (версия тома) – версия тома, используется только в системных файлах тома;

Volume Name (имя тома) – имя тома;

Data (данные) – содержит обычные данные файла;

MFT bitmap (битовая карта MFT) – содержит карту использования блоков на томе;

Index Root (корень индекса) – корень В-дерева, используемого для поиска файлов в каталоге;

Index Allocation (размещение индекса) – нерезидентные части индексного списка В-дерева;

Standard Information (стандартная информация) – хранит всю остальную стандартную информацию о файле, например, время создания файла, время обновления и другие.

Существуют два способа хранения атрибутов файла – резидентное хранение в записях таблицы MFT и нерезидентное хранение вне ее, во внешних отрезках. Таким образом, резидентная часть файла состоит из резидентных атрибутов, а нерезидентная – из нерезидентных атрибутов. Сортировка файлов может осуществляться только по резидентным атрибутам.

Файлы NTFS в зависимости от способа размещения делятся на небольшие, большие, очень большие и сверхбольшие.

Небольшие файлы (small). Если файл имеет небольшой размер, то он может целиком располагаться внутри одной записи MFT, имеющей, например, размер 2 Кбайт. Небольшие файлы NTFS состоят, по крайней мере, из следующих атрибутов (рис. 7.13):

- стандартная информация (SI – standard information);

- имя файла (FN – file name);

- данные (Data);

- дескриптор безопасности (SD – security descriptor).

Рис. 7.13. Небольшой файл NTFS

Большие файлы (large). Если данные файла не помещаются в одну запись MFT, то этот факт отражается в заголовке атрибута Data, который содержит признак того, что этот атрибут является нерезидентным, то есть находится вне таблицы MFT. В этом случае атрибут Data содержит адресную информацию (LCN, VCN, k) каждого отрезка данных.

Для очень больших (huge) и сверхбольших (extremely huge) файлов в атрибут Data помещаются ссылки на другие адреса, по которым хранятся адреса отрезков с данными или опять ссылки на адреса с адресами. Поэтому в NTFS не может быть атрибутов слишком большой для системы длины.

Каталоги. Каждый каталог NTFS представляет собой один вход в таблицу MFT, который содержит атрибут Index Root. Каталог NTFS представляет собой специфический файл, хранящий ссылки на другие файлы и каталоги, создавая иерархическое строение данных на диске. Файл каталога поделен на блоки, каждый из которых содержит имя файла, базовые атрибуты и ссылку на элемент MFT, который уже предоставляет полную информацию об элементе каталога.

Внутренняя структура каталога представляет собой бинарное дерево. Для поиска имени файла в линейном каталоге, например, у FAT, операционной системе приходится последовательно просматривать все элементы каталога. Бинарное дерево располагает имена файлов таким образом, чтобы ускорить их поиск с помощью запросов типа «выше или ниже данного элемента, находится искомое имя?» Запрос делается к среднему элементу, и каждый ответ сужает зону поиска в среднем в два раза. Файлы отсортированы по алфавиту и ответ на вопрос осуществляется сравнением начальных букв. Область поиска, суженная в два раза, начинает исследоваться аналогично, начиная со среднего элемента (рис. 7.14).

а)                                                          б)

Рис. 7.14. Алгоритмы поиска файла в бинарном дереве (а)

и последовательным перебором (б)

В результате вместо перебора большого количества имен (в худшем случае – всех имен каталога) выполняется сравнение с гораздо меньшим количеством имен узлов и имен в одной из групп каталога. Для поиска одного файла среди тысячи FAT придется осуществить около 500 сравнений (наиболее вероятно, что файл будет найден на середине поиска), а системе на основе дерева – всего около 12 сравнений. Необходимо отметить, что FAT32 в современных ОС (начиная с Windows 98) использует сходную оптимизацию поиска.

Для выполнения простейшей навигации по диску не нужно обращаться к MFT за каждым файлом, надо лишь читать самую общую информацию о файлах из файлов каталогов. Главный каталог диска (корневой) ничем не отличается от обычных каталогов, кроме специальной ссылки на него из начала метафайла MFT.

Надежность. NTFS – отказоустойчивая система, которая вполне может привести себя в корректное состояние при практически любых реальных сбоях. Любая современная файловая система основана на таком понятии, как транзакция – действие, совершаемое целиком и корректно или не совершаемое вообще. У NTFS просто не бывает промежуточных (ошибочных или некорректных) состояний, т.к. квант изменения данных не может быть поделен на «до» и «после сбоя», он либо совершен, либо отменен.

Пример 1. Осуществляется запись данных на диск. Вдруг выясняется, что в том месте, куда мы решили записать очередную порцию данных – физическое повреждение поверхности. В этом случае транзакция записи откатывается целиком, место помечается как сбойное, и начинается новая транзакция по записи данных в другое место.

Пример 2. Идет запись данных на диск, вдруг отключается питание и система перезагружается. На помощь приходит другой механизм NTFS – журнал транзакций. Система, перед записью на диск, пометила в метафайле $LogFile свое состояние. При перезагрузке это файл проверяется на предмет наличия незавершенных транзакций, которые были прерваны аварией и результат которых непредсказуем. Эти транзакции отменяются, место, куда осуществлялась запись, помечается как свободное, индексы и элементы MFT приводятся в состояние, в котором они были до сбоя, и система в целом остается стабильна. Ну а если ошибка произошла при записи в журнал? Тоже ничего страшного: сама транзакция либо еще не начиналась, либо уже закончилась и идет запись, что транзакция уже выполнена. В последнем случае при перезагрузке система сама разберется, что на самом деле всё и так записано корректно, и не обратит внимания на "незаконченную" транзакцию.

Конечно журналирование – не абсолютная панацея. Тем не менее, NTFS восстанавливается в полностью корректное состояние даже при сбоях в моменты, очень загруженные дисковой активностью. Важно понимать, что система восстановления NTFS гарантирует корректность файловой системы, а не ваших данных. Если авария произошла в момент записи на диск, ваши данные могут и не записаться. Чудес не бывает.

Фрагментация в NTFS. Ситуация с фрагментацией файлов в NTFS является сложной и неоднозначной. В самом начале утверждалось, что NTFS не подвержена фрагментации файлов. Это оказалось не совсем так, и утверждение сменили – NTFS препятствует фрагментации. Оказалось, что и это не совсем так. То есть она, конечно, препятствует, но толк от этого близок к нулю. Сейчас уже понятно, что NTFS – система, которая как никакая другая предрасположена к фрагментации, что бы ни утверждалось официально. Однако все внутренние структуры логически построены таким образом, что фрагментация не мешает быстро находить фрагменты данных. Тем не менее, такое серьезное негативное последствие фрагментации как лишние движения головок остается.

Как известно, система сильнее всего фрагментирует файлы, когда свободное место кончается и приходится использовать мелкие дырки, оставшиеся от других файлов. Тут проявляется первое свойство NTFS, которое прямо способствует серьезной фрагментации. Диск NTFS поделен на две зоны. В начала диска идет MFT зона, в которую запись данных невозможна, чтобы не фрагментировался хотя бы MFT. Но когда весь остальной диск заполняется, зона MFT сокращается ровно в два раза. В результате если NTFS работает на диске, заполненном примерно на 90%, фрагментация стремительно растет. При этом диск, заполненный более чем на 88%, дефрагментировать почти невозможно, т. к. нельзя перемещать данные в MFT зону.

NTFS фрагментируется даже в том случае, если свободное место далеко от истощения, чему способствует используемый алгоритм нахождения места для записи файлов. При записи берется какой-то определенный объем диска и заполняется файлом до упора, причем сначала заполняются большие дырки, потом маленькие. Типичное распределение фрагментов файла по размеру на фрагментированной NTFS выглядит так (размеры фрагментов):  16 - 16 - 16 - …[назад] - 15 - 15 - 15 - …[назад] - 14 - 14 - 14 .... 1 - 1 - 1 -1 - 1.

Так процесс идет до самых мелких «дырок» в 1 кластер, несмотря на то, что на диске есть и гораздо большие куски свободного места.

7.8 Сравнение файловых систем

Сравнение распространенных файловых систем FAT, FAT32 и NTFS дано в табл. 7.3.

Таблица 7.3

Характеристика

FAT

FAT32 (vFAT)

NTFS

Системы, её поддерживающие

DOS, Windows 9Х, NT всех версий

Windows98, NT5

NT4, NT5

Максимальный размер тома

2 Гбайт

Практически

не ограничен

Практически

не ограничен

Макс. число файлов на томе

Примерно 65 тыс.

Практически не ограничено

Практически не ограничено

Имя файла

Поддержка длинных имен - 255 символов, системный набор символов

Поддержка длинных имен - 255 символов, системный набор символов

255 символов, любые символы любых алфавитов (65 тыс. разных начертаний)

Возможные атрибуты файла

Базовый набор

Базовый набор

Любые

Сжатие

Нет (возможно при использовании дополнительного ПО)

Нет

Да

Устойчивость к сбоям

Средняя (система проста и поэтому ломаться особо нечему)

Плохая (средства оптимизации по скорости привели к появлению слабых мест)

Полная - автоматическое восстановление системы при любых сбоях (не считая физические ошибки записи, когда пишется одно, а на деле записывается другое)

Экономичность

Минимальная (огромные размеры кластеров на больших дисках)

Улучшена за счет уменьшения размеров кластеров

Максимальная - очень эффективная и разнообразная система хранения данных

Быстродействие

Высокое для малого числа файлов, но быстро уменьшается с увеличением числа файлов в каталогах (плохое для заполненных дисков)

Полностью аналогично FAT, но на дисках большого размера (десятки гигабайт) начинаются проблемы

Не очень эффективна для малых и простых разделов (до 1 Гбайт); по скорости работы с большими каталогами и массивами данных значительно превосходит другие системы


 

А также другие работы, которые могут Вас заинтересовать

67671. Ппроект здания в городе Пыть-Ях 4.69 MB
  Социальный и научно-технический прогресс, развитие производственных и культурных связей, повышение материального и культурного уровня жизни людей приводят к увеличению мобильности населения, в свою очередь это сопровождается ростом спроса на культурно – досуговые услуги.
67672. Расчет передающего устройства магистральной радиосвязи, предназначенного для передачи большого количества разнообразной информации (телеграфной, телефонной, данных) на значительные расстояния 618.05 KB
  Диапазон рабочих частот 1020 МГц Нагрузка симметричный фидер волновым сопротивлением 75 Ом. Цепь коррекции которая выравнивает коэффициент усиления по мощности двухтактного генератора по диапазону частот но и обеспечивает резестивное входное сопротивление рассматривается ниже.
67673. Понятие трудового договора в российском трудовом праве 45.16 KB
  Целью работы выступает следующее: раскрыть понятие трудового договора и дать краткую характеристику его условий. К задачам проведенного исследования можно отнести следующие: Анализ трудового законодательства о трудовом договоре; Раскрытие сущности трудового договора, его сторон и содержания...
67674. Проект редуктора нереверсивного с использованием программы Solid Works 2005 1.13 MB
  Редуктор проектируют либо для привода определенной машины, либо по заданной нагрузке и передаточному числу без указания конкретного задания. Наиболее распространены горизонтальные редукторы. Как горизонтальные, так и вертикальные редукторы могут иметь колеса с прямыми, косыми и круговыми зубьями.
67675. Изучение станка качалки привода штанговой глубинной насосной установки 646.55 KB
  В начале нашего века произошли коренные изменения в нефтепереработке. Быстрое распространение карбюраторных бензиновых двигателей внутреннего сгорания с искровым зажиганием для автомобилей (а позже в авиации) потребовало огромного количества топлива.
67676. Завод по производству стальных пространственных конструкций 232 KB
  Эта жизненная среда называемая архитектурой воплощается в зданиях имеющих внутреннее пространство комплексах зданий и сооружений организующих наружное пространство улицы площади и города. В современном понимании архитектура это искусство проектировать и строить здания сооружения и их комплексы.
67677. Сталь 40ХНМА и прочая полезная информация 1.66 MB
  При выборе термической обработки необходимо представлять себе сущность изменений, происходящих в стали при этой обработке. Для этого необходимо знать основные положения металловедения, в частности строение стали и механизм протекания фазовых превращений.
67678. Разработка считывателя системы контроля за персоналом на основе микроконтроллера AVR 494.5 KB
  На основании анализа функциональной спецификации можно выделить следующие блоки которые необходимо реализовать аппаратным способом: Входы: модуль контактного устройства модуль связи с компьютером модуль часов Выходы: модуль светодиодных индикаторов модуль переноса данных Функции: модуль защиты...