Счётчик Яндекс Метрики

В каждом файле — 1 байт. Почему тысяча таких заняла около 4 МБ?

Мы создали тысячу файлов по 1 байту и измерили расход места на ext4. Объясняем, почему содержимое весит 1000 байт, а на диске выделено около 4 МБ, и где сравнить эти значения в Windows.

В папке лежали 1000 файлов, и в каждом был всего один байт. Сложили их содержимое — получили тысячу байт. Но на диске под эти файлы выделилось больше четырёх миллионов байт. Проверили, почему так происходит и где в Windows посмотреть разницу между размером файла и занятым местом.

Коротко

Файловая система хранит данные порциями — блоками или кластерами. Если в файле один байт, ему всё равно может достаться целая порция. На нашем ext4 каждый такой файл занял 4096 байт; тысяча файлов — 4 096 000 байт. На другом диске результат будет зависеть от файловой системы и её настроек.

Крошечные файлы распределяются по крупным блокам хранения
Оглавление

Как мы проверяли

Создали во временной папке 1, 10, 100 и 1000 файлов. Каждый содержал один символ — ровно один байт. Для контроля отдельно записали один файл размером 1000 байт.

Опыт прошёл на файловой системе ext4. Сравнили два числа: размер содержимого и объём, который файловая система выделила под файлы. Затем посмотрели размер всей папки командой du: она учитывает не только данные файлов, но и место, занятое самой папкой.

Условия опыта

Это измерение на ext4 в изолированной временной папке, а не на флешке и не в Windows. Тестовые файлы удалились вместе с временной папкой. В статье не выдаём результат одной системы за универсальный.

Тысяча байт заняла больше четырёх миллионов

Вот что получилось. В столбце «Выделено под файлы» сложены блоки самих файлов. du дополнительно учитывает каталог, где они лежали.

Набор Содержимое файлов Выделено под файлы Весь каталог по du
1 файл по 1 байту 1 байт 4096 байт 8192 байта
10 файлов по 1 байту 10 байт 40 960 байт 45 056 байт
100 файлов по 1 байту 100 байт 409 600 байт 413 696 байт
1000 файлов по 1 байту 1000 байт 4 096 000 байт 4 132 864 байта
1 файл по 1000 байт 1000 байт 4096 байт —

Контрольный файл с тысячей байт занял один блок — 4096 байт. А тысяча маленьких файлов получила по блоку каждый. Поэтому их содержимое весит всего 1000 байт, а блоки занимают 4 096 000 байт. В свойствах всей папки du показывает ещё немного больше: он считает и данные каталога с именами файлов.

Разница в этой строке таблицы складывается из двух частей. Между 1000 байтами содержимого и 4 096 000 выделенными байтами — незаполненное место внутри блоков файлов. Ещё 36 864 байта между суммой файловых блоков и результатом du пришлись на сам каталог. Это число относится к нашему каталогу на ext4: другая файловая система или другое количество имён дадут свой результат.

Что именно выросло

В сами файлы не добавились скрытые данные. В нашем опыте каждый по-прежнему содержал один байт. Остальное место заняли незаполненные части выделенных блоков и служебные данные каталога.

Почему одному байту достаётся целый блок

Диск не размечен на отдельные ячейки для каждого символа. Файловая система записывает данные блоками. В документации ядра Linux об ext4 описано, что блок может иметь размер от 1 до 64 КиБ; обычный размер — 4 КиБ. В нашем каталоге df -T показал ext4, а каждый однобайтный файл после записи получил 4096 байт выделенных блоков.

В Linux мы сравнивали st_size — логический размер файла в байтах — и st_blocks, то есть выделенные блоки. В справке inode(7) отмечено, что st_blocks обычно считают по 512 байт, но единица может зависеть от системы и файловой системы. В нашем замере сумма этих блоков для тысячи крошечных файлов составила 4 096 000 байт.

В этом опыте каждому файлу достался свой блок. Оставшаяся часть блока не стала свободным кусочком, который ext4 мог бы отдать соседнему файлу. У каждого файла также есть служебная запись, а каталог хранит имена. Поэтому мы показываем отдельно данные, выделенные блоки файлов и итог du для каталога. Это не правило для любого диска: размер блока и настройки файловой системы меняются, а сжатие и разреженные файлы тоже влияют на цифры.

Проверили, где расход перескакивает на следующий блок

Чтобы понять, зависит ли результат только от числа файлов, записали файлы разного размера — от пустого до чуть больше двух блоков. Смотрели st_blocks × 512, то есть выделенное место по данным файловой системы, а не только размер содержимого.

Размер содержимого одного файла Выделено под файл на нашем ext4
0 байт 0 байт
1 байт 4096 байт
1000 байт 4096 байт
4095 байт 4096 байт
4096 байт 4096 байт
4097 байт 8192 байта
8192 байта 8192 байта
8193 байта 12 288 байт

В этой проверке пустому файлу блок для содержимого не понадобился. Но это не значит, что пустой файл ничего не стоит файловой системе: ей всё равно нужно хранить его имя и сведения о нём. st_blocks в нашем сравнении показывает выделенные блоки файла, а не все служебные данные тома. Непустой файл получил первый блок, а после 4096 байт понадобился второй. Поэтому тысяча файлов по одному байту расходует примерно тысячу блоков, тогда как один файл на тысячу байт — только один. Это правило округления в нашем измерении, а не обещание для всех дисков: файловые системы могут иначе хранить короткие данные, сжимать их или использовать другие размеры блоков.

📲 Проверяем технику на цифрах

В каналах «Техпросто» выходят эксперименты и инструкции без пересказа рекламных обещаний. Если вы переносите фотографии и документы на USB-накопитель, пригодится пошаговый способ скопировать файлы с телефона на флешку.

Как увидеть разницу в Windows

В Проводнике щёлкните правой кнопкой по файлу или папке и откройте «Свойства». Сравните строки «Размер» и «Размер на диске»: первая показывает содержимое, вторая — выделенное для него место. Microsoft описывает эти поля в справке по NTFS и приводит пример с единицей размещения 4096 байт. Текущая документация Microsoft указывает 4 КБ как размер кластера NTFS по умолчанию, но он зависит от настроек тома. Поэтому этот пример не обещает те же цифры на каждом компьютере.

Для папки Windows суммирует содержимое, к которому у пользователя есть доступ; при большом числе вложенных файлов подсчёт может занять время. Сравнивать это значение с du один к одному не нужно: du — отдельная команда Linux, а способы подсчёта и файловые системы в опыте и на ПК разные. Наша проверка прошла только на ext4; Windows и NTFS мы не запускали.

Если разница между цифрами небольшая, это обычная работа файловой системы. Для папки с большим числом крошечных файлов общий расход может быть заметнее. Если же занято гораздо больше, чем объясняют видимые файлы, сначала проверьте другие папки, скрытые данные и корзину — не форматируйте накопитель наугад.

Для флешки особенно важно не нажимать «Форматировать», если на ней остались нужные файлы. Сначала разберитесь, что произошло: в гайде о флешке, которая просит форматирование, объясняем, как действовать без поспешного стирания данных.

Не меняйте размер кластера ради пары мегабайт

В Windows размер кластера меняют при форматировании тома. Это затрагивает данные на накопителе: сначала понадобится резервная копия. На обычном компьютере безопаснее посмотреть «Размер на диске», чем перестраивать файловую систему ради теоретической экономии.

Что показал эксперимент

В нашем опыте тысяча однобайтных файлов получила тысячу 4-КиБ блоков, а файл на 1000 байт — один. Чтобы понять расход на своём компьютере, сравните в свойствах «Размер» и «Размер на диске». Точные цифры зависят от файловой системы и настроек диска.


Если статья помогла разобраться, поделитесь ею с теми, у кого «Размер» и «Размер на диске» не сходятся. Новые разборы и эксперименты — в каналах «Техпросто» в MAX, Telegram и Дзене.