Slab

Распределение slab (от англ. slab — брусок, плита) — механизм управления памятью, предназначенный для более эффективного распределения памяти и устранения значительной фрагментации. Основой этого алгоритма является сохранение выделенной памяти, содержащей объект определённого типа, и повторное использование этой памяти при следующем выделении для объекта того же типа. Этот метод был впервые введен в SunOS Джефом Бонвиком и сейчас широко используется в ядрах многих операционных системах Unix, включая FreeBSD и Linux.

Основа

Фундаментальная идея способа распределения slab основывается на результатах наблюдений, показывающих, что некоторые объекты данных ядра часто создаются и уничтожаются после того, как перестают быть нужными. Таким образом, при каждом выделении памяти для объектов такого типа затрачивается некоторое время для нахождения наиболее подходящего места для этого объекта. Кроме того, освобождение памяти после уничтожения объекта способствует большей фрагментации памяти, которая создает дополнительную нагрузку на ядро для реорганизации памяти.

В случае же с распределением slab при использовании программистом определённых системных вызовов участки памяти, подходящие для размещения объектов данных определённого типа и размера, заранее предопределены. Распределитель slab хранит информацию о размещении этих участков, известных также как кэши. Таким образом, если поступает запрос на выделение памяти для объекта данных определённого размера, он может мгновенно удовлетворить запрос уже выделенным слотом. Однако, уничтожение объектов не освобождает память, а только открывает слот, который помещается в список свободных слотов распределителем slab. Следующий вызов для выделения памяти того же размера вернет слот памяти, не используемый в данный момент. Этот процесс устраняет необходимость в поиске подходящего участка памяти и значительно снижает фрагментацию памяти. В этом контексте slab — это одна или более смежных страниц в памяти, содержащих заранее выделенные участки памяти.

Реализация

Понимание распределения slab требует определения следующих терминов:

1. Кэш: кэш представляет собой небольшой объём очень быстрой памяти. Здесь мы используем кэш как память для хранения таких объектов, как семафоры, дескрипторы процессов, объекты файлов и т. д. Каждый кэш способен хранить только один тип объектов.
2. Slab: slab представляет собой непрерывный участок памяти, обычно составленный из нескольких физических смежных страниц. Кэш состоит из одного или более slab’ов.

Когда программа создает кэш, она выделяет ряд объектов в него. Их количество зависит от размера связанных slab’ов. Slab может находиться в одном из следующих состояний:

1. пустой — все объекты в slab’e помечены как свободные
2. частично занятый — slab содержит как используемые, так и пустые объекты
3. заполненный — все объекты в slab’е помечены как используемые

Изначально система помечает каждый slab как «пустой». Когда процесс обращается за новым объектом ядра, система делает попытку найти свободное место для этого объекта в частично занятом slab’е в кэше для этого типа объектов. Если такого места не находится, система выделяет новый slab из смежных физических страниц и передает их в кэш. Новый объект размещается в этом slab’е, а это местоположение помечается как «частично занятое».

Основное преимущество алгоритма slab заключается в том, что память выделяется точно в том объёме, в котором требуется. Таким образом, отсутствует внутренняя фрагментация памяти. Распределение происходит быстро, поскольку система создает объекты заранее и легко выделяет их из slab’а.

Slab

Slab — объём памяти, за счет которого кэш может увеличиваться или уменьшаться. Он представляет собой распределение памяти в кэш, а его размер обычно кратен размеру страницы памяти. Slab должен содержать список свободных буферов, а также список буферов, которые были выделены (в случае большого размера slab’а).

Большие slab’ы

Предназначены для кэшей, хранящих объекты, размер которых не менее 1/8 размера страницы памяти данной машины. Большие slab’ы имеют структуру, отличную от небольших slab’ов, чтобы лучше умещаться на страницах памяти, таким образом избегая фрагментации. Slab содержит список буферных контроллеров, которые являются контроллерами для каждого буфера, который может быть выделен (буфер — это память, которую пользователь распределителя slab будет использовать).

Малые slab’ы

Содержат объекты, которые не превышают 1/8 размера страницы памяти данной машины. Они должны быть оптимизированы отдельно от логической структуры, избегая использования буферных контроллеров (которые были бы такими же большими, как и данные в них, вызывая тем самым намного больший расход памяти). Небольшие slab’ы занимают точно одну страницу и имеют определённую структуру, позволяющую им избежать буферизации. Последняя часть страницы содержит «заголовок slab», представляющий собой информацию, необходимую для хранения slab’а. Начиная с первого адреса страницы есть столько буферов, сколько может быть выделено без использования заголовка slab в конце страницы.

Вместо обычного использования буферных контроллеров используется буфер для хранения списка свободных ссылок. Это позволяет обходиться без использования буферных контроллеров в небольших slab’ах.

Системы, использующие распределение slab

1. AmigaOS (введено в 4.0)
2. DragonFly BSD (введено в релизе 1.0)
3. FreeBSD (введено в 5.0)
4. Haiku (введено в alpha 2)
5. HP-UX (введено в 11i)
6. Linux (введено в ядре 2.2)
7. NetBSD (введено в 4.0)
8. Solaris (введено в 2.4)

Литература

• Bonwick, Jeff. «The Slab Allocator: An Object-Caching Kernel Memory Allocator.» USENIX summer. Vol. 16. 1994. (англ.)
• «Unix internals : the new frontiers» (section 12.10), Uresh Vahalia, Prentice Hall 1996, ISBN 0-13-101908-2
• Jeff Bonwick, Jonathan Adams, Magazines and Vmem: Extending the Slab Allocator to Many CPUs and Arbitrary Resources / USENIX Annual Technical Conference, General Track. 2001. (англ.)

Ссылки

• Анатомия распределителя памяти slab в Linux. Узнайте, как Linux управляет памятью / developerWorks Россия, 22.08.2007 (рус.)
  • Anatomy of the Linux slab allocator — M. Tim Jones (Emulex Corp), 15 May 2007 (англ.)
• Chapter 8. Slab Allocator / Mel Gorman, «Understanding the Linux Virtual Memory Manager», 2007 (англ.)
• Christoph Lameter, Slab allocators in the Linux Kernel: SLAB, SLOB, SLUB / LinuxCon/Düsseldorf 2014 (англ.)
• Fitzgibbons, Brad. «The Linux slab allocator.» (2000) (англ.)
• https://web.archive.org/web/20160831101859/http://k806.ru/osprogram/os_2011-11-12.pdf#page=26 (рус.)