Python mmap: Улучшенный I/O файлов с помощью отображение файлов в память

В Zen of Python есть много мудрых идей. Одна особенно полезная гласит: «Должен быть один — и желательно только один — очевидный способ сделать это». Тем не менее в Python существует несколько способов решить большинство задач. Например, есть разные способы чтения файла в Python, включая редко используемый модуль mmap . В этом руководстве вы узнаете: какие виды компьютерной памяти существуют; какие задачи можно решить с помощью mmap; как использовать отображение в память для более быстрого чтения больших файлов; как изменить часть файла, не перезаписывая весь файл; как использовать mmap для обмена информацией между несколькими процессами.

https://habr.com/ru/articles/1001546/

#mmap #python #memory_mapped_file #большие_файлы #большие_данные #работа_с_файлами #файлы #оптимизация_кода #Отображение_файла_в_память

#Programming tip: if you want to allocate memory and explicitly tell the kernel you don't want the memory backed until you use it, try mmap(). Really useful.

An example of mmap being used this way. https://gitlab.com/golemwire/subsky/-/blob/master/cpu/util.c?ref_type=heads#L59 (permalink https://gitlab.com/golemwire/subsky/-/blob/0559e32da1e61eb6b50cdd30f080964a603251b4/cpu/util.c#L59 )
This is from my #SubSky emulator.

(p_cpu->p_memory = (uint8_t *) mmap(NULL, (size_t) 1 << 32, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0))

#mmap #kernel

[Перевод] Как memory maps (mmap) обеспечивают в 25 раз более быстрый доступ к файлам в Go

Команда Go for Devs подготовила перевод статьи о том, как memory maps (mmap) обеспечивают молниеносный доступ к файлам в Go. Автор показывает, что замена обычного чтения и записи на работу с памятью может ускорить программу в 25 раз — и объясняет, почему это почти магия, но с нюансами.

https://habr.com/ru/articles/960120/

#Go #mmap #производительность #память #файлы #Unix #системные_вызовы #оптимизация #Varnish_Cache #io_uring

The phaseout of the mmap() file operation

https://lwn.net/Articles/1038715/

#HackerNews #mmap #phaseout #fileoperation #Linux #kernel #technology

The phaseout of the #mmap() file operation

https://lwn.net/SubscriberLink/1038715/e4a2f8f50c244545/

#linux

PHP: Общая память

Хочется быстрый кеш или общение между процессами? Хочется использовать long-running PHP, но без long-running? Давайте разберёмся, как работать прямо с оперативной памятью: от System V до MapViewOfFile; От shmop до FFI. Расшарить оперативу

https://habr.com/ru/articles/947896/

#systemv #shmop #mmap #память #никто_не_читает_теги #ipc

TIL: calling munmap() with wrong parameters can cause really strange occasional crashes in #AddressSanitizer or #Valgrind. Wrong parameters meaning in this case:
- passing wrong (too large) size,
- passing NULL,
- calling munmap() multiple times for the same pointer.

Debugging the crashes was painful. What helped in the end was "doing the boring right thing": adding error checking to all related system calls, adding debug logs, fixing code smells.

#softwareDevelopment #Linux #mmap