Четыре миллиарда лет R&D: что биология говорит об архитектуре NGFW
Попытка посмотреть на идеи архитектур систем сетевой безопасности через призму 4 млрд лет эволюционных экспериментов от генерального директора компании Дмитрия Хомутова.
https://habr.com/ru/companies/ideco/articles/1011600/
#ngfw #ideco #ips #dpi #vpp #dpdk #компьютерные_сети #информационная_безопасность #информационные_технологии #будущее
Программный съем трафика на скорости 400G: сравнение методов обработки и неочевидные бутылочные горлышки
Меня зовут Юрий Морозов, я главный архитектор компании «Гарда» . В этой статье я расскажу, как можно организовать обработку трафика на высоких скоростях. Актуальность этой задачи для современной сетевой безопасности напрямую связана с эволюцией технологий передачи и обработки данных: за последние годы скорости выросли на порядок, и вместе с ними резко изменились требования к производительности систем анализа и фильтрации трафика.
https://habr.com/ru/companies/garda/articles/985596/
#обработка_трафика #pf_ring #dpdk #AF_PACKET #высокоскоростная_обработка_трафика #программная_обработка_трафика #информационная_безопасность #сетевая_безопасность #системное_программирование
Меня зовут Юрий Морозов, я главный архитектор компании «Гарда» . В этой статье я расскажу, как можно организовать обработку трафика на высоких скоростях. Необходимость решения данной задачи...
Балансировка нагрузки в Яндексе: новые проблемы роста
Всем привет, меня зовут Володя. Я работаю в Yandex Infrastructure и занимаюсь развитием систем балансировки нагрузки. В статье расскажу, как развивалась наша новая система управления конфигураций с момента её создания в 2018 году, а ещё о том, как мы переходили на новый Data Plane балансировки и какие новые интересные вызовы это породило с точки зрения массовости задач и управления ресурсами. Опишу новые проблемы и особенности, в том числе планирование ресурсов для большого динамичного парка клиентов. Также обсудим, какие бывают долговременные негативные последствия у слишком удобных систем балансировки нагрузки и что мы планируем с этим делать.
https://habr.com/ru/companies/yandex_cloud_and_infra/articles/967212/
#балансировка_нагрузки #балансировка #балансировщик #yanet #dpdk #ipvs #loadbalancing
SPDK в публичном облаке: лезем внутрь дисковой подсистемы в user-space
Всем привет! Меня зовут Василий Иванов, я ведущий разработчик в команде Data Storage в
https://habr.com/ru/companies/mws/articles/943206/
#cloud #mwscloudplatform #mws #разработка_облака #spdk #data_storage #dpdk #vhost
#NIC-#Treiber sind schon echt kleine Divas, die gerne alle ihre Sonderbehandlung haben möchten. Irgendwie stößt man immer vor irgendwelche völlig unintuitiven Einschränkungen und braucht absurde Workarounds, wenn man nur mal ein kleines bisschen mehr machen möchte als einfach nur stupide Netzwerk-Traffic zu forwarden.
Meine Stichprobe: #DPDK Treiber mlx5 von #Nvidia und ice von #Intel
Открытие Эндрю Крапивина о хеш-таблицах и микро-указателях?
Чисто гипотетически, может и актуально, но лишь в чистой и голой computer science теории.
На практике же полно нюансов реализации, сводящихся к оптимизациям конкретных аппаратных платформ.
Например, есть #SwissTable известные с 2018 года, недавно #Golang перешёл на них (с версии 1.24). И до него на SwissTable перейти успел #Rust.
Хеш-таблицы Google SwissTable и Facebook F14 примерно одинаковые, одно лишь вариант другого.
Идея оптимизации работы вокруг использования #SIMD инструкций для поиска занятых ячеек и проверки ключа. И в тотально подавляющем большинстве случаев хватает одной проверки блока из восьми элементов.
Надо ещё много раз поиграться с вариантами реализации какой-либо идеи из чистого computer science. Посмотрев как оно ложится на аппаратную платформу сродни x86-64.
Есть prefetching памяти и работа с ОЗУ идёт через загрузку целиком всей cache line в ЦПУ, даже при обращении на чтение лишь к одному значению в пару байт.
Предыдущий пункт не только про cache misses, но и «локальность данных». Как повышающую производительность, так и приводящих к false sharing при многопоточном использовании структуры данных.
Необходимо учитывать и размер страницы виртуальной памяти, чтобы снизить «давление» на TLB и уйти от TLB miss.
Для пример, в нагруженных системах используется донастройка системы на huge pages, например, все кто используют модный #DPDK сам по себе или с каким-нибудь #Seastar:
Голая теория computer science это хорошо и замечательно, но практика омерзительна свой приземлённостью. Прямой проход перебором по небольшому массиву оказывается быстрее, чем использование binary search tree. И совершенно не важно какого именно красно-чёрного или же АВЛ.
Это не вопрос ретроградства и вызова 40-летней теории :)
#software #SoftwareDevelopment #программирование #разработка #programming @russian_mastodon @ru @Russia
Как и зачем мы забенчили производительность сетевого стека
Привет, Хабр! На связи Наташа, UX-исследователь
https://habr.com/ru/companies/selectel/articles/865644/
#selectel #linux #dpdk #nginx #kernel_bypass #сетевой_стек #сеть
Habr
GripNews
nex 
grumb
Paul Chaignon