NVMe/TCP vs NVMe/RoCE: Which Protocol For High-Performance Storage?

https://www.simplyblock.io/blog/nvme-tcp-vs-nvme-roce/

Реализация NVMe over TCP в ядре Linux и тесты протокола с TATLIN.UNIFIED

Кажется, совсем не так давно, а для кого-то, может быть, еще в прошлую пятницу, золотым стандартом технологического стека сетей хранения данных был Fibre Channel: SCSI, FCP, FC. Неудивительно: Fibre Channel разрабатывался целенаправленно для хранения данных. Но уже к середине 2000-х на сцене появляется новый стандарт — протокол iSCSI, реализованный поверх TCP/IP и Ethernet. Почему? Fibre Channel был всем хорош, кроме своей цены и зависимости от нескольких производителей сетевого оборудования. C появлением новых высокопроизводительных компонент хранения данных и исчерпания масштабирования производительности традиционных интерфейсов, в том числе SAS, рождается стандарт NVMe — протокол, который работает поверх PCIe. NVMe, повторяя путь SCSI на заре эры SAN, реализуют в сетях хранения как набор стандартов NVME-oF (Over Fabric) для различных транспортных протоколов: FC, RDMA, TCP. Начиная с версии 3.2 в TATLIN.UNIFIED реализована поддержка NVMe over TCP наравне с Fibre Channel и iSCSI. Меня зовут Александр Пищулин, я инженер в отделе оптимизации быстродействия СХД в YADRO. В статье я постараюсь дать представление о реализации NVMe over TCP в системах, построенных на базе ядра Linux, c фокусом на производительность. Также поделюсь результатами тестирования протокола в TATLIN.UNIFIED GEN2.

https://habr.com/ru/companies/yadro/articles/967084/

#nvmeof #NVMe_over_tcp #linux #tatlinunified #linux_kernel

What is NVMe Storage?

https://www.simplyblock.io/blog/what-is-nvme-storage/

Probably the most interesting new feature in Proxmox 9 (Beta 1):

Finally we're able to create #Snapshots of VMs with shared block storage (such like #iSCSI, #FibreChannel & #NVMeoF) with LVM Thick without doing dirty workarounds. Well done Proxmox (& Alex!).

Recently, I created a plugin (including PVE UI integration) for #NetApp based storages to create storage side snapshots.

PS: #ProxLB also already supports PVE9!

#Proxmox #blockstorage #Proxmox9 #PVE #virtualization #beta #OnTap

Why you should use NFSv4 over NFSv3 in your Proxmox cluster - the difference is huge!

And if NFS has still too high latencies for you, my upcoming post of NVMe-oF (TCP) with SPDK will solve your issues.

Link: https://gyptazy.com/nfsv3-vs-nfsv4-storage-on-proxmox-the-latency-clash-that-reveals-more-than-you-think/

#proxmox #nfs #storage #homelab #nfs3 #nfs4 #pnfs #nvmeof #nvme #latency

Not even bad the latency (this is just about latency, not overall bandwidth which reaches the full 4.9Gbit via 2x 2.5Gbit links).

Taken inside a Debian VM running on a Proxmox node connected to the storage:

GMKTec G9 NAS
2x 2.5Gbit
NFS 4.2 (with pNFS)
2x WD Back SN7100 NVMe
Mirror mode ZFS

While this are already pretty awesome latencies, let's see how it performs with SPDK and NVMe-oF (TCP).

#homelab #proxmox #storage #zfs #gmktec #gmktecg9 #latency #freebsd #NFS #SPDK #NVMe #NVMEoF