Как мы спроектировали и запустили собственную облачную платформу на 20К виртуальных машин — опыт Wildberries

Собственная облачная платформа помогает контролировать технологические процессы, обеспечивает безопасность и повышает эффективность продуктовых команд. Но спроектировать её — задача со звёздочкой. Привет, Хабр! Меня зовут Алексей Чуркин, я работаю в компании Wildberries, где строю приватное облако. В этой статье по мотивам моего доклада для Highload++ расскажу о том, как мы внутри компании построили облачную платформу, с какими сложностями столкнулись и как собираемся её развивать.

https://habr.com/ru/companies/oleg-bunin/articles/903552/

#cloud #wildberries #platform_engineering #облачная_платформа #ovn #kvm #виртуальные_машины #приватное_облако #openstack

От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету»

Привет, Хабр! Меня зовут Владислав Одинцов, я — техлид в K2 Cloud (ex Облако КРОК) и работаю в облаке с 2013 года, администрирую Linux и сети в нём, коммичу в Open Source (Open vSwitch, OVN и другие проекты). С 2015 года занимаюсь облачными сетевыми сервисами. В этой статье по мотивам моего доклада для конференции Highload++ 2024 расскажу об истории смены SDN в публичном облаке с проприетарного VMware NSX на Open Source решение OVN. Ввиду того, что текст статьи, в отличие от выступления на конференции не ограничен по времени, я решил разобрать некоторые моменты более подробно. Таким образом, даже если вы присутствовали на конференции или смотрели доклад в записи, вы, вероятно, сможете найти для себя что-то новое.

https://habr.com/ru/companies/oleg-bunin/articles/885710/

#К2_Облако #highload++ #NSX #SDN #OVN #cloud #network_virtualization #open_vswitch #самописный_софт #K2_Cloud

Is there some #ebpf #linux #linuxkernel expert out there who can give advices on how it's possible to trace packets via TC hooks attached on all hosts interfaces, ie. being able to recognize that packet X seen on interface B was the same packet already seen on interface A previously?

I know there's the SKB "mark" field done in this purpose but unfortunately it's not reliable as it's too overloaded and sometimes erased (seen with #OVS/ #OVN)

I have to say, ovn-trace is awesome! Helped me debug sdn issues more than once. The output may look terrible, but so does the Exim server log before you get used to it.

#ovn #sdn

Why I didn't think of this before. I currently have a couple of #ovn networks that are not connected to my internal network at all, just nating outbound in the #homelab . Most of my connections with #NetBird ( my overlay network) were being relayed because it couldn't establish a direct connection. #NetBird has a router function where you can have one of it's endpoints act as a way into that network. I did that and my response times went from 150ms to 1ms! shieeet!

#selfhosted #selfhosting

One pretty shitty con to moving into SDN networks that are not routed and using a wiregaurd overlay. Because you physical network can not reach the SDN networks. All of the connections are relayed on the wiregaurd network. Between me and my services, not service to service as those have access to each other as they are networks can connect to each other in software. It all works just fine but instead of 1ms round trip, i'm looking at over 170ms.

#homelab #wireguard #OVN

I really am amazed at using a wiregaurd type service as an overlay network been so easy to move stuff around. I just moved my instances over to an software defined network with #ovn that is not routable at all. As long as you are on the wiregaurd network the things just keep on ticking. Before I would have to configure BGP for the network, make sure the router has all the config. Now, I just make sure things can get outbound and shits awesome.

#homelab #networking #NetBird