DawidOstatnie dni utknąłem kopiąc w DHT (distributed hash table)... Zaczęło się od niewinnego napisania crawler'a torrentów ogłaszanych jako Mainline DHT - dołączam do sieci DHT, utrzymuje routing, odpowiadam i podsłuchuje co kto tam udostepnia. Następnie klasyfikuje pliki po nazwach, indexuje, robie scoring, wyszukuję imdb i tvdb i kilka magicznych rzeczy, aby na końcu wystawić wszystko jako endpoint Torznab API.
Działa to trochę jak https://github.com/boramalper/magnetico, ale po odpowiednim skupieniu się udało się to wcisnąć na 30% 1v CPU i 100mb ramu z bazą SQLite przetwarzając dziesiątki milionów hashy na sekundę i wyciągając 40+ wartościowych wpisów na sekundę.
Całość to raczej poboczny hobby projekt, żeby lepiej zrozumieć czym jest DHT, i jak w praktyce to wykorzystać w sieciach P2P. Zdecentralizowana książka adresowa, przeszukiwana przez każdego - bez centralnego punktu przechowywania danych. Nasłuchujemy po UDP, ogłaszamy UDP, budujemy routing - nikt nie jest centralnym punktem i nikt nie jest właścicielem.
W tle kontynuuję swoje prace nad serwerem e-commerce. W trakcie pisania serwera zrozumiałem, że sposobem na oderwanie od monopolu dużych graczy e-commerce jest nie "sklep dla każdego" w formie małej binarki, a protokół nienależący do nikogo, pozwalający bezpośrednie połączenie sprzedającego z kupującym. Tak naprawdę każdy mógłby mieć sklep w formie appki na telefonie, czy doinstalować plugin do istniejącej instancji woocommerce.
Ogłaszamy "w eter", że sprzedajemy daną rzecz, a kupujący "nasłuchują" i filtrują czy ktoś sprzedaje to, co chcą kupić.
Protokół nie powinien też interesować się formą płatności (aby nie skończyć jak OpenBazaar), a jedynie oderwać ludzi od pośrednika jakim są duże sklepy i wyszukiwarki z ich seo.
No nic - są to wolne pomysły. Piszę, testuję, jak będę miał coś ciekawego to wrzucę kod. Na pewno udostępnię lada dzień ten crawler DHT jak go "wyczyszczę"
#programowanie #torrent #dht
Działa to trochę jak https://github.com/boramalper/magnetico, ale po odpowiednim skupieniu się udało się to wcisnąć na 30% 1v CPU i 100mb ramu z bazą SQLite przetwarzając dziesiątki milionów hashy na sekundę i wyciągając 40+ wartościowych wpisów na sekundę.
Całość to raczej poboczny hobby projekt, żeby lepiej zrozumieć czym jest DHT, i jak w praktyce to wykorzystać w sieciach P2P. Zdecentralizowana książka adresowa, przeszukiwana przez każdego - bez centralnego punktu przechowywania danych. Nasłuchujemy po UDP, ogłaszamy UDP, budujemy routing - nikt nie jest centralnym punktem i nikt nie jest właścicielem.
W tle kontynuuję swoje prace nad serwerem e-commerce. W trakcie pisania serwera zrozumiałem, że sposobem na oderwanie od monopolu dużych graczy e-commerce jest nie "sklep dla każdego" w formie małej binarki, a protokół nienależący do nikogo, pozwalający bezpośrednie połączenie sprzedającego z kupującym. Tak naprawdę każdy mógłby mieć sklep w formie appki na telefonie, czy doinstalować plugin do istniejącej instancji woocommerce.
Ogłaszamy "w eter", że sprzedajemy daną rzecz, a kupujący "nasłuchują" i filtrują czy ktoś sprzedaje to, co chcą kupić.
Protokół nie powinien też interesować się formą płatności (aby nie skończyć jak OpenBazaar), a jedynie oderwać ludzi od pośrednika jakim są duże sklepy i wyszukiwarki z ich seo.
No nic - są to wolne pomysły. Piszę, testuję, jak będę miał coś ciekawego to wrzucę kod. Na pewno udostępnię lada dzień ten crawler DHT jak go "wyczyszczę"
#programowanie #torrent #dht
Habr
Widowild 
GripNews
TorrentFreak RSS
Steve Dustcircle 🌹
Linus Gasser
Sam 
