High-Resolution Mars Surface Data Unveiled Through Data Fusion

Scientists use new data fusion methods to create sharper maps of Mars, showing frost and rock shapes better. This helps understand Mars' weather and geology.

#MarsData, #SpaceExploration, #MarsGeology, #PlanetaryScience, #DataFusion

https://newsletter.tf/mars-surface-data-fusion-frost-rock-maps/

New maps of Mars are 10 times sharper than before, showing tiny details of frost and rocks. This is a big step in understanding the planet.

#MarsData, #SpaceExploration, #MarsGeology, #PlanetaryScience, #DataFusion
https://newsletter.tf/mars-surface-data-fusion-frost-rock-maps/

New Mars Maps Show Frost and Rock Details

Scientists use new data fusion methods to create sharper maps of Mars, showing frost and rock shapes better. This helps understand Mars' weather and geology.

NewsletterTF

I’m excited to be heading to Los Angeles next week for the Air Sensors International Conference (ASIC) 2026. I’ll be sharing new findings from our work evaluating low‑cost air sensors for data fusion.

Presentation: In-Situ Evaluation of Low-Cost PM2.5 Sensor Networks Using a Novel Distance-Based Method Quantifies Sensor Uncertainty and Reveals Episodic Variability in Performance
Session: Air Sensor Degradation and Operating in Challenging Environments
Time: Thursday, May 7th, 2026 | 1:30–3:00 PM

If you’ll be at ASIC, I’d love to connect and exchange ideas.
#ASIC2026 #airquality #lowcostsensors #airpollution #datafusion

Zoöp DataFusion

PeerTube

@thealexmerced thanks! Added to wish list in manning. Better 2buy there vs Amazon to get the ai features?

I guess Manning got rid of old option to buy coins 2 read individual pages? was a cool feature 2 bad.

Thanks for reminder about #datafusion i guess it & #polars have excellent #iceberg support & can be used from #rust

I was thinking about replacing a #pyspark glue job with a rust #lambda on #aws

Just found your excellent medium account. Best of luck at your upcoming talk!

If you are a person working on the software development industry, please do yourself a favor and read @andygrove book: "How Query Engines work":

https://howqueryengineswork.com/

The book is free to read on web, but if you like it, I'd suggest to buy the eBook version too.

Andy Groove is the creator of #DataFusion, and has been working with query engines for a big while.

Acknowledgements - How Query Engines Work

Как мы переписали ядро Trino на Rust

CedrusData Engine — это lakehouse-движок, основанный на Trino. На реальных нагрузках наш продукт рутинно превосходит по производительности другие технологии (Trino, Doris, Dremio, StarRocks) в 1.5-3 раза, с еще более значительным отрывом от устаревших Greenplum и Impala. Эти результаты — следствие постоянных вложений в разработку новейших техник обработки больших данных. В этой статье я расскажу про проект Oxide — одну из наших ключевых инициатив прошлого года по переписыванию ядра Trino с Java на Rust.

https://habr.com/ru/companies/cedrusdata/articles/985602/

#trino #rust #datafusion #bigdata #sql

Как мы переписали ядро Trino на Rust

CedrusData Engine — это lakehouse-движок, основанный на Trino . На реальных пользовательских нагрузках наш продукт рутинно превосходит по производительности другие технологии (Trino, Doris, Dremio,...

Хабр

We've been working on something exciting in the Arrow/DataFusion ecosystem, which finally shipped with yesterday's release of DataFusion. You can now use Run-End-Encoded arrays in group by clauses!

#opensource #apache #arrow #datafusion #performance #database

https://github.com/apache/datafusion/issues/16011

Support Aggregating by `RunArray`s · Issue #16011 · apache/datafusion

Is your feature request related to a problem or challenge? It's currently not possible to aggregate by RunArrays. Example code grouping by a `RunArray` use arrow::array::{Array, Int32Array, RunArra...

GitHub

Pakistan überwacht Bevölkerung

… mit deutscher Technologie (Amnesty-Bericht)

Pakistan hat laut Amnesty International eines der umfangreichsten staatlichen Überwachungssysteme außerhalb Chinas aufgebaut. Zulieferer neuester Technologie zur Überwachung und Zensur sind auch europäische und deutsche Unternehmen wie Thales und Utimaco.

Pakistan überwacht Millionen seiner Einwohner*innen auch mit in Deutschland entwickelten Technologien, das geht aus einem am Dienstag veröffentlichten Bericht von Amnesty Internationalhervor. Auch andere europäische und ausländische Unternehmen versorgen die pakistanischen Behörden mit hochentwickelten Werkzeugen zur Massenüberwachung und Internetzensur.

Mit dem Telefonüberwachungssystem Lawful Intercept Management System (LIMS) erfassen die pakistanischen Sicherheitsbehörden Standort, Anrufe, Textnachrichten sowie den Browserverlauf von mindestens vier Millionen Mobiltelefonen gleichzeitig. LIMS erlaubt zu sehen, welche Webseiten Nutzer*innen aufrufen, selbst wenn diese oder ihre Teile verschlüsselt sind. Das System gewährt dem pakistanischen Militär und den Geheimdiensten direkten Zugriff auf die Daten von Telekommunikationskunden, da es in die Telekommunikationsnetze der privaten Anbieter direkt eingebaut ist. zur Identifikation bedarf es lediglich der Handynummer.

Kontrolle von Handys und Internet

Zudem blockieren Geheimdienste mit einer in China entwickelten Firewall-Technologie (WMS 2.0) Virtual Private Networks (VPN), die zur Umgehung von Zensur genutzt werden können, sowie unliebsame Webseiten. Die Behörden können mit der Technologie auch den Internetverkehr drosseln.

Amnesty beschreibt diese Kombination an Technologien als Wachtürme, die ständig das Leben gewöhnlicher Menschen ausspionieren. Sie machen es laut der Menschenrechtsorganisation der Regierung möglich, Dissident*innen zu überwachen, zum Schweigen zu bringen und grundlegende Menschenrechte systematisch zu verletzten.

„Weil es in Pakistan an technischen und rechtlichen Schutzmaßnahmen mangelt, ist LIMS in der Praxis ein Instrument rechtswidriger und unterschiedsloser Überwachung“, heißt es in dem Bericht. Die Geheimdienste nutzen LIMS, ohne dafür einen richterlichen Beschluss eingeholt zu haben – eine gesetzlich vorgeschriebene Mindestanforderung, die von den pakistanischen Behörden jedoch in gewohnter Manier ignoriert wird.

Überwachung made in Aachen

Pakistan hat in den letzten Jahren eine tiefgreifende Überwachungsinfrastruktur aufgebaut und dabei auf eine globale Lieferkette von Überwachungstechnologien zurückgegriffen. Den Großteil der Technologie, die LIMS in Pakistan ermöglicht, kommt von zwei Unternehmen: dem deutschen Utimaco mit Sitz in Aachen und dem emiratischen Datafusion mit Niederlassung in Deutschland. Mit LIMS von Utimaco durchsuchen die Behörden die Daten der Telekommunikationskunden, die dann über Überwachungszentren von Datafusion zugänglich gemacht werden. Mit Hilfe von Handelsdaten konnte Amnesty nachweisen, dass LIMS über das Unternehmen aus den Arabischen Emiraten an Pakistan geliefert wurde. Das System wird in Pakistan schon seit 2007 eingesetzt.

Die Internet-Firewall wurde erstmals in 2018 in Betrieb genommen und stammte von einem kanadischen Unternehmen namens Sandvine (jetzt AppLogic Networks). Fünf Jahre später wurde sie durch eine fortgeschrittene Technologie vom chinesischen Unternehmen Geedge Networks ersetzt, das Verbindungen zu chinesischen Staatsunternehmen unterhält. Die US-amerikanische Firma Niagara Networks und die französische Firma Thales lieferten die unterstützende Infrastruktur.

Laut Amnesty handelt es sich bei der von Geedge Networks entwickelten Technologie um eine kommerzielle Version von Chinas „Großer Firewall“, die nun auch außerhalb des Landes zum Einsatz kommt. Die Große Firewall ist ein umfangreiches staatliches Zensur- und Überwachungssystem, mit dem die chinesische Regierung unerwünschte ausländische Seiten sperrt und die gesamten Aktivitäten der Bevölkerung im Internet kontrolliert.

Verantwortung der Unternehmen und Exportländer

Datafusion erklärte gegenüber Amnesty, dass die Überwachungszentren ausschließlich an gesetzlich legitimierte Behörden verkauft werden und man selbst LIMS nicht herstelle. Utimaco weigerte sich seinerseits, seine Verbindungen zu Datafusion offenzulegen und berief sich auf Geschäftsgeheimnisse. Beide vermieden es, auf die Enthüllungen der Menschenrechtsorganisation einzugehen.

Unklar bleibt, welche Ausfuhrgenehmigungen für den Export von LIMS durch Utimaco beantragt oder erteilt wurden. Das Bundesamt für Wirtschaft und Ausfuhrkontrolle äußerte sich nicht zu dem Fall. Die deutsche Regierung lehnte es ebenfalls ab, Auskunft über Ausfuhrgenehmigungen zu geben.

Amnesty hält fest, dass der Handel mit Überwachungstechnologien in Deutschland, der EU und weltweit weiterhin unzureichend kontrolliert ist.

Überwachung als politische Waffe

Pakistan gilt seit langem als Land mit massiver Internetüberwachung und Informationskontrolle. Laut der Menschenrechtsorganisation hat sich die politische Lage im Land, in dem Meinungsfreiheit stark eingeschränkt, Oppositionelle willkürlich verhaftet und verschleppt werden, mit dem ungebremsten Export von Überwachungstechnologien weiter verschärft.

Seit dem Sturz des ehemaligen Premierministers Imran Khan im Jahr 2022 sind Oppositionelle und Aktivist*innen von Massenverhaftungen betroffen. Am Obersten Gerichtshof in Islamabad wird aktuell der Fall von Khans Frau Bushra Bibi verhandelt, nachdem private Telefongespräche von ihr online geleakt worden waren.

Lokale Mobilfunk- und Internetabschaltungen sind besonders häufig in den Provinzen Belutschistan und Khyber Pakhtunkhwa. In lokalen Bezirken ist das Internet teilweise über Jahre gesperrt. Aktivist*innen in beiden Provinzen berichten, dass diese Abschaltungen oft dazu genutzt werden, Proteste und politische Kundgebungen zu stören und Verschleppungen zu verdecken. Das Militär weist diese Vorwürfe zurück.

Die einjährige Untersuchung hat Amnesty in Zusammenarbeit mit Paper Trail Media, DER STANDARD, Follow the Money, The Globe and Mail, Justice For Myanmar, InterSecLab und dem Tor Project durchgeführt. Die Ergebnisse beruhen einerseits auf öffentlich zugänglichen Handelsdaten internationaler Unternehmen und andererseits auf einem 600 GB großen Datenleak des chinesischen Unternehmens Geedge Networks.

Timur Vorkul ist seit September 2025 Volontär bei netzpolitik.org. Er hat Sozialwissenschaften und Kulturanthropologie studiert und zuletzt für den MDR gearbeitet. Neben seinem Volontariat macht er Beiträge für den Fernsehsender KiKA. Er interessiert sich für staatliche Überwachung, Migrationsregime und Ungleichheit. Kontakt: E-Mail (OpenPGP). Dieser Beitrag ist eine Übernahme von netzpolitik, gemäss Lizenz Creative Commons BY-NC-SA 4.0.

Über Timur Vorkul - netzpolitik:

Unter der Kennung "Gastautor:innen" fassen wir die unterschiedlichsten Beiträge externer Quellen zusammen, die wir dankbar im Beueler-Extradienst (wieder-)veröffentlichen dürfen. Die Autor*innen, Quellen und ggf. Lizenzen sind, soweit bekannt, jeweils im Beitrag vermerkt und/oder verlinkt.

Pakistan überwacht Bevölkerung – Beueler-Extradienst

🌘 德國字串的難題:資料庫應如何選擇最佳編碼
➤ 擺脫預設編碼迷思,擁抱彈性與效能
https://www.polarsignals.com/blog/posts/2025/08/26/das-problem-mit-german-strings
本文探討了在資料庫系統中,Apache Arrow 的 StringView 編碼的優勢與劣勢,並以 Polar Signals 的實際案例說明,低基數(low-cardinality)字串欄位配合字典編碼(dictionary encoding)能在記憶體使用上大幅優化。作者主張,資料庫系統應能根據資料特性和工作負載動態選擇最適合的編碼方式,而非預設單一最佳方案。
+ 寫得太好了!完全點出我們在處理大量字串資料時遇到的瓶頸,尤其是在記憶體限制嚴苛的環境下。
+ Polar Signals 的案例很有啟發性,字典編碼確實是低基數字串的一大福音。期待資料庫能進一步支援動態編碼選擇。
#資料庫 #字串處理 #資料編碼 #Apache Arrow #Datafusion
Das Problem mit German Strings

And why I don't want my database to choose the best encoding for me (yet)

Discover the Performance Engineer in you. | Polar Signals