大腦也能越練越年輕!運動如何重塑神經網絡
https://www.headline01.com/a/EpTgsg4eIMu2FFL9BPCCZg-BEA24C1C.html
#大腦 #年輕 #神經網絡
Adv. Photon. | 全光非線性深度神經網絡芯片:多線程處理開啟AI新紀元
https://www.headline01.com/a/E1iPTpINE8MgW8hJJv-4kA-3D1626C4.html
#深度 #神經網絡 #芯片
🌗 注釋的 Kolmogorov-Arnold 網絡 (KAN)
➤ 解構 Kolmogorov-Arnold 網絡的理論與實踐
https://alexzhang13.github.io/blog/2024/annotated-kan/
本文介紹了 Kolmogorov-Arnold 網絡 (KAN),作為多層感知器 (MLP) 的一種替代方案。KAN 透過重新配置 MLP 權重矩陣-向量乘法中的“乘法”運算為函數應用來參數化激活函數。儘管 KAN 的理論保證不如 MLP 完善,但它在人工智慧領域具有潛力。文章分為四部分:最小 KAN 模型架構、模型訓練、KAN 特定優化以及應用示例,並附有程式碼和詳細註釋。作者強調,KAN 的理論保證僅適用於特定形式的兩層模型,並探討了使用 B-spline 進行參數化的方法。
+ 這篇文章寫得非常清晰易懂,對於想要了解 KAN 的人來說是一個很好的起點。
+ 我一直對新的神經網絡架構很感興趣,KAN 看起來很有潛力,希望未來能看到更多相關研究。
#人工智慧 #機器學習 #神經網絡
Alex L. Zhang | The Annotated Kolmogorov-Arnold Network (KAN)

An annotated guide to the Kolmogorov-Arnold Network

Alex L. Zhang
🌗 透過神經網絡模擬世界
➤ 神經網絡如何將真實世界轉化為可探索的虛擬體驗
https://madebyoll.in/posts/world_emulation_via_dnn/
這篇文章描述了作者如何利用神經網絡,僅僅透過手機錄製的森林步道影片,創建一個可在網頁瀏覽器中體驗的虛擬世界。這個「神經世界」不同於傳統遊戲,它不需要預先編寫的程式碼或模型,而是由神經網絡根據影片內容即時生成圖像。作者詳細記錄了訓練過程中的挑戰與改進,最終展示了一個雖然解析度不高,但具有潛力的世界模擬技術,並探討了其未來發展的可能性,認為它可能成為一種新的創作媒介。
+ 哇,這太酷了!想像一下,以後可以用手機記錄的影片,直接生成可以自由探索的虛擬世界,太令人興奮了!
+ 雖然目前的畫面還不太精細,但這個概念真的很有潛力,感覺未來遊戲和虛擬實境的發展方向會很不一樣。
#人工智慧 #神經網絡 #虛擬世界 #技術發展
World Emulation via Neural Network

🌘 Thera: 具有神經熱場的無混疊任意比例超分辨率
➤ Thera: 高品質超分辨率技術的新突破
https://therasr.github.io/
Thera是第一種具有內置物理觀測模型的任意比例超分辨率方法,通過神經熱場進行超分辨率。其原理在於使用超網絡估計像素級別的局部神經熱場參數,確保正確的反混疊設計。
+ 神經熱場的應用真是為圖像處理帶來一個新的視野。
+ 超分辨率領域的創新技術不斷推陳出新,Thera的設計確實引人注目。
#神經網絡 #超分辨率 #圖像處理
Thera: Aliasing-Free Arbitrary-Scale Super-Resolution with Neural Heat Fields

Thera is a super-resolution approach that leverages neural heat fields for anti-aliased results.

🌘 不使用正規化的Transformer - 動態Tanh - DyT
➤ 動態Tanh:不使用正規化的Transformer的新選擇
https://jiachenzhu.github.io/DyT/
這項研究展示了不使用正規化的Transformer可以透過一個非常簡單的技術達到與甚至超越正規化模型相同或更好的表現。他們使用了一種名為動態Tanh(DyT)的元素操作作為正規化層的替代,證實Transformer可以在多個領域中匹敵或超越正規化對應的模型性能。此研究挑戰了正規化層在現代神經網絡中不可或缺的傳統理解,並提供了對其在深度網絡中角色的新洞察。
+ 這項研究提供了一種新的思路,對神經網絡正規化的必要性提出了有趣的挑戰。
+ 研究中介紹的動態Tanh操作似乎為不使用正規化的Transformer帶來了更簡單而有效的解決方案。
#機器學習 #神經網絡 #正規化
Transformers without Normalization - DynamicTanh - DyT

深海的通訊戰場:全球海底電纜危機 | DQ 地球圖輯隊

地球一瞬,世界各地正發生這些大小事。註:本文為單一事件快訊報導,非深度文章

DQ 地球圖輯隊
🌘 關於神經嵌入結構
➤ 對神經嵌入結構的一些洞察。
https://seanpedersen.github.io/posts/structure-of-neural-latent-space
一系列見解探討由深度神經網絡生成的嵌入(潛在空間)結構。包括流形假設、層次組織、線性假設、覆蓋假設、普遍性假設、對抗性易受攻擊性和神經坍塌等觀念。
+ 這篇文章幫助解釋了深度神經網絡中嵌入結構的重要性。
+ 總結得非常清晰,讓人對神經嵌入的理解更加深入。
#神經網絡
Structure of Neural Embeddings

Another place for thought infusion

🌘 神經光流法於平面與立體粒子影像測速技術的應用
➤ 介紹神經光流法在PIV中的創新應用
https://synthical.com/article/Article-at-Synthical-56a49fbb-6842-45bb-aac1-97cd23711f72
本文探討了神經光流法(NOF)在粒子影像測速(PIV)中的應用,指出與傳統光流技術相比,NOF提供了更高的準確度與穩定性。不同於其他方法依賴離散位移場,NOF採用了連續神經隱式表示來參數化物理速度場,從而提升了數據吸收效率並確保了一致的正則化。
+ 「神經光流法聽起來是一個很有前景的技術,尤其是對於提高測量準確度與數據處理效率方面,未來可能對流體力學研究帶來革命性改變。」
+ 「文章介紹了NOF的技術優勢,這樣的改進無疑能在各種粒子影像測速應用中提供更高的可靠性。」
#流體力學 #物理學 #神經網絡
Neural optical flow for planar and stereo PIV

Neural optical flow (NOF) offers improved accuracy and robustness over existing OF methods for particle image velocimetry (PIV). Unlike other OF techniques, which rely on discrete displacement fields, NOF parameterizes the physical velocity field using a continuous neural-implicit representation. This formulation enables efficient data assimilation and ensures consistent regularization across views for stereo PIV. The neural-implicit architecture provides significant data compression and supports a space-time formulation, facilitating the analysis of both steady and unsteady flows. NOF incorporates a differentiable, nonlinear image-warping operator that relates particle motion to intensity changes between frames. Discrepancies between the advected intensity field and observed images form the data loss, while soft constraints, such as Navier-Stokes residuals, enhance accuracy and enable direct pressure inference from PIV images. Additionally, mass continuity can be imposed as a hard constraint for both 2D and 3D flows. Implicit regularization is achieved by tailoring the network's expressivity to match a target flow's spectral characteristics. Results from synthetic planar and stereo PIV datasets, as well as experimental planar data, demonstrate NOF's effectiveness compared to state-of-the-art wavelet-based OF and CC methods. Additionally, we highlight its potential broader applicability to techniques like background-oriented schlieren, molecular tagging velocimetry, and other advanced measurement systems.

Synthical