🌘 不使用正規化的Transformer - 動態Tanh - DyT
➤ 動態Tanh：不使用正規化的Transformer的新選擇
✤ https://jiachenzhu.github.io/DyT/
這項研究展示了不使用正規化的Transformer可以透過一個非常簡單的技術達到與甚至超越正規化模型相同或更好的表現。他們使用了一種名為動態Tanh（DyT）的元素操作作為正規化層的替代，證實Transformer可以在多個領域中匹敵或超越正規化對應的模型性能。此研究挑戰了正規化層在現代神經網絡中不可或缺的傳統理解，並提供了對其在深度網絡中角色的新洞察。
+ 這項研究提供了一種新的思路，對神經網絡正規化的必要性提出了有趣的挑戰。
+ 研究中介紹的動態Tanh操作似乎為不使用正規化的Transformer帶來了更簡單而有效的解決方案。
#機器學習 #神經網絡 #正規化

🌘 反對去正規化的理由 - 資料神話
➤ 揭開資料建模、正規化等「常識」的真相
✤ https://datademythed.com/posts/the-case-against-denormalization/
本文揭開了「去正規化」的問題，指出在為了簡化和提高效能而去正規化的做法，實際上會導致錯誤的答案，並且需要更多的程式碼來補償。文章強調，修正設計問題的成本在長遠來看更低，需要更加系統化地評估設計妥協的成本，以及實施的影響。最後，作者呼籲需要更加重視資料建模的重要性，並期望資料建模者能夠提供正確的資料模型。
+ 這篇文章對於資料建模的重要性提出了很好的觀點，讓我對於去正規化的做法有了更深入的了解。
+ 作為一個資料建模者，我非常認同這篇文章的觀點，正確的資料模型對於系統的重要性不可忽視。
#資料建模 #軟體 #系統架構 #正規化 #資料機密 #資料完整性 #資料安全 #審計 #主鍵 #外鍵 #Oracle #PostgreSQL #SQL標準 #WebRTC