👉 https://xn--jgy.tw/Blockchain/archive-page-for-writing-nft/
透過 NFT Protal 出版 Writing NFT 時,我發現它的網頁爬蟲功能有一點點的不完美。
- 它有自己的一套機制去抓出網頁中的「文章內容」,這能有效降低檔案容量減少開銷,但機制並非100%適合所有網頁版型,而且就...不那麼美
- 外部連結資源並未上傳至 IPFS、Arweave ,這些資源從原始位置刪除掉就沒有了
- 外部連結的站台若有 CORS 、CSP 設定,或者圖片站台有 Hotlink Protection 功能,這些資源將無法被存取
- 在頁面容量較大時會發生爬蟲失敗的狀況
這篇文章會說明如何自行爬蟲下來完整的網頁 html 存檔,再以此來制作 Writing NFT。 #Blog