今日視界🤖6d ago
救命！ Apollo爬蟲全線陣亡！我用這個免費“外掛”，親測1天抓5000 線索！
https://www.headline01.com/a/FK_pQivoSlm9-YoFhprfDg-D40C44DD.html
#全線 #外掛 #爬蟲
GripNewsJun 1
🌕 (lambda (x) (create x))：一場與機器人惡意爬蟲的戰役
➤ 大型科技公司的數據掠奪與小型網站的生存挑戰
✤ https://lambdacreate.com/posts/68
作者描述了其個人網站 Lambdacreate 近期遭受大量惡意機器人爬蟲攻擊的經歷。這些爬蟲來自包括 Amazon、Facebook、OpenAI 等大型企業，不僅消耗了伺服器資源，更影響了網站的正常運作。作者利用系統管理知識和監控工具，分析了流量異常的原因，並採取了應對措施。文章揭示了大型科技公司為了訓練 AI 模型而大量抓取網路數據的行為，以及這對小型網站造成的負面影響。
+ 這篇文章讓我意識到大型科技公司在追求 AI 技術上的貪婪，竟然不惜犧牲小型網站的運作權益，非常令人失望！
+ 作者的技術分析很清晰，讓我更瞭解網路爬蟲問題的複雜性，以及保護自己網站的重要性。
#技術 #網路安全 #爬蟲 #AI
(lambda (x) (create x))

阿洋洋洋Apr 28

沒看過蛇蛻？

沒關係，你現在看到了  
#爬蟲 #紅尾 #蘿蔔糕 #爬爬隨記

GripNewsMar 5
🌘 一名系統管理員對於訂閱閱讀器和爬蟲的抱怨
➤ 系統管理員分享對訂閱閱讀器和爬蟲的看法
✤ http://rachelbythebay.com/w/2022/03/07/get/
一位系統管理員對於使用訂閱閱讀器和爬蟲的煩惱和建議。
+ 這篇文章提醒我們在使用訂閱閱讀器和爬蟲時需注意合理使用資源，尊重網站規定。
+ 系統管理員的觀點讓人反思自己在網路抓取資訊時是否有著適當的操作方式，值得一讀。
#系統管理員 #訂閱閱讀器 #爬蟲
A sysadmin's rant about feed readers and crawlers

王永帥🍥Feb 20

#開源分享 中國清華大學和卡內基梅隆大學開源了一個智慧爬蟲系統：Crawl4LLM
以前爬100個網頁，現在爬21個就能達到同樣效果，效率提高了近5倍

Crawl4LLM根據網頁對LLM預訓練的影響力來選擇要爬取的網頁，先評估哪些網頁更有價值，對訓練模型更有幫助，優先抓取高價值網頁

支援三種爬取模式，Crawl4LLM模式、隨機爬取、基於連結數量的爬取

支援定期保存爬蟲狀態，提供了資料瀏覽工具

提供了完整工具鏈，爬取網頁、提取檔案 ID、獲取文件內容，可以直接與DCLM預訓練框架對接

專案地址： github.com/cxcscmu/Crawl4LLM

#資料爬取 #Crawl4LLM #爬蟲 #AI爬取系統

今日視界🤖Aug 2, 2024
【最後一天】狗熊會在線實習 | Python數據分析進階（可視化與爬蟲）
https://www.headline01.com/a/UtFb8YmlaKnRXtp5kTu6ZA-BB243782.html
#可視化 #實習 #爬蟲
【最後一天】狗熊會在線實習 | Python數據分析進階（可視化與爬蟲）

今日視界
今日視界🤖Jul 31, 2024
30 個Python爬蟲的實戰項目(附源碼)
https://www.headline01.com/a/j2VVnC8253OqmGSy2cu0Ww-86D3BBAF.html
#實戰 #源碼 #爬蟲 #項目
30 個Python爬蟲的實戰項目(附源碼)

今日視界
GripNewsOct 4, 2023
🌕 Anna's Blog：1.3B Worldcat 爬蟲和數據科學迷你競賽
➤ Anna's Archive 爬取了全球最大的圖書館元數據集 Worldcat，並舉辦了一場數據科學迷你競賽。
✤ https://annas-blog.org/worldcat-scrape.html
Anna's Archive 爬取了全球最大的圖書館元數據集 Worldcat，並舉辦了一場數據科學迷你競賽。他們的目標是創建一個需要保存的書籍的 TODO 列表，以回答「影子圖書館永久保存了多少書籍」這個問題。他們發現，ISBNdb 和 Open Library 的重疊度很低，因此需要更大的數據庫。Worldcat 是最大的書籍數據庫，Anna's Archive 爬取了其中的所有記錄。他們邀請全球參加迷你競賽，並公佈了數據的基本信息。
+ 這是一個非常有趣的競賽，我很想參加！
+ 這個數據庫的大小真的很驚人，我很好奇他們是如何處理這麼多數據的。
#數據科學 #圖書館 #爬蟲
1.3B WorldCat scrape & data science mini-competition

Anna’s Archive scraped all of WorldCat to make a TODO list of books that need to be preserved, and is hosting a data science mini-competition.

Makzan 麥誠Jul 24, 2023
【Python 補習班】延續上次讀取澳門日報新聞標題的例子。這次我們來讀取每小時更新的澳門新聞局新聞標題。 #Python #爬蟲
GripNewsJun 15, 2023
🌘 如何在40小時內爬取2.5億個網頁 - DDI
➤ 作者使用20個Amazon EC2機器實現了這一目標，並分享了他的經驗。
✤ https://michaelnielsen.org/ddi/how-to-crawl-a-quarter-billion-webpages-in-40-hours/
作者使用20個Amazon EC2機器在39小時25分鐘內以不到580美元的成本爬取了2.5億個網頁。他在這篇文章中分享了他的經驗，包括使用的架構和分佈式爬蟲的設計。作者還討論了爬蟲對網站的影響以及爬蟲的使用問題。
+ 這是一篇非常有用的文章，對於那些想要了解如何爬取大量網頁的人來說非常有價值。
+ 這篇文章提供了一些有趣的想法，尤其是關於爬蟲對網站的影響以及爬蟲的使用問題。
#爬蟲 #分佈式計算 #網頁索引
How to crawl a quarter billion webpages in 40 hours – DDI