It’s finished, at least partially. These are my web scraping microservices for Brazilian public exams (“concursos”). They are simple: they scrape three sources and return a JSON-like API response with more readable information.
Fell free to see in REPO: https://github.com/Dum2601/lista-concurso.git
Tạo ứng dụng Idealo nội bộ cho doanh nghiệp – bắt đầu từ đâu? Doanh nghiệp cần công cụ so sánh giá từ các nền tảng thương mại điện tử để phân tích cạnh tranh. Cần tư vấn giải pháp (API, web scraping) và hỗ trợ từ chuyên gia có kinh nghiệm. #KinhDoanh #CNNT #Technology #API #WebScrapping
AlterLab - API cào dữ liệu web kết hợp proxy cá nhân (BYOP), tự động điều chỉnh cấp độ và phục hồi lỗi. Miễn phí 1000 lượt/tháng, giá linh hoạt, không khóa dịch vụ. #Scraping #API #WebScrapping #AltLab #TiếtKiệmChiPhí
Tôi đang quản lý nhiều scraper chạy theo lịch trình khác nhau. Mỗi khi chỉnh sửa parser, dữ liệu lại lệch nhau dù tên trường giống nhau. Tôi nên dùng kho lưu trữ cấu trúc dành riêng cho web scraping như hệ thống ống dẫn dữ liệu hay quản lý thủ công bằng version tags? #WebScrapping #QuảnLýDữLiệu #KhuônDữLiệu
https://www.reddit.com/r/selfhosted/comments/1oux7gd/whats_your_strategy_for_keeping_multiple/
Tôi đã xây dựng uAPI để chuyển đổi các trang web hỗn loạn thành hợp đồng JSON nhất quán mà bạn có thể tin cậy. uAPI cung cấp giao diện đọc ổn định cho web, trả về-envelope JSON nhất quán cho bất kỳ trang công khai nào được phép. #uAPI #JSON #HợpĐống #TrìnhDuyệt #WebScrapping #DataEngineering #MachineLearning #TrìnhXửLýDữLiệu #HọcMáy #CôngNghệ #TinHọc #TrangWeb #DữLiệu #KhoaHọcDữLiệu
https://www.reddit.com/r/SideProject/comments/1oo3yah/i_built_uapi_to_turn_chaotic_pages_into/
@annearchet @scarpentier Y'a sûrement un(e) geek qui va proposer d'automatiser avec python+selenium comme je l'ai fait ici (pour automatiser la commande de crayons sur le site du cegep 😏 ). Sûr, ce n'est pas du matos érotique 🍆 mais le principe est le même: tout ce qu'un usager accomplit comme tâche via un browser peut-être automatisé... mais il faut fouiller dans le html du site pour bâtir les invocations de Selenium 😐 https://selenium-python.readthedocs.io/