Gần đây tôi đã sắp xếp lại quy trình tự động hóa của mình, phát hiện ra một vấn đề rất quan trọng:

Nhiều quy trình công việc trông không ổn định, thực ra vấn đề đều xuất phát từ tầng "lấy dữ liệu".
Cho dù là farming airdrop hay làm web scraping, bản chất là giống nhau:
Cùng một IP gửi yêu cầu nhiều lần, rất dễ bị nhận dạng, rate limit, hoặc thậm chí bị chặn hoàn toàn.
Trong airdrop, đó gọi là bị coi là sybil
Trong web scraping, đó là yêu cầu thất bại hoặc dữ liệu không đầy đủ
Bản chất của nó:
👉 bị hệ thống coi như từ cùng một nguồn
Sau đó tôi đã tách toàn bộ quy trình, tạo một phân tầng khá đơn giản:
Tầng nhiệm vụ
Dùng công cụ tự động hóa hoặc Agent để lên lịch
Tầng dữ liệu
Giao cho dịch vụ scraping chuyên dụng xử lý
Tầng IP
Toàn bộ phân phối động
Ở đây, tôi mecommend sản phẩm proxy BestProxy, hiện tại dùng cảm thấy khá ổn
Tầng dữ liệu tôi hiện tại cơ bản dùng XCrawl để xử lý, nó đã đóng gói sẵn một vài khả năng quan trọng:
Search: trả về trực tiếp kết quả tìm kiếm có cấu trúc
Map: có thể nhanh chóng liệt kê toàn bộ URL của trang web
Scrape: scrape trang và chuyển đổi thành nội dung sạch
Crawl: hỗ trợ crawl toàn trang đệ quy
Điều quan trọng là tầng dưới nó đã tích hợp:
Proxy dân cư + JS rendering + chính sách chống khóa
Không cần tự mình ghép những thứ này
Cách kết nối cũng khá đơn giản, tôi sử dụng trực tiếp trong OpenClaw:
Trước tiên đăng ký để lấy API Key
👉
Ném link tài liệu Skill của XCrawl cho OpenClaw
👉
Nó sẽ tự động tải các khả năng tương ứng
Sau đó bạn có thể gọi trực tiếp bằng ngôn ngữ tự nhiên, ví dụ:
Cho nó tìm kiếm, scrape trang, hoặc crawl toàn trang
Toàn bộ quá trình không cần viết code
Bây giờ quy trình công việc trở thành:
Agent phát động nhiệm vụ
→ OpenClaw điều phối
→ XCrawl xử lý scraping
→ Trả lại dữ liệu có cấu trúc
→ Tiếp tục xử lý sau đó
Không còn bị kẹt ở:
IP bị khóa hoặc không scrape được trang web bước này nữa
Hiệu quả thực sự rất rõ ràng:
Nhiều quy trình trước đó chạy không được, giờ đều có thể thực thi ổn định
Vì vậy nếu bạn đang làm điều tương tự:
Cho dù là farming airdrop, chạy đa tài khoản, hay chạy web scraping
Có thể xem qua trước:
👉 vấn đề có phải xuất phát từ tầng lấy dữ liệu này không
Nhiều lúc, bổ sung tầng này hiệu quả hơn việc bạn đổi model