ĐịNh nghĩa Spidering Web và trình thu thập thông tin Web

Nhện là các chương trình (hoặc các tập lệnh tự động) "thu thập thông tin" thông qua Web để tìm kiếm dữ liệu. Nhện truy cập thông qua URL trang web và có thể kéo dữ liệu từ các trang web như địa chỉ email. Nhện cũng được sử dụng để cung cấp thông tin về các trang web tìm kiếm cho các công cụ tìm kiếm.

Nhện, cũng được gọi là 'trình thu thập dữ liệu web' tìm kiếm Web và không phải tất cả đều thân thiện với ý định của họ.

Người gửi spam Trang web Nhện để Thu thập Thông tin

Google, Yahoo!

và các công cụ tìm kiếm khác không phải là những người duy nhất quan tâm đến việc thu thập dữ liệu các trang web - như vậy cũng là những kẻ lừa đảo và người gửi spam.

Nhện và các công cụ tự động khác được sử dụng bởi những người gửi thư rác để tìm địa chỉ email (trên internet, thông tin này thường được gọi là 'thu hoạch') trên các trang web và sau đó sử dụng chúng để tạo danh sách spam.

Nhện cũng là công cụ được sử dụng bởi các công cụ tìm kiếm để tìm hiểu thêm thông tin về trang web của bạn nhưng không được kiểm soát, một trang web mà không có hướng dẫn (hoặc, 'quyền') về cách thu thập dữ liệu trang web của bạn có thể xuất hiện chính rủi ro an ninh thông tin. Nhện đi du lịch theo các liên kết và họ rất giỏi tìm kiếm liên kết đến các cơ sở dữ liệu, các tệp chương trình và các thông tin khác mà bạn không muốn họ truy cập.

Các quản trị web có thể xem các bản ghi để xem những nhện và robot nào đã truy cập trang web của họ. Thông tin này giúp các quản trị web biết ai đang lập chỉ mục trang web của họ và tần suất.

Thông tin này rất hữu ích vì nó cho phép quản trị viên web tinh chỉnh SEO và cập nhật robot. txt để cấm một số robot nhất định thu thập dữ liệu trang web của họ trong tương lai.

Lời khuyên về Bảo vệ Website của Bạn Từ Robot không mong muốn của Crawlers

Có một cách khá đơn giản để giữ các trình thu thập thông tin không mong muốn ra khỏi trang web của bạn. Ngay cả khi bạn không quan tâm đến nhện độc hại đang thu thập thông tin trang web của bạn (địa chỉ email bị làm mờ sẽ không bảo vệ bạn khỏi hầu hết trình thu thập thông tin), bạn vẫn cần phải cung cấp công cụ tìm kiếm với các hướng dẫn quan trọng.

Tất cả các trang web phải có một tệp nằm trong thư mục gốc được gọi là robot. txt file. Tệp này cho phép bạn hướng dẫn trình thu thập dữ liệu web nơi bạn muốn họ xem các trang chỉ mục (trừ khi được nêu khác đi trong một siêu dữ liệu của một trang cụ thể để không được lập chỉ mục) nếu chúng là một công cụ tìm kiếm.

Cũng như bạn có thể nói với trình thu thập dữ liệu mong muốn nơi bạn muốn họ duyệt, bạn cũng có thể cho họ biết nơi họ có thể không đi và thậm chí chặn trình thu thập thông tin cụ thể khỏi toàn bộ trang web của bạn.

Điều quan trọng cần ghi nhớ là có thể gộp lại các robot. txt sẽ có giá trị to lớn cho các công cụ tìm kiếm và thậm chí có thể là một yếu tố quan trọng trong việc cải thiện hiệu suất trang web của bạn, nhưng một số robot thu thập thông tin vẫn sẽ bỏ qua các hướng dẫn của bạn. Vì lý do này, điều quan trọng là phải luôn cập nhật tất cả phần mềm, plugin và ứng dụng của bạn.

Các bài báo và thông tin có liên quan

Do sự phổ biến của việc thu thập thông tin được sử dụng cho các mục đích phi pháp (spam), pháp luật đã được thông qua vào năm 2003 để làm cho các hành vi nhất định là bất hợp pháp. Các luật bảo vệ người tiêu dùng này thuộc điều luật CAN-SPAM năm 2003.

Điều quan trọng là bạn dành thời gian để đọc lên Đạo luật CAN-SPAM nếu doanh nghiệp của bạn tham gia vào việc thu thập thông tin hoặc thu thập thông tin đại chúng.

Bạn có thể tìm hiểu thêm về luật chống thư rác và cách xử lý người gửi thư rác, Quy tắc Đạo luật SPAM cho các tổ chức phi lợi nhuận

• 5 Quy tắc CAN-SPAM Các chủ doanh nghiệp nhỏ cần hiểu