Tập tin robots.txt của trang web

TL;DR / Tổng quan

Tập tin robots.txt kiểm soát cách các công cụ tìm kiếm thu thập dữ liệu trang web của bạn. Trên Nilead, bạn có thể dễ dàng cập nhật tập tin này thông qua bảng quản trị. Hãy cẩn trọng với dòng sitemap được tạo tự động — dòng này giúp công cụ tìm kiếm tìm thấy sơ đồ trang web và lập chỉ mục đúng các trang của bạn.

Điều kiện tiên quyết

• Quyền truy cập quản trị vào trang web Nilead của bạn

• Hiểu biết cơ bản về lập chỉ mục của công cụ tìm kiếm

• Tùy chọn: Làm quen với cú pháp robots.txt

Hướng dẫn thao tác

robots.txt là gì?

robots.txt là một tập tin văn bản nằm ở thư mục gốc trang web của bạn, hướng dẫn các web crawler (như Googlebot) những phần nào của trang mà họ có thể hoặc không thể truy cập.

Các trường hợp sử dụng phổ biến:

• Chặn truy cập vào các thư mục hoặc trang nhất định

• Ngăn nội dung trùng lặp bị lập chỉ mục

• Chỉ dẫn công cụ tìm kiếm tới sitemap của bạn

Cách chỉnh sửa robots.txt trên Nilead

Để truy cập và cập nhật tập tin robots:

1. Mở Trình đơn nhanh trong trang quản trị Nilead.

2. Tìm kiếm “Robots” và chọn công cụ quản lý Robots.txt.

3. Chỉnh sửa nội dung tập tin theo nhu cầu.

4. Nhấn Lưu để áp dụng thay đổi.

Ví dụ:

User-agent: * Disallow: /private/

Lưu ý quan trọng về dòng Sitemap

Nilead tự động thêm một dòng Sitemap: ở cuối tập tin robots.txt của bạn. Dòng này giúp các công cụ tìm kiếm biết vị trí của sitemap.

Ví dụ:

Sitemap: https://yourdomain.com/sitemap.xml

🚫 Không xóa hoặc chỉnh sửa dòng này nếu bạn không thực sự chắc chắn. Việc chỉnh sửa sai có thể làm gián đoạn quá trình lập chỉ mục cho toàn bộ trang web.

Câu hỏi thường gặp

1. Tôi có thể chặn một số trang nhất định khỏi việc lập chỉ mục không?
Có. Sử dụng Disallow: kèm đường dẫn. Ví dụ: Disallow: /thank-you.

2. Điều gì xảy ra nếu tôi xóa dòng Sitemap?
Các công cụ tìm kiếm có thể không tìm thấy sitemap của bạn tự động, điều này có thể ảnh hưởng xấu đến việc lập chỉ mục và hiệu suất SEO của trang.

3. Tôi có thể chỉnh sửa robots.txt cho các bot cụ thể như Bingbot không?
Có. Bạn có thể đặt quy tắc riêng cho từng bot bằng các mục User-agent:

4. Việc thay đổi robots.txt có ảnh hưởng đến các trang đã được lập chỉ mục không?
Có. Nếu bạn chặn các trang đã lập chỉ mục, các công cụ tìm kiếm sẽ dần loại bỏ chúng khỏi kết quả tìm kiếm.

5. Tôi có thể xem trước tập tin trước khi lưu không?
Hiện tại, không có chức năng xem trước trực tiếp, nhưng các thay đổi sẽ có hiệu lực ngay và bạn có thể hoàn tác thủ công nếu cần.