Cấu hình file robots.txt cho website WordPress

Cấu hình file robots.txt giúp bạn kiểm soát cách các công cụ tìm kiếm (như Google, Bing, Yahoo) truy cập vào nội dung trang web của bạn. Đây là cách tạo và cấu hình file robots.txt tối ưu cho một website WordPress.

Cấu hình file robots.txt cho website WordPress

Vị trí và cách tạo file robots.txt

• File robots.txt cần được đặt trong thư mục gốc của website, thường là nơi chứa các file như wp-config.php và .htaccess.
• Nếu file chưa tồn tại, bạn có thể tạo một file mới:
  • Tạo file robots.txt bằng trình soạn thảo văn bản (như Notepad hoặc Visual Studio Code).
  • Lưu file dưới dạng robots.txt và tải nó lên thư mục gốc của website bằng FTP hoặc trình quản lý file.

Cấu trúc cơ bản của file robots.txt

Một file robots.txt cơ bản có thể bao gồm:

Ý nghĩa:

• User-agent: *: Áp dụng cho tất cả các bot/công cụ tìm kiếm.
• Disallow: /wp-admin/: Ngăn không cho bot truy cập thư mục /wp-admin/.
• Allow: /wp-admin/admin-ajax.php: Cho phép bot truy cập file admin-ajax.php (cần thiết để Ajax hoạt động).
• Sitemap: https://example.com/sitemap.xml: Chỉ định URL của sitemap (rất quan trọng để hỗ trợ lập chỉ mục).

Cấu hình nâng cao cho WordPress

Nếu bạn muốn chi tiết hơn, file robots.txt có thể được cấu hình như sau:

Lưu ý:

• Disallow: /search: Ngăn công cụ tìm kiếm lập chỉ mục kết quả tìm kiếm trên trang.
• Disallow: /?s=: Ngăn các URL tìm kiếm với tham số ?s= xuất hiện trên Google.
• Disallow: /wp-content/plugins/ và /wp-content/themes/: Ngăn công cụ tìm kiếm truy cập vào plugin và theme, giúp bảo mật hơn.

Tối ưu hóa file robots.txt theo mục đích

SEO-Friendly Configuration

Chặn bot cụ thể

Nếu bạn muốn chặn các bot cụ thể, sử dụng:

Cách kiểm tra file robots.txt

Kiểm tra nội dung:

• Truy cập https://example.com/robots.txt trên trình duyệt.
• Đảm bảo file được hiển thị chính xác.

Dùng công cụ kiểm tra:

• Google Search Console: Kiểm tra tệp robots.txt trong phần Cài đặt.
• Công cụ SEO như Ahrefs hoặc Screaming Frog.

Xác minh trạng thái với Google:

• Đăng nhập vào Google Search Console.
• Xem các vấn đề liên quan đến robots.txt trong phần Crawl hoặc Cài đặt.

Khi sử dụng plugin SEO

Các plugin như Yoast SEO hoặc Rank Math có thể quản lý file robots.txt trực tiếp:

Với Yoast SEO:

• Truy cập SEO → Công cụ → Trình chỉnh sửa tệp.
• Sửa trực tiếp file robots.txt tại đây.

Với Rank Math:

• Truy cập Rank Math → Cài đặt Chung → Robots.txt.
• Thêm hoặc chỉnh sửa nội dung tệp.

Xung đột với Plugin SEO

• Một số plugin SEO (như Yoast SEO, Rank Math, All in One SEO) có thể ghi đè hoặc điều chỉnh nội dung của robots.txt.
• Nếu plugin đang quản lý robots.txt, trạng thái có thể không được xác định nếu cấu hình không rõ ràng hoặc thiếu nội dung cần thiết.

Cách khắc phục:

1. Vào phần cài đặt của plugin SEO bạn đang sử dụng:
   • Yoast SEO: SEO → Công cụ → Trình chỉnh sửa tệp.
   • Rank Math: Rank Math → Cài đặt Chung → Robots.txt.
   • All in One SEO: Tính năng → Robots.txt.
2. Kiểm tra nội dung file robots.txt và chỉnh sửa nếu cần.

Lưu ý quan trọng

• Đừng chặn Googlebot: Đảm bảo các file cần thiết (như CSS, JS) không bị chặn.
• Cung cấp sitemap: Đảm bảo đường dẫn Sitemap: luôn chính xác.
• Kiểm tra file định kỳ: Nếu có thay đổi về cấu trúc trang, hãy cập nhật file robots.txt.

Với các bước này, bạn có thể cấu hình file robots.txt tối ưu và an toàn cho website WordPress.

Theo dỗi tên trên Fanpage và Youtube của mình nhé.

Chúc bạn thành công.