Khái niệm và cách tạo file Robots.txt cho website

posted in: Kiến thức SEO | 0

Seo đòi hỏi bạn cần có nhiều kiến thức và kĩ năng. Bạn cần bỏ ra nhiều thời gian để tìm hiểu những kiến thức, thủ thuật trong Seo để từ đó có những định hướng Seo đúng cách, an toàn và hiệu quả. Trong bài viết này chúng tôi muốn đề cập tới độc giả quan tâm một trong những kiến thức rất cơ bản trong Seo mà bất cứ Seoer nào mới vào nghề đều cần biết đó chính là khái niệm và cách tạo file Robots.txt cho website. Không mất nhiều thời gian nữa, chúng ta hãy cùng đi ngay vào tìm hiểu file tiện ích và cơ bản này của Seo nhé!

khai-niem-va-cach-tao-file-robots-txt-cho-website-2

File Robots.txt là gì?

- Thực chất file Robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép Bot đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ?

khai-niem-va-cach-tao-file-robots-txt-cho-website-4

- Tại sao phải tạo ra file robots.txt? Sở dĩ cần có file robots vì với một số khu vực cấm kị như quyền quản trị admin chúng ta không muốn cho bọ google truy cập vào để làm tăng tính an toàn bảo mật cho web. Do vậy mà cấu hình file robots.txt rất quan trọng trong SEO, nó giúp bạn điều hướng Google Boot theo ý muốn.

Tạo Robots.txt bằng cách nào?

Rất đơn giản, bạn chỉ cần tạo 1 file tên Robots với phần mở rộng txt mà bất cứ trình soạn thảo nào cũng có thể làm được. Vậy chúng ta sẽ có file đầy đủ là Robots.txt.

Robots.txt được đặt ở đâu?

Thư mục chứa Robots.txt là thư mục gốc chứa mã nguồn website của bạn.

File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… Ví dụ như: http://dichvuthuemaychu.com/robots.txt

Tạo file Robots.txt như thế nào?

- Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt

- Ví dụ file robots.txt của tôi có dạng như sau:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: https://dichvuthuemaychu.com/sitemap.xml

Trong đó:

- User-agent: User-agent của robot mà bạn cần chặn hoặc cấp quyền truy cập, sử dụng * cho tất cả robot.

- Disallow: Không cho phép crawler truy cập một nội dung.

- Allow: Cho phép crawler truy cập một nội dung.

- Sitemap: Thông báo cho máy tìm kiếm biết XML Sitemap của trang web.

Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.

khai-niem-va-cach-tao-file-robots-txt-cho-website-1
Click vào hình ảnh để xem rõ nét hơn

Việc thiết lập nên file robots là rất quan trọng và cần thiết. Do vậy bạn nên thiết lập chúng  ngay từ ban đầu để điều hướng Google một cách tốt hơn.

Hi vọng với những kiến thức chúng tôi chia sẻ thực sự hữu ích đối với bạn. Hãy chia sẻ bài viết nếu bạn thấy chúng thực sự hữu ích nhé!

Bình luận