Làm sao để người dùng có thể biết đến website của bạn và truy cập vào đúng địa chỉ giữa một rừng website trên internet? Quan trọng nhất đó là website phải đạt được thứ hạng cao, điều này đòi hỏi bạn cần phải tối ưu SEO tốt. Một trong những thủ thuật Technical SEO tốt chính là tối ưu hóa file Robots.txt, file này sẽ là yếu tố quyết định đến thứ hạng tìm kiếm của website. Bilgore sẽ giải thích rõ hơn về cách tối ưu tệp tin này để nâng cao thứ hạng tìm kiếm trên Google hiệu quả.
Tìm hiểu file Robot.txt là gì?
File robot.txt là một tệp trên trang web của bạn cho phép bạn từ chối các công cụ tìm kiếm truy cập vào các tệp và thư mục nhất định. Bạn có thể sử dụng nó để chặn các bot của Google (và các công cụ tìm kiếm khác) thu thập dữ liệu các trang nhất định trên trang web của bạn.
Vậy làm thế nào để từ chối truy cập vào công cụ tìm kiếm thực sự cải thiện SEO của bạn?
Nó hoạt động như thế này: Càng nhiều trang trên trang web của bạn, Google càng phải thu thập nhiều trang. Thu thập ngân sách rất quan trọng vì nó xác định Google sẽ nhanh chóng nhận được các thay đổi của trang web của bạn như thế nào – và do đó bạn được xếp hạng nhanh như thế nào. Nó đặc biệt có thể giúp với SEO trong thương mại điện tử ! Chỉ cần cẩn thận để làm điều này, vì nó có thể gây hại cho SEO của bạn nếu làm kém. Để biết thêm thông tin về cách không lập chỉ mục đúng trang, hãy xem hướng dẫn này của DeepCrawl .
Nếu bạn đang ở trong một thị trường cạnh tranh cao với một trang web lớn, có lẽ điều này dư thừa với bạn. Tuy nhiên, nếu bạn chỉ bắt đầu blog đầu tiên của mình, xây dựng liên kết đến nội dung của bạn và tạo nhiều bài viết chất lượng cao là ưu tiên lớn hơn.
Cách tối ưu hóa file Robots.txt để nâng cao thứ hạng tìm kiếm website
Bây giờ, hãy thảo luận về cách thực sự truy cập (hoặc tạo) và tối ưu hóa file Robots.txt của Website.
Robots.txt thường nằm trong thư mục gốc của trang web của bạn. Bạn sẽ cần kết nối với trang web của mình bằng ứng dụng khách FTP hoặc bằng cách sử dụng trình quản lý tệp của cPanel để xem nó. Nó chỉ là một tệp văn bản thông thường mà sau đó bạn có thể mở bằng Notepad.
Nếu bạn không có tệp robot.txt trong thư mục gốc của trang web, thì bạn có thể tạo một tệp. Tất cả những gì bạn cần làm là tạo một tệp văn bản mới trên máy tính của bạn và lưu nó dưới dạng tệp robots.txt. Sau đó, chỉ cần tải nó lên thư mục gốc của trang web của bạn.
Tệp Robots.txt sẽ trông như thế nào trong thứ hạng tìm kiếm trên website
Định dạng cho tệp robot.txt thực sự đơn giản. Dòng đầu tiên thường đặt tên cho một tác nhân người dùng. Tác nhân người dùng là tên của bot tìm kiếm mà bạn đang cố gắng liên lạc. Ví dụ, Googlebot hoặc Bingbot. Bạn có thể sử dụng dấu hoa thị *để hướng dẫn tất cả các bot.
Dòng tiếp theo hướng dẫn Allow hoặc Disallow cho phép các công cụ tìm kiếm, để họ biết phần nào bạn muốn họ lập chỉ mục và phần nào bạn không muốn được lập chỉ mục.
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: https://bilgore.com/post-sitemap.xml
Sitemap: https://bilgore.com/page-sitemap.xml
Sitemap: https://bilgore.com/deals-sitemap.xml
Sitemap: https://bilgore.com/hosting-sitemap.xml
Lưu ý rằng nếu bạn đang sử dụng một plugin như Yoast hoặc All in One SEO , bạn có thể không cần thêm phần sơ đồ trang web, vì chúng tự động làm như vậy. Nếu thất bại, bạn có thể thêm nó bằng cách thủ công .
Sử dụng thẻ disallow hay noindex để kiểm tra thứ hạng tìm kiếm của website
Trong hướng dẫn quản trị trang web của Google, họ khuyên các quản trị viên web không sử dụng tệp robot.txt của họ để ẩn nội dung chất lượng thấp. Do đó, sử dụng tệp robot.txt của bạn để ngăn Google lập chỉ mục danh mục, ngày và các trang lưu trữ khác của bạn có thể không phải là một lựa chọn khôn ngoan. Hãy nhớ rằng, mục đích của robot.txt là hướng dẫn các bot làm gì với nội dung chúng thu thập trên trang web của bạn. Nó không ngăn họ thu thập dữ liệu trang web của bạn.
Ngoài ra, bạn không cần thêm trang đăng nhập WordPress, thư mục quản trị viên hoặc trang đăng ký vào robot.txt vì các trang đăng nhập và đăng ký có thẻ noindex được WordPress tự động thêm vào.
Tuy nhiên, tôi khuyên bạn không nên cho phép tệp readme.html trong tệp robot.txt của mình. Tập tin readme này có thể được sử dụng bởi ai đó đang cố gắng tìm ra phiên bản WordPress nào bạn đang sử dụng. Nếu đây là một người, họ có thể dễ dàng truy cập tệp bằng cách chỉ cần duyệt đến tệp. Ngoài ra, việc đặt thẻ không cho phép có thể chặn các cuộc tấn công độc hại.
Nói về điều này, bạn cũng có thể không cho phép thư mục plugin WordPress của mình để tăng cường bảo mật trang web của bạn chống lại bất kỳ ai đang tìm kiếm một plugin dễ bị tổn thương cụ thể để khai thác.
Disallow (Không cho phép)
Mỗi tác nhân người dùng cần có ít nhất 1 quy tắc Disallow hoặc Allow. Disallow là quy tắc không cho phép tác nhân người dùng truy cập thu thập dữ liệu. Nó nằm trong đường dẫn trang/thư mục được chỉ định.
Đường dẫn trong lệnh Disallow cần phải có tên trang đầy đủ như được hiển thị trong trình duyệt hoặc kết thúc với / nếu đó là đường dẫn thư mục. Ký tự / sẽ đại diện cho phạm vi toàn bộ nội dung trên website mà tác nhân người dùng được chỉ định không cho phép thu thập dữ liệu. Ký tự * sẽ đại diện cho một tiền tố, hậu tố hoặc toàn bộ chuỗi đường dẫn.
Noindex (Không đánh chỉ mục)
Thông thường, một trang web khi đã được disallow thì vẫn có thể bị Google lập chỉ mục. Một số trường hợp trang không nên lập chỉ mục: trang có nội dung trùng lặp để thử nghiệm. Hoặc các landing page, trang cảm ơn chỉ dành cho một số đối tượng cụ thể.
Bạn có thể ngăn trình thu thập dữ liệu lập chỉ mục cho trang/thư mục nào đó với lệnh Noindex. Đường dẫn trong lệnh Noindex cần phải có tên trang giống như địa chỉ hiển thị trên trình duyệt. Trong trường hợp đó là thư mục thì cần kết thúc bằng.
Làm thế nào để gửi tệp WordPress.txt tới đích Google hiệu quả?
Khi bạn đã cập nhật hoặc tạo tệp robot.txt. Bạn có thể gửi tệp đó cho Google bằng Google Search Console. Tuy nhiên, tôi khuyên bạn nên thử nghiệm nó trước. Bằng cách sử dụng công cụ kiểm tra robot.txt của Google.
Nếu bạn không thấy phiên bản bạn đã tạo ở đây. Bạn sẽ phải tải lại tệp robot.txt mà bạn đã tạo lên trang web WordPress của mình. Bạn có thể làm điều này bằng cách sử dụng Yoast SEO.
Kết luận
Bây giờ bạn đã biết cách tối ưu hóa file Robots.txt của Website để SEO tốt hơn chưa? Qua bài viết này, bạn đã biết được tầm quan trọng của robots.txt cho Website. Việc sở hữu một file robots.txt chuẩn sẽ giúp website của bạn. Và bạn search engine bots tương tác tốt hơn. Từ đó thông tin của site cũng sẽ được cập nhật chính xác. Và nó tăng khả năng tiếp cận người dùng nhiều hơn nữa.
Hãy nhớ cẩn thận khi thực hiện bất kỳ thay đổi lớn nào đối với trang web của bạn thông qua robot.txt. Mặc dù những thay đổi này có thể cải thiện lưu lượng tìm kiếm của bạn. Nhưng chúng cũng có thể gây hại nhiều hơn nếu bạn không cẩn thận. Và nếu bạn đang muốn học hỏi nhiều hơn. Bạn hãy xem các hướng dẫn tuyệt vời nhất về WordPress của chúng tôi !