Hướng dẫn tố ưu file robots.txt cho blogspot

Xin chào các bạn . Hôm nay Thanh Tuấn xin hướng dẫn cho các bạn các tố hưu hóa file robots.txt cho blogspot . Trước khi hướng dẫn chúng ta cùng tìm hiểu sơ qua về robots.txt nhé .

Tìm hiểu file robots.txt là gì?

Có rất nhiều bạn không biết đến file robots.txt này có chức năng gì thế nên hôm nay Thanh Tuấn Blog xen nói qua file robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Để các bộ máy tìm kiếm quản lý index nội dung của website bạn.

Cấu trúc của robots.txt của blogspot.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
User-agent: Cho những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
Allow: / Dòng code này cho phép công cụ tìm kiếm index đọc tất cả nội dung
Disallow: /search: Dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những file này.

Hướng dẫn tạo và sử dụng file robots.txt cho blogspot

Bước 1: Chúng ta đăng nhập vào blogspot
Bước 2:Sau đó chúng ta kéo chuột xuống dưới bên tay trái vào "Cài đặt" như trong hình đầu tiên.
Bước 3: Ở trong menu " Cài đặt " ta chọn vào phần " Tùy chọn tìm kiếm".
Bước 4: Trong phần " Tùy chọn tìm kiếm".ta nhìn thấy phần "Trình thu thập thông tin và lập chỉ mục" ở hình thứ 2.
Bước 5: Sau đó ta chọn "Robots.txt tùy chỉnh" rồi  "Bật nội dung robots.txt tùy chỉnh"
Bước 6: Copy đoạn code phía dưới bài viết chỉnh lại sao cho phù hợp và tiến hành "Save" lại.

Hình 1

Hình 2

Mình xin gửi tới các bạn code robots.txt chuẩn cho blogspot

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://blogcuaban/feeds/posts/default?orderby=UPDATED

Còn tùy vào blog bạn chặn trang hoặc thưc mục các bạn tùy chỉnh nhé.
Gợi ý cho các bạn.
Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /search
Chặn 1 trang lưu trữ
Disallow: *archive.html
Cũng không khó lắm phải không. Quan trọng là biết dùng đúng cách sao cho phù hợp.
Nếu chưa hiểu hoặc gặp khó khăn khi tạo các bạn cứ comment bên dưới để mình trả lời.