Discuz X3.4的robots规则

#
# robots.txt for Discuz! X3
#
User-agent: *
# 暫時封禁所有
Disallow: /
#解禁
Allow: /robots.txt$
# 門戶文章和專題
Allow: /topic-*
Allow: /article-*
# 允許抓取的欄目
Allow: /xxxx
# 論壇相關信息
Allow: /forum.php$
Allow: /forum-*
Allow: /thread-*
# 允許抓取圖片等附件
Allow: /data/attachment/
# 封禁(禁止抓取網頁和頁面上的多媒體文件)
Disallow: /api/
Disallow: /archiver/
Disallow: /config/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /source/
Disallow: / static /
Disallow: /template/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /api.php
Disallow: /connect.php
Disallow: /crossdomain.xml
Disallow: /forum.php
Disallow: /go.html
Disallow: / goto /
Disallow: /group.php
Disallow: /home.php
Disallow: /index.php
Disallow: /member.php
Disallow: /misc.php
Disallow: /plugin.php
# 如果論壇為首頁,則下面這一行請提到最上面,並且改為Allow
Disallow: /portal.php
Disallow: /search.php
Disallow: /userapp.php
Disallow: /*?*
Disallow: /?*
Disallow: /&*
Disallow: /*&*
Disallow: /*mobile=yes*
分類