Today: Yesterday: Total: Online:
カテゴリー
その他
  • RSS1.0
  • RSS2.0
  • atom0.3
  • valid XHTML1.0
  • valid CSS2
  • Credit
RSSリーダーで購読する | この日記のはてなブックマーク数 | プロフィール
コメントが一番多い記事（233コメント）：人の心理の裏をかくホームページ集客術：リピータになってもらうためには
ツイートが一番多い記事（94ツイート）：ちょっと待て！twitterやfacebookに子供の写真を掲載する親達への警告
いいねが一番多い記事（574いいね）：facebookスパムに要注意。なりすましの見分け方とアカウント乗っ取りの手口（2013年度版）

« Web制作の料金相場/早見表 | Main | 制作会社を頼らず無料のホームページ作成ツール14個»

カテゴリー » .htaccess November 24, 2013

ロボットの排除方法：robots.txtと.htaccessの設定方法 ID:1385300199


エックスサーバー＋独自ドメインで運営しているサイトに
「blexn1.webmeup.com」というところからの
アクセスが3秒に一回アクセスが来て、アクセスログがパンクしてしまった。

robots.txtで排除を試みたが
設定方法
http://www.tohoho-web.com/wwwxx079.htm

User-agent: blexn1.webmeup.com
Disallow: /

効果なし

htaccessで排除を行った

http://kensakuyoke.web.fc2.com/htaccess2.html

UAで排除する場合
SetEnvIf User-Agent "XXX" shutout
で排除できるらしいが、うまくいかなかったので
IPで排除を行ったらうまくいった

Deny from IP
— posted by midilin @ 10:36PM | Comment(0)

コメントをどうぞ。名前(ペンネーム)は必須です。URLはオプションです。

Comment Form
名前(ペンネーム): 文字色:
リンク作成 »
スパム対策画像認証（右に表示されている画像の番号を入れてください）：
下のアイコンをクリックするとテキストエリアに挿入できます
:) :D 8-) ;-) :P :E :o :( (TT) ):T (--) (++!) ?;w) (-o-) (**!) ;v) f(--; :B l_P~ (QQ)

←メールアドレスを入力しておくと midilin がレスをした際に通知します：