Today: Yesterday: Total: Online:
カテゴリー
その他
  • RSS1.0
  • RSS2.0
  • atom0.3
  • valid XHTML1.0
  • valid CSS2
  • Credit
RSSリーダーで購読する | この日記のはてなブックマーク数 | プロフィール
コメントが一番多い記事(233コメント):人の心理の裏をかくホームページ集客術:リピータになってもらうためには
ツイートが一番多い記事(94ツイート):ちょっと待て!twitterやfacebookに子供の写真を掲載する親達への警告
いいねが一番多い記事(574いいね):facebookスパムに要注意。なりすましの見分け方とアカウント乗っ取りの手口(2013年度版)

カテゴリー » .htaccess November 24, 2013

ロボットの排除方法:robots.txtと.htaccessの設定方法 ID:1385300199


エックスサーバー+独自ドメインで運営しているサイトに
「blexn1.webmeup.com」というところからの
アクセスが3秒に一回アクセスが来て、アクセスログがパンクしてしまった。

robots.txtで排除を試みたが
設定方法
http://www.tohoho-web.com/wwwxx079.htm

User-agent: blexn1.webmeup.com
Disallow: /

効果なし

htaccessで排除を行った

http://kensakuyoke.web.fc2.com/htaccess2.html

UAで排除する場合
SetEnvIf User-Agent "XXX" shutout
で排除できるらしいが、うまくいかなかったので
IPで排除を行ったらうまくいった

Deny from IP
— posted by midilin @ 10:36PM | Comment(0)

コメントをどうぞ。名前(ペンネーム)は必須です。URLはオプションです。

Comment Form
名前(ペンネーム): 文字色:
リンク作成 »
スパム対策画像認証(右に表示されている画像の番号を入れてください):
下のアイコンをクリックするとテキストエリアに挿入できます
:) :D 8-) ;-) :P :E :o :( (TT) ):T (--) (++!) ?;w) (-o-) (**!) ;v) f(--; :B l_P~ (QQ)

←メールアドレスを入力しておくと midilin がレスをした際に通知します:

     

カウンター