สอบถามวิธี Block User Agent ที่ไม่ต้องการจาก Server

Technical topics
1

สอบถามหน่อยนะครับ
มีวิธีที่เราจะสามารถ Block User Agent พวกบอท Search Engine ต่างประเทศที่เราไม่ต้องการ
ไม่ให้เข้าถึงเว็บไซต์ทั้งหมดใน Server ได้มั้ยครับ

หรือว่ามีวิธีบล็อคทั้งหมดและเปิดเฉพาะ Google Yahoo Bing มั้ยครับ

เนื่องจากถ้าใช้ robots.txt หรือ .htaccess จะทำได้ทีละโดเมนเท่านั้นเองครับ

รบกวนด้วยนะคร้าบ ขอบคุณล่วงหน้าครับ

:875328cc:

2

  1. สร้าง robots.txt แบบที่ต้องการ เก็บไว้ที่ /path/to/robots.txt ที่ apache อ่านได้

  2. แก้ไข httpd.conf

[LEFT]<Location "/robots.txt">    [/LEFT]
  SetHandler None
</Location>
Alias /robots.txt /path/to/robots.txt
  1. restart apache
3

ขอบคุณมากๆ เลยครับ :875328cc::baa60776:

ลาก่อนพี่จีน พี่รัสเซีย :07baa27a:

รอมีลูกค้าทำเว็บจีน หรือรัสเซียก่อนแล้วจะเปิดให้อีกทีละกัน

4

พวก bot ประหลาดๆ ไม่น่ามีอะไรกันอยู่ นอกจากโดน block ด้วย firewall หรือ .htaccess

พวก google yahoo bing พวกนี้ไม่น่าห่วง มัน gentle พอที่จะทำตาม robot.txt หรือ meta header ในแต่ละหน้า
แต่พวก bot บ้าๆบอๆ ถ้ามันไม่สนใจไฟล์ robot.txt หรือ meta ในหน้าเว็บ มันก็ไล่เก็บหน้าเว็บไปอยู่ดี

สรุปว่า robot.txt ใช้บังคับพวก search engine ที่มีมารยาทได้เท่านั้น แต่มีไว้ก็ดีกว่าไม่มีเลย

5