Baidu bot ชุมจริง

สังเกตมาตั้งแต่บอร์ดเดิมแล้วครับ baidu spider มันเยอะจริง ไม่รู้เพราะระบบมันไม่ดี หรือมันขยันเกินเหตุ มาบ่อยมาก


บอร์ดอื่นเป็นเหมือนกันมั้ยครับ

IPB ผมยังไม่เจอครับ

ผมใช้ vBulletin มาเยอะเหมือนกันครับ

เข้าใจว่า baidu ใช้บอทหลาย ip มากกว่าครับ ระบบเลยเห็นเป็นหลายตัว

ส่วน google นี่ เว็บเดิมมันจะเข้ามาด้วย ip เดิม(เกือบจะ)เสมอ ไม่ค่อยจะเปลี่ยน เลยทำให้เห็นแค่ 1-2 ตัวล่ะครับ
(แต่ถ้าดู access log ก็คงวิ่งรัวๆ วิละ 3-4 request)

อ้า ไม่ได้นึกถึงประเด็นนี้เลย ขอบคุณเทพ icez (Thanks)

ตามนี้เลยครับพี่วัฒ ดูได้ที่ online.php

ipb ต้องแอด spider ครับถึงเห็น

ขอบคุณครับผม

ผมใช้ .htaccess block ไปเลย

ปล่อยมันไปครับแต่ถ้าหนักมากๆ .htaccess เลย

ไม่หนักครับ สบายๆ เพียงแต่สังเกตว่าหน้าแรกมันบอกว่ามาจากที่นี่เยอะ ซึ่งน่าจะมีที่มาจากที่ icez บอก :th_102_:

Baiduspider ครับ บางทีมัน crawling หนักมาก แบบไม่ limit เลย
ต้องใช้ VCL Varnish เขียน rule block ก็เคยมาแล้วครับ :slight_smile:

ป๋าเก๋าจริงวะ แล้วกันอยู่ปะครับ

ไม่เก๋าหรอกครับ เซียน +___+

Block Baidu Spider

if (req.http.user-agent ~ “(Baiduspider|baiduspider)”) {
error 403 “Forbidden, specified in robots.txt. You should know better.”;
}

:87a4e689: