[gibson]

Jag har problem med botar utvecklade i java som tar upp bandbredd och skapar massa fel.

User-agent kan t.ex. vara Java/1.6.0_14
De börjar alltid på Java/1.

Jag har testat att ip-spärra några i IIS:en men antingen är det olika botar eller så byter de ip.
Vad är bästa sättet att bli av med dessa? Visst, jag kan kolla vad användaren har för user-agent och skicka iväg botarna nånstans men då har de redan förbrukat bandbredd.
Någon som har något bra sätt att lösa detta på? Jag kör .NET och IIS 6.0

[emilv]

Testa att lägga in den i robots.txt och om det inte hjälper, blockera den på user-agent (ge helt tomt svar). Bandbredden den då förbrukar är ändå minimal jämfört med om du skickar ett helt svar.

[gibson]

Dåliga bots bryr sig inte om robots.txt för fem öre tyvärr.

Jag surfade vidare lite och hittade faktiskt ett bra sätt!
Det finns något som heter urlscan och version 2.5 funkar fint till iis 6.0
Här kan man blocka user-agents och mycket mycket annat på en lägre nivå, dvs. innan requestet kommer fram till webservern verkar det som.
Verkar skitbra, håller på att testa nu

[WeaZear]

Originally posted by gibson@Aug 15 2009, 12:57
Dåliga bots bryr sig inte om robots.txt för fem öre tyvärr.

Jag surfade vidare lite och hittade faktiskt ett bra sätt!
Det finns något som heter urlscan och version 2.5 funkar fint till iis 6.0
Här kan man blocka user-agents och mycket mycket annat på en lägre nivå, dvs. innan requestet kommer fram till webservern verkar det som.
Verkar skitbra, håller på att testa nu

Meddela gärna om det funkar, kör också IIS 6 och de skulle vara bra att lägga till detta, om det nu funkar. :huh:

[gibson]

Äh. Fan också.
Man kunde bara förhindra vissa header names från att göra requests.
Dvs. man kan lägga in alla med User-Agent: i sin header, men däremot inte User-Agent: Java

Och det suger ju stenhårt med tanke på att om man lade in User-Agent: så skulle ingen kunna gå in på siten.

Några ideér?

[gibson]

Blev en kul eftermiddag det här...
Men nu har jag äntligen hittat ett verktyg som funkar fint.
Det heter Webknight och är ett isapi-filter som är väldigt lätt att installera och hantera för IIS.
http://aqtronix.com/?PageID=99

Här kan man göra allting som man kan i urlscan men då också lägga till de user-agents man inte vill ha att göra med. Det finns också massa inställningar för att skydda sig mot sql-injections m.m.

Om någon använder detta, glöm inte kryssa ur (eller modifiera) "Use allowed content-type" samt "Use denied extensions" om ni kör med ajax. Annars funkar nämligen inte axd-filen + att ajax-anrop kör en annan content-type än normalt.

[Jonas]

Det hindrar ingen att byta user-agent eller använda cURL för att göra samma sak?

Skulle satsa på att kolla upp ett ev. samband med IP mm, att enbart gå på user-agent är dåligt då detta är på HTTP-protokoll nivå, alltså det är något man enkelt kan byta ut.

[Norman]

IPS:er har grundläggande stöd för det här.
Vet att google och större sökmotorer faktiskt har anti-scraping avdelningar med folk som övervakar scraping och gör decisions så att de inte blir "scrapade".

[Slacker]

Det går att blockera useragent Java via .htaccess:
http://blamcast.net/articles/block-b...an-ip-htaccess

[emilv]

Originally posted by Slacker@Aug 17 2009, 07:00
Det går att blockera useragent Java via .htaccess:
http://blamcast.net/articles/block-bots-ho...ban-ip-htaccess

... i IIS?