[Magnus_A]

Hej,
jag vill inte fakturera mina annonsörer för ogiltiga klick.
därför vill jag kunna filtrera bort robotar, sökmotorer och överamabitiösa klickare från mina loggar (MySQL).
Hur gör man det?
Finns det färdiga listor på bottar som man kan filtrera mot?
Hur gör ni?

[magic]

Jag håller på att skriva en liten php funktion att göra detta baserad på user-agents.

Just nu loggar just nu all trafik på min största sida och sparar detta i en databas med ip och useragent, tanken är att släppa listor med user-agents och ip nummer för att kunna skilja trafik från sökmotorer mot riktiga användare.

[Magnus_A]

Mycket intressant. Finns det färdiga sådana listor någonstans?
Och hur skiljer man agnarna från vetet?

En viktig sak att ta bort är preloaders, browsertilllägg som samlar in alla länkar på en sida i förväg utan att besökare klickar. Hur känner man igen ett sånt? Är det User-agent som måste tolkas ?

[magic]

Det är nog user-agent, jag vet inte mycket om pre-loaders, jag är mest intreserad själv av att räkna bort sökmotorer från mina besökare. sitter just och funderar på i vilket format jag skall göra listorna så de är lätt att importera i olika filter.

På vägen till jobbet idag funderade jag även på om google och andra sökmotorer vanligtvis skickar crawlers från samma ip till en sajt, så att min lilla indexering av sökmotors ipn inte blir bra och tillförlitlig för andra. någon som vet hur detta fungerar?

[magic]

En rolig sak att nämna är att vid en genomgång av alla ip från de största sökmotorerna så har Google använt 1 ip, MSN 7 olika ipn och Yahoo! 1013 olika ipn (och det på 48h)


Länk lista

[Magnus_A]

Stort tack!
Lite länkar till intressanta sidor i frågan:
http://joseluis.pellicer.org/ua/
IP till sökmotorernas krypare:
http://www.iplists.com/