IndexIndex  PortalPortal  KalenderKalender  GalerijGalerij  FAQFAQ  ZoekenZoeken  GebruikerslijstGebruikerslijst  GebruikersgroepenGebruikersgroepen  RegistrerenRegistreren  Inloggen  Oude-ForumOude-Forum  RIJ TECHNIEKRIJ TECHNIEK  Kawa-Eliminator TECHKawa-Eliminator TECH  International forumInternational forum  
Laatste onderwerpen
» vraagje thermostaat
za okt 15 2011, 16:13 van st66lm6n

» Jippieeee
zo maa 21 2010, 14:41 van maarten

» vaarwel!
do sep 03 2009, 20:13 van MARKZL1100

» knipperlichtsteun voor
do sep 03 2009, 12:23 van st66lm6n

» snelheidsmeter
zo aug 30 2009, 00:34 van slayeric

» POWER CRUISERS of toch wat anders
vr aug 28 2009, 15:51 van DiMMaX

» FORUM IN ONDERHOUD
do aug 27 2009, 17:46 van st66lm6n

» Gezocht: deskundige sleutelaar voor mijn ZL 900
di aug 25 2009, 13:45 van maarten

» Wie waar vandaag
ma aug 24 2009, 18:14 van Appelman

BUIEN RADAR


 
klik op het plaatje
om naar
buienradar.nl
te gaan


Statistieken
We hebben 69 geregistreerde gebruikers
De nieuwste gebruiker is flapdrol

Alle gebruikers hebben in totaal 5825 berichten geplaatst in 250 onderwerpen

Deel | 
 

 bot in the house...?

Ga naar beneden 
AuteurBericht
Gast
Gast
avatar


BerichtOnderwerp: bot in the house...?   do maa 12 2009, 18:42

2 gebruikers online 1 geregistreerd 1 verborgen 0gast en 1 bot???

is dat erreg? een bot?
klinkt niegoed, No

ik zag het echt! affraid
nu issie weer weg, scratch
Terug naar boven Ga naar beneden
st66lm6n

avatar

Man Aantal berichten : 1149
Woonplaats : Delft
Registration date : 11-06-08

BerichtOnderwerp: Re: bot in the house...?   do maa 12 2009, 18:49

Spiders of bots komen kijken of ze hun database kunne updaten met gerelateerde informatie voor bv op GOOGLE.

http://nl.wikipedia.org/wiki/Spider

WIKIPEDIA schreef:
Een spider (ook wel webcrawler genoemd) is een computerprogramma dat het wereldwijde web op een methodische en geautomatiseerde manier doorbladert, als een soort robot. Spiders maken veelal een lokale kopie van de gevonden pagina's om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines.

De werkingswijze is eenvoudig: de spider begint met een lijst met URL's en bezoekt deze één voor één, waarbij alle hyperlinks die in de bezochte pagina's voorkomen aan de lijst van te bezoeken URL's worden toegevoegd. Op deze wijze kan een spider vrijwel alle publiekelijk toegankelijke pagina's op het internet langsgaan. Veelal komen spiders met een vaste regelmaat langs om hun index actueel te houden.

Spiders dienen zich tijdens hun rondgang te gedragen omdat ze pagina's nu eenmaal sneller kunnen opvragen en verwerken dan een mens. De meeste spiders nemen de moeite om pagina's van één webserver niet allemaal achter elkaar op te vragen maar deze over een tijdsbestek te spreiden om te voorkomen dat de betreffende webserver overbelast raakt.

Voor eigenaars en beheerders van websites zijn methodes geïntroduceerd om het gedrag van spiders te beïnvloeden. Zo kan in de hoofdmap van de website een tekstbestandje genaamd 'robots.txt' worden gezet met beperkingen voor één of meerdere spiders. Er kan worden aangegeven welke delen van de website door bepaalde spiders niet mogen worden bezocht. Alvorens een website te bezoeken zal een goede spider controleren of dit bestand bestaat en of er voor de betreffende spider beperkingen staan aangegeven. Zie bijvoorbeeld: http://nl.wikipedia.org/robots.txt

Sommige spiders negeren robots.txt. Dit kan nadelige gevolgen hebben voor de website die ze bezoeken. Om dit tegen te gaan kan men op een webserver de IP-adressen van de betreffende spiders blokkeren. Robots die zich goed gedragen houden zich aan de regels die in robots.txt staan.

Het is mogelijk in de header van individuele webpagina's meta-tags op te nemen voor robots. Als deze meta-tag niet aanwezig is, gaat de robot uit van de standaardwaarde:


hoi
Terug naar boven Ga naar beneden
Profiel bekijken http://www.eliminatorclub.nl
 
bot in the house...?
Terug naar boven 
Pagina 1 van 1

Permissies van dit forum:Je mag geen reacties plaatsen in dit subforum
 :: Eliminator :: KROEG-
Ga naar: