Een user agent is een string die de browser meestuurt in de HTTP-header User-Agent, met informatie over de browser, versie, het besturingssysteem en soms het apparaat. Servers en scripts gebruiken de user agent voor browser-detectie, statistieken en het serveren van geschikte content. User agent sniffing is echter fragiel — feature detection verdient de voorkeur.
robots.txt
A
Servers
robots.txt
robots.txt is een tekstbestand in de root van een website dat crawlers vertelt wat ze wel of niet mogen indexeren. Het bevat regels als user-agent, disallow en allow en kan ook de sitemaplocatie aangeven. Let op: het is geen beveiliging. Voor echte bescherming gebruik je authenticatie of noindex.
A
Servers
Crawlers
AA
Frontend
Webcrawlers / spiders
Een webcrawler (ook spider of bot) is een geautomatiseerd programma dat systematisch het web doorloopt door links te volgen en pagina's te ontdekken en te indexeren. Zoekmachines zoals Google gebruiken crawlers om content te vinden voor zoekresultaten. Je stuurt crawlers via robots.txt (toestaan of blokkeren) en sitemaps (prioriteiten). Kwaadaardige crawlers kun je tegenhouden met rate limiting en een captcha.
AA
Frontend
Een uitgebreide collectie begrippen voor elk niveau
Van HTML & CSS tot databases en security
Geschikt voor beginners en gevorderden
Ideaal als lesmateriaal of teambuilding tool
Fysiek aan de slag, zonder scherm