Tags

User agent

Frontend

User agent string

Een user agent is een string die de browser meestuurt in de HTTP-header User-Agent, met informatie over de browser, versie, het besturingssysteem en soms het apparaat. Servers en scripts gebruiken de user agent voor browser-detectie, statistieken en het serveren van geschikte content. User agent sniffing is echter fragiel — feature detection verdient de voorkeur.

Andere termen met deze tag:


robots.txt

A

Servers

robots.txt

robots.txt is een tekstbestand in de root van een website dat crawlers vertelt wat ze wel of niet mogen indexeren. Het bevat regels als user-agent, disallow en allow en kan ook de sitemaplocatie aangeven. Let op: het is geen beveiliging. Voor echte bescherming gebruik je authenticatie of noindex.

A

Servers

Ga naar dit kaartje

Crawlers

AA

Frontend

Webcrawlers / spiders

Een webcrawler (ook spider of bot) is een geautomatiseerd programma dat systematisch het web doorloopt door links te volgen en pagina's te ontdekken en te indexeren. Zoekmachines zoals Google gebruiken crawlers om content te vinden voor zoekresultaten. Je stuurt crawlers via robots.txt (toestaan of blokkeren) en sitemaps (prioriteiten). Kwaadaardige crawlers kun je tegenhouden met rate limiting en een captcha.

AA

Frontend

Ga naar dit kaartje

400 kaartjes

Een uitgebreide collectie begrippen voor elk niveau

12 categorieen

Van HTML & CSS tot databases en security

3 niveaus

Geschikt voor beginners en gevorderden

Voor teams & klassen

Ideaal als lesmateriaal of teambuilding tool

Offline oefenen

Fysiek aan de slag, zonder scherm