Wer einen Blog betreibt, kennt vermutlich die Datei robots.txt. Diese liegt im Hauptverzeichnis einer Website und dient dazu, klassischen Webcrawlern – etwa von Google oder Bing – mitzuteilen, welche Bereiche einer Seite indexiert oder ignoriert werden sollen. Seit Kurzem gibt es nun ein neues Format: [...]