De robot.txt tool uit het Google Webmaster Centrum is geupdate schrijven John Blackburn en Matt Dougherty op het Google Webmaster Centrum Blog. De nieuwe opties die zijn toegevoegd werken als volgt;
Sitemap declaraties in de robot.txt
Het systeem geeft vanaf nu aan de sitemap url correct is.
De manier om je sitemap te declareren is als volgt; sitemap: http://www.example.com/sitemap.xml
Relatieve url's zijn nu ook toegestaan
Vroeger als je /directory deed zou je ze melding "Syntax not understood" krijgen, maar zoals je ziet in de onderstaande afbeelding is dat nu niet meer het geval.
