User-agent: *
User-agent: Slurp 
Crawl-delay: 1
Disallow: /*links/
Allow: /nl-NL/menu/informatie/publiek/links/
Allow: /en-GB/menu/informatie/publiek/links/
Disallow: /nl-NL/menu/_unique/
Disallow: /en-GB/menu/_unique/
Disallow: /nl-NL/menu/cijfers/statline/wijzigingen/correcties/
Disallow: /*poll/
Disallow: /nl-NL/menu/organisatie/organisatie/evenementen/
Disallow: /en-GB/menu/organisatie/evenementen/
Allow: /nl-NL/menu/_unique/_sitemap/sitemap.xml
Allow: /en-GB/menu/_unique/_sitemap/sitemap.xml
Sitemap: http://www.cbs.nl/sitemap.xml