Robots.txt: questa regola jolly è valida?

Domanda semplice. Voglio aggiungere:

Disallow */*details-print/ 

Fondamentalmente, le regole di blocco nella forma di /foo/bar/dynamic-details-print — foo e bar in questo esempio possono anche essere totalmente dinamiche.

Ho pensato che sarebbe stato semplice, ma su www.robotstxt.org c’è questo messaggio:

Si noti inoltre che il globbing e l’espressione regolare non sono supportati nelle righe User-agent o Disallow. Il ‘*’ nel campo User-agent è un valore speciale che significa “qualsiasi robot”. In particolare, non è ansible avere righe come “User-agent: bot “, “Disallow: / tmp / *” o “Disallow: * .gif”.

Quindi non possiamo farlo? I motori di ricerca si attengono a questo? Ma poi, c’è il file robots.txt di Quora.com :

 Disallow: /ajax/ Disallow: /*/log Disallow: /*/rss Disallow: /*_POST 

Quindi, chi ha ragione – o sto fraintendendo il testo su robotstxt.org?

Grazie!

La risposta è, dipende”. Lo standard “robots.txt” come definito su robotstxt.org è il minimo che ci si aspetta che i robot supportino. Googlebot, MSNbot e Yahoo Slurp supportano alcune estensioni comuni e non c’è davvero modo di sapere cosa supportano gli altri robot. Alcuni dicono ciò che sostengono e altri no.

In generale , ci si può aspettare che i principali robot dei motori di ricerca supportino i caratteri jolly che hai scritto, e quello che hai lì sembra che funzionerà. La soluzione migliore sarebbe eseguirla oltre uno o più di questi validatori di robots.txt o utilizzare gli strumenti per i webmaster di Google per controllarlo.