Numerosi siti web stanno bloccando i bot di IA sbagliati, copiando istruzioni obsolete nei loro file robots.txt.
Anthropic ha recentemente lanciato un nuovo bot chiamato “CLAUDEBOT”, mentre molti siti continuano a bloccare i vecchi bot “ANTHROPIC-AI” e “CLAUDE-WEB”, che ormai non sono più in uso. Questo errore permette al vero bot di Anthropic di effettuare scraping indisturbato.
Dark Visitors, un sito web che traccia l’attività dei web crawler, ha segnalato che il panorama degli user agent è in continua evoluzione, rendendo difficile per i proprietari dei siti aggiornare manualmente i propri file robots.txt. Ad esempio, Apple e Meta hanno recentemente introdotto nuovi bot, creando ulteriori complicazioni.
Anche siti popolari come Reuters e i siti della famiglia Condé Nast hanno inconsapevolmente lasciato sbloccato CLAUDEBOT. Questo ha portato a un aumento esponenziale dello scraping AI non autorizzato. Ad esempio, il sito di guide di riparazione iFixit ha riportato quasi un milione di accessi in un giorno effettuati dal bot di Anthropic.
L’iniziativa Data Provenance ha documentato la difficoltà nel bloccare gli scraper e spesso questo compito ricade interamente sui proprietari dei siti web, che devono confrontarsi con un numero crescente di bot AI. La confusione è ulteriormente aggravata dal fatto che alcune aziende di IA ignorano intenzionalmente i file robots.txt.
Leggi l’articolo completo: Websites are Blocking the Wrong AI Scrapers su 404media.co.
Foto di Markus Spiske su Unsplash.
