Wikimedia Deutschland ha lanciato il Wikidata Embedding Project, un database che rende i quasi 120 milioni di voci di Wikipedia e delle piattaforme correlate più accessibili ai modelli AI. La novità chiave è l’applicazione della ricerca semantica vettoriale, che consente agli algoritmi di comprendere relazioni e significati tra concetti, e il supporto al Model Context Protocol, standard che facilita la comunicazione tra sistemi IA e fonti di dati esterne.
Il progetto, sviluppato con Jina.AI e DataStax, supera i limiti delle query tradizionali basate su parole chiave o linguaggi specializzati come SPARQL. Il database è ottimizzato per i sistemi di retrieval-augmented generation (RAG), permettendo agli LLM di accedere a informazioni verificate dagli editor di Wikipedia, arricchite da contesto semantico, traduzioni multilingue, immagini con licenze aperte e collegamenti a concetti correlati. L’iniziativa risponde alla necessità di dati curati e affidabili per l’addestramento dei modelli, offrendo un’alternativa a dataset generici come Common Crawl o fonti più controverse.
Disponibile liberamente su Toolforge, il progetto pone l’accento sull’indipendenza dalle grandi piattaforme. Per Philippe Saadé, project manager di Wikidata AI, rappresenta la prova che “un’intelligenza artificiale potente può essere aperta, collaborativa e costruita per servire tutti”, in controtendenza rispetto alle dinamiche di accentramento del controllo da parte di pochi attori del settore.
Leggi l’articolo completo: New project makes Wikipedia data more accessible to AI su TechCrunch
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (06/05/2025).
