Motori di ricerca: Google, il motore preferito dai webmasters
Scritto da Enrico Bertini | 26 Novembre 2007
Uno studio condotto dalla Pennsylvania State University ha evidenziato come, nel consentire ai web crawlers (o spiders) di accedere ai propri siti web, i webmasters favoriscano Google rispetto agli altri motori di ricerca. Per giungere a tali conclusioni, lo studio ha esaminato i files robots.txt di più di 7.500 siti web, quei files sulla base dei quali ogni sito Internet comunica ai web crawlers quali sono le regole di accesso al sito stesso alle quali attenersi per analizzarne i contenuti. E c’è stata una certa sorpresa tra i ricercatori al manifestarsi dei risultati dello studio, tanto che C. Lee Giles, David Reese Professor of Information Sciences and Technology e capo del team di ricerca, ha dichiarato: “We expected that robots.txt files would treat all search engines equally or maybe disfavor certain obnoxious bots, so we were surprised to discover a strong correlation between the robots favored and the search engines’ market share“.
Lo studio, denominato "Determining Bias to Search Engines from Robots.txt“, ha di fatto mostrato che, nello scrivere i files robots.txt, molti webmasters bloccano o permettono la scansione dei propri siti web ai motori di ricerca in maniera non uniforme, concedendo in pratica privilegi di accesso ai web crawlers di Google (in primis), di Yahoo!, e di MSN, e limitando l’accesso di tutti gli altri. Inoltre, lo studio ha rilevato che soltanto in 4 su 10 dei 7.500 siti web esaminati era presente un file robots.txt, ma che ciò denota una tendenza in netta crescita rispetto al passato, dato che nel 1996 questo rapporto era decisamente inferiore, essendo pari ad 1 su 10.
Per condurre lo studio la Pennsylvania State University ha anche sviluppato BotSeer, uno speciale motore di ricerca per files robots.txt rilasciato in concomitanza con la pubblicazione dello studio medesimo.
“With the preference, Google can index some information which other search engines can’t” ha aggiunto infine Giles, e, nel frattempo, secondo quanto riportano i dati di Nielsen//Netratings e di Hitwise, Google consolida ulteriormente la propria leadership nel mercato del search.
Categorie: Google, Motori di Ricerca, Search Engines
Supporta Stalkk.ed
Questo è un blog di Open Consulting.
Hai trovato interessante questo articolo?
Considera di linkarlo: Motori di ricerca: Google, il motore preferito dai webmasters.
Considera anche di sottoscrivere il feed RSS di Stalkk.ed, oppure di utilizzare il motore di ricerca Stalkk.ed BNS per le tue ricerche sulla tecnologia.
Articoli Correlati
Commenti
Lascia una risposta
