Motori di ricerca: sulle attività dei nuovi crawlers
Scritto da Enrico Bertini | 16 Agosto 2007
In un articolo intitolato “The 11 startups actually crawling the web” apparso sul proprio blog, Rich Skrenta parla di un suo amico che, in qualità di possessore di un sito web, ne analizza periodicamente il file di log. Nel corso di una recente analisi dei logs del proprio sito, l’amico di Skrenta ha potuto verificare che, nonostante su Internet siano stati creati numerosi nuovi motori di ricerca (search engines startups), ben pochi di essi stanno attualmente effettuando il crawling del Web: per questo motivo egli ha poi tirato in ballo il Paradosso di Fermi.
Quindi, riprendendo un elenco categorizzato di motori di ricerca pubblicato da Don Dodge in “The top 100 web search engines no one ever heard of” (derivato a sua volta dal “Top 100 Alternative Search Engines, February 2007” di Charles Knight), nel suo articolo Rich Skrenta si chiede perchè, data l’esistenza di tanti nuovi motori di ricerca, noi vediamo le attività di crawling soltanto di alcuni di essi.
Ovviamente, non sono mancati i commenti.
Kevin Burton, fondatore e CEO di Tailrank, fa notare che Spinn3r (lo spider di Tailrank) compie esclusivamente attività di crawling sui blogs (”with Spinn3r we only crawl blog content so we shouldn’t show up on a historical site. I wonder if other crawlers/startups have similar limitations“). Rafael Cosentino, co-fondatore di Congoo, afferma invece che il suo news & information portal indicizza contenuti provenienti da feeds RSS o XML, cosicché non vi è la necessità di effettuare il crawling dei siti web (”Most of the partner sites that Congoo indexes provide RSS or XML feeds so there is no need to crawl their site“). FAROO, al contrario, utilizza uno speciale tipo di crawler distribuito, il quale risulta sostanzialmente invisibile.
Una successiva risposta di Rich Skrenta precisa che nell’articolo si sta parlando di web search startups, e non di crawlers di nicchia.
Categorie: Motori di Ricerca, Search Engines
Supporta Stalkk.ed
Questo è un blog di Open Consulting.
Hai trovato interessante questo articolo?
Considera di linkarlo: Motori di ricerca: sulle attività dei nuovi crawlers.
Considera anche di sottoscrivere il feed RSS di Stalkk.ed, oppure di utilizzare il motore di ricerca Stalkk.ed BNS per le tue ricerche sulla tecnologia.
Articoli Correlati
Trackbacks/Pingbacks
-
Motori di ricerca: il Giappone lancia un megaprogetto nel “search” | Stalkk.ed
11 Settembre 2007 ore 16:38
Congoo è un luogo sociale della rete per i proprietari di affari.
Si, Congoo è anche quello. Ma non avevo ritenuto importante sottolinearlo ai fini dell’articolo. Cito testualmente il loro “About”: “Congoo is a free real-time news, networking and information portal. Congoo’s unique channels merge the most important news with industries’ most important people. Congoo’s acclaimed features provide members with access to a higher level of information than can be found on any other portal. The combination of access to real-time news and industry insiders provides an unparalleled sense of connection with each member’s industry”.