Od začátku komerčního využívání webu před deseti lety se internetové vyhledávače dělí na dva druhy. Katalogy obsahují ručně zadávané odkazy na vybrané stránky členěné do stromové struktury, fulltextové vyhledávače si všímají, kam vedou odkazy na navštívených stránkách, a indexují i tyto stránky. Výhodou katalogů je kvalita a relevance odkazů, výhodou fultextových vyhledavačů je o mnoho řádů větší pokrytí webu. Nové vyhledavače se snaží zkombinovat členění odkazů do kategorií s rozsahem a automatickým provozem fulltextvých vyhledavačů.
Vyhledávače jsou zase v módě
Mezi prvními vlaštovkami se před několika lety objevily vyhledavače Northern Light a Google. Northern Light přišel s patentovanou technologií, která nalezené stránky automaticky roztřiďovala do tematických kategorií. Fulltextový vyhledavač Google začal více sledovat kvalitu odkazů pomocí algoritmu PageRank. Tento algoritmus není veřejný a stále se vyvíjí. Díky PageRanku se na prvních místech ve výsledcích vyhledávání nacházejí odkazy na stránky, na které vede více odkazů z jiných kvalitních stránek. Kvalita výsledků na prvních místech je tedy srovnatelná s kvalitou výsledků vyhledaných katalogem. Google zároveň začal fulltextově prohledávat stránky v katalogu Mozilla Open Directory, tuto funkci však lidé příliš nevyužívali a po novém redesignu domácí stránky Google se propadla do hlubin serveru.
Google se stal nejvýznamnější internetový vyhledavač, zatímco Northern Light zkrachoval a prohledávání webu ukončil.
Prasknutí internetové bubliny přiškrtilo proud investic do vyhledavačů, po ohromném úspěchu Google však podnikatelům a investorům otrnulo a vývoj nových vyhledavačů je opět v módě. Tvůrci vyhledavačů Vivisimo, WiseNut a Mooter se snaží resuscitovat automatické kategorie výsledků, se kterými přišel Northern Light.
Kategorizace v podání lidí i umělé inteligence
Rich Skrenta založil v roce 1998 projekt NewHoo. Tento projekt sdružil 60 tisíc dobrovolníků, kteří společně editují katalog webových stránek. Tento katalog je podobně jako open source software k dispozici zdarma každému, kdo má zájem. Projekt NewHoo, který převzala v roce 2002 firma Netscape pohlcená společností AOL, stále funguje pod názvem Mozilla Open Directory. Jeho tvůrce Skrenta se však rozhodl, že příští katalog odkazů bude tvořen zcela automaticky pomocí počítačové umělé inteligence. Zaindexovat miliardy webových stránek by pro začátek bylo náročné, Skrenta proto začal s internetovým zpravodajstvím. Jeho nový projekt Topix.Net indexuje stránky na 4000 serverech, počítač zprávy třídí zcela automaticky do kategorií podle lokality a tématu.
Skrenta uvádí, že Topix.Net má speciální kategorii pro každé místo ve Spojených státech, každý sportovní tým, zdravotnický termín, veřejně obchodovatelnou společnost a podobně. stránka o letošních prezidentských volbách shromažďuje údaje z tisíce článků za hodinu a Robo-Editor musí v reálném čase vybrat vždy deset nejrelevantnějších článků.
Nové verze zavedených vyhledavačů vyvíjejí i zavedené firmy jako Yahoo a Microsoft (MSN Search), algoritmy i celé knihovny pro kategorizaci textu jsou volně k dispozici na internetu. Vývoj vyhledavačů začíná být velmi zajímavý, můžeme jej ostatně sledovat třeba právě pomocí speciální stránky generované službou Topix.Net.
