Objem dat na Internetu se od jeho vzniku neustále zvětšoval. Data bylo proto třeba třídit. Kromě kategorizace dat bylo nutné i v obsahu snadno vyhledávat. Z těchto důvodů vznikaly internetové vyhledávače a katalogy.
Prvním, na Internetu použitým, vyhledávačem byl Archie, který v roce 1990 vytvořil Alan Emtage za účelem prohledávání FTP serverů. Rozšiřování WWW mezi uživatele a usnadnění zobrazení stránek pomocí prohlížeče Mosaic zapříčinilo vytvoření prvního robota Wanderer, který procházel web, Matthew Grayem v roce 1993. Ve stejném roce byly představeny veřejně dostupné vyhledávače. Jedním z nich byl Aliweb. Aliweb nebyl propojen s robotem, proto se stránky do jeho indexu musely přidávat manuálně prostřednictvím žádosti. WWW Worm již robota využíval. Ten zaznamenával pouze titulek a URL adresu nalezených dokumentů. Vyhledávač JumpStation indexoval celou hlavičku dokumentu. S rostoucím tempem i počtem dat na Internetu se prodlužovala i doba zpracování vyhledávacího dotazu. Výsledky hledání vyhledávače řadily podle toho, v jakém pořadí data do indexu přidaly. Koncem roku 1993 byl představen vyhledávač Repository-Based Software Engineering – RBSE, který výsledky hledání řadil podle klíčových slov. Tento vyhledávač limitovala malá velikost jeho datového indexu.
První stránku, která se pokoušela utřídit důležitý obsah Internetu, zformoval Tim Berners Lee. Jednalo se o Virtuální knihovnu na adrese vlib.org, kterou před oficiálním spuštěním 21. září 1993 upravil Lynn H. Nelson. V roce 1994 vytvořili Jerry Yang a David Filo přehled svých oblíbených odkazů, který nazvali Yahoo!. Počet odkazů neustále narůstal, proto bylo nutné dané odkazy řadit dle určitého systému. Vznikl tak do dnešní doby nejznámější a nejpoužívanější katalog internetových stránek.
V roce 1994 představil Brian Pinkerton první fulltextový vyhledávač WebCrawler. Robot dokázal indexovat kompletní textový obsah web site. Následovaly vyhledávače Infoseek a Lycos. V následujícím roce přibyly vyhledávače Excite, MetaCrawler a Altavista. Do konce roku 1997 vznikly ještě fulltextové vyhledávače Dogpile, Inktomi, HotBot, Ask Jeeves, Nothern Light, GoTo a provoz zahájil i ruský portál Yandex. Stále více obsáhlé datové indexy fulltextových vyhledávačů rychle snižovaly relevanci výsledků hledání.
V roce 1998 byl představen vyhledávač Google, který vytvořili Larry Page a Sergey Brin. Hlavní výhodou vyhledávače byl nový způsob řazení výsledků hledání, které využívalo hodnocení stránek s použitím PageRanku. V průběhu času začaly vyhledávač Google na svých stránkách používat i portály včetně Yahoo!. Google tak začal mezi fulltextovými vyhledávači dominovat. V roce 1998 vznikl také projekt vícejazyčného adresáře Open Directory Projekt (ODP) na adrese directory.mozilla.org společnosti Netscape, který je dodnes znám jako DMOZ.org. Odkazy do tohoto katalogu přidávají nezávislí editoři z celého světa včetně Česka i dnes.
V dalším roce vznikly vyhledávač AlltheWeb, čínský portál Alibaba, ruský rozcestník Mail.ru či jihokorejský portál Naver. V roce 2000 byl spuštěn čínský vyhledávač Baidu. Google i nadále převyšoval ostatní vyhledávače. Dohnat jeho náskok se pokoušel portál Yahoo!, který postupem času skoupil vyhledávače Altavista, Inktomi, AlltheWeb a investoval do vývoje vyhledávací technologie. Začátkem roku 2004 začal portál Yahoo! využívat vlastní vyhledávání místo technologie od společnosti Google.
Společnost Microsoft vstoupila na trh fulltextových vyhledávačů až v roce 2005, když představila vlastní vyhledávač MSN Search. Ten se v roce 2006 transformoval na Live Search a v roce 2009 na Bing. V roce 2006 byl spuštěn také indický vyhledávač Guruji. V témže roce také Francie prezentovala na zasedání členů Evropské unie potřebu vytvořit vlastní vyhledávač. Myšlenka byla zformulována do projektu Quaero, který nebyl dodnes zrealizován. V roce 2008 byl spuštěn vyhledávač Cuil.
Můžete si také přečíst něco o historii vyhledávačů v Česku.
