Den Grundstein für die Suchmaschinen legte 1990 die kanadische McGill Universität in Montreal mit der Suchmaschine Archie. Die Studenten Alan Emtage, Peter Deutsch und Bill Heelan begannen damit, sogenannte Suchroboter zu programmieren, die das Internet systematisch durchkämmten und Informationen sammelten. So entstand im November 1990 Archie V1.

An der Universität in Minnesota wurde 1991 Gopher der Öffentlichkeit vorgestellt, maßgeblich von Paul Lidner und Mark P. McCahill entwickelt. Mit ihm waren schon komplexe Verknüpfungssuche ("and", "or", "not") möglich.

Dennoch gehörte 1992 Archie zu dem am meisten genutzten Internetdiensten, auch wenn dieser keine Text, sondern lediglich Dateien und Ordner  durchsuchen konnte.

Mitte der 90er Jahre hatte nahezu jede Organisation, die über einen Internetzugang verfügte, wie zum Beispiel Universitäten, aber auch Regierungen, einen Gopherserver und stellte der Allgemeinheit Informationen aus allen Bereichen zur Verfügung.

Mit dem Aufschwung des WWW jedoch ging die Zeit des sogenannten Gopherspace zu Ende. Ursächlich für den Niedergang war auch die Entscheidung der copyrighthaltenden Universität, für die kommerzielle Nutzung von Gopher Gebühren zu verlangen.

Heute gibt es nur noch sehr wenige Gopherserver. Gopher ist damit weitgehend außer Gebrauch und gerät in Vergessenheit.

Der eigentliche Grund für das Aus von Archie waren vor allem juristische Probleme, die dazu führten, dass innerhalb kürzester Zeit sämtliche Archie-Server weltweit eingestellt wurden.

1993 wurde der WWW-Standard zur kostenlosen Nutzung freigegeben und der erste Webcrawler mit dem Namen "The Wanderer" programmiert. Auch enstanden die ersten Webseiten. "The Wanderer" wurde von Mathew Gray programmiert, einem Studenten des Massachusetts Institute of Technology (MIT). Von 1993 bis 1996 wurde halbjährlich das World Wide Web durchsucht.

130 Websites gab es nach dem WWW-Standard im Juni 1993 bereits.

Die Geburtsstunde von Aliweb (Archie-Like Indexing of the Web) war im Oktober 1993. Hier mussten die Betreiber von Webservern eine Beschreibung ihres Dienstes in einer Datei ablegen, um ein Teil des Aliweb Indexes zu werden.

Im Dezember 1993 kamen die Suchmaschinen WorldWideWeb Worm, Jumpstation und RBSE Spider ans Netz. WorldWideWeb Worm und Jumpstation waren Crawler, die Webseiten nach URL und Titel indexierten. RBSE Spider war die erste Suchmaschine, die ihre Ergebnisse nach einem eigenen Ranking System anzeigten. Diese Suchmaschinen gibt es heute nicht mehr.

Im April 1994 ging eine weitere Suchmaschine online. Die Suchmaschine WebCrawler konnte eine nach Ranking sortierte Trefferliste vorweisen. 1995 wurde sie an AOL verkauft, ein Jahr später weiter an Excite.

Im Juli 1994 ging die Suchmaschine Lycos, eine Arbeit von Michael Mauldins, online. Die Worthäufigkeit der Suchbegriffe innerhalb der Webseiten sowie auch die Nähe der Suchbegriffe untereinander im Dokument waren die Hauptkriterien.

1994 war auch die Geburtsstunde von Yahoo! (Yet Another Hierarchical Officious Oracle). Die Studenten des Fachbereichs Elektrotechnik an der Stanford University, David Filo und Jerry Yang, veröffentlichten eine Sammlung ihrer besten Web-Adressen in einem online verfügbaren Verzeichnisdienst.

1995 entdeckte der Markt das Suchmaschinen Segment. Die ersten Produkte von Suchmaschinen mit kommerzieller Ausrichtung entstehen: Infoseek, Architext (wurde später in Excite umbenannt) und AltaVista. Ein Jahr später wurde Inktomi Corp. gegründet, deren gleichnamige Suchmaschine zur Grundlage von Hotbot und anderen Suchseiten wurde.

AltaVista hatte bis vor wenigen Jahren noch einen großen Stellenwert eingenommen. Der von AltaVista entwickelte Roboter "Scooter" war enorm leistungsfähig. So avancierte AltaVista neben Yahoo! zur damaligen Zeit zu einem der führenden Internet Dienste des WWW.

Ebenso im Jahre 1995 trafen sich die beiden Gründer von Google an der Stanford University: Die Studenten Larry Page und Sergey Brin. Dort beginnen Sie mit der Entwicklung einer Suchmaschine namens BackRub.

BackRub wurde damals von Larry Page komplett alleine entwickelt. So ist auch nur sein Name im PageRank verewigt. BackRub wurde von 3 Kommilitonen unterstützt. Erstaunlicherweise kommt Sergey Brin hinter Scott Hassan und Alan Steremberg erst an 3. Stelle. Sergey hat sich programmiertechnisch nur durch Bugfixes hervorgetan, ansonsten aber all die Arbeit Larry und seinen 2 Kollegen überlassen. Die beiden anderen Kommilitonen stiegen kurze Zeit später aus dem Projekt aus.

1996 erschienen zwei Metasuchmaschinen: MetaCrawler aus den USA und MetaGer aus Deutschland MetaGer. Bis zur Marktdurchdringung von Google galten Metasuchmaschinen als eine der interessantesten Informationsbeschaffer, da der Suchindex der Suchmaschinen meist nur Teilbereiche des Internets enthielt. Metasuchmaschinen leiten die Abfragen des Nutzers parallel an mehrere Suchmaschinen weiter und fassen die Treffer formatiert zusammen.

Ende 1998 veröffentlichten Larry Page und Sergey Brin ihre innovative Suchmaschinen-Ranking-Technologie mit dem Titel "The Anatomy of a Large-Scale Hypertextual Web Search Engine". Wenig später, im September 1999, startet die Suchmaschine Google im Beta Status. Ein Jahr später wird die Suchmaschine kommerziell.

Das in der Betaphase befindliche Google erreichte schon damals 10.000 Suchanfragen pro Tag. Außerdem boten die übersichtliche Benutzeroberfläche, die Geschwindigkeit, sowie die Relevanz der Suchergebnisse eine zu diesem Zeitpunkt noch nicht da gewesene Qualität, wodurch Google viele Benutzer für sich gewinnen konnte.

Heute kann man davon sprechen, dass es, gemessen an der Anzahl erfasster Dokumente, drei große Suchmaschinen im Web gibt. Das sind neben Google, Yahoo! Search, welche sich im Frühjahr 2003 durch Aufkäufe mehrerer Suchmaschinen einen hohen Marktanteil sichern konnte, und Microsoft`s MSN Search bzw. Life Search.

Tatsächlich haben wir uns bereit vor 1998 mit den Suchmaschinen (Gopher, Archie, "The Wanderer" (1. Webcrawler), Aliweb, WebCrawler, Lycos, ... ) beschäftigt. Suchmaschinenoptimierung im eigentlichen Sinn gab es noch nicht. Die Algorithmen der Suchmaschinen selber steckten noch in den Kinderschuhen. Es war damals ein leichtes, das Ranking in den Suchmaschinen mit einfachen Mitteln zu beeinflussen. Standardmäßig wurde die passende URL ausgewählt, der entsprechende Title gewählt und die Keywordhäufigkeit im Text bedient. Mit den richtigen Metatags konnte man quasi über Nacht die Top Ten im Suchmaschinen Ranking erobern.

Als 1995 die ersten kommerziellen Suchmaschinen ihr Glück versuchten, den Internet Markt zu erobern, weckten diese Begehrlichkeiten dasselbe Interesse auf der anderen Seite, den Webseiten-Betreibern. Recht langsam entwickelte sich ein Bewußtsein, dass sich hier ein neuer Markt und Plattform entwickelt.

Erst mit dem Einstieg von Google 1998 begann der Professionalisierungsprozeß für die Search Engine Optimization (SEO) - und wir waren bereits mitten drinnen. Ein gewaltiger Markt entwickelte sich daraus, den bis dato sich keiner ausmalen konnte.