Chapitre 4: Recherche | Astuces CSS


eBay en avait assez de ces araignées. Ils les repoussaient par milliers. Leurs serveurs bourdonnaient d’activité non-stop; un flot incessant d’intrus. Un agresseur, cependant, dominait les autres. Enchérisseur Edge, qui se présentait comme un agrégateur d’enchères, explorait régulièrement les pages d’eBay pour extraire son contenu et le répertorier sur son propre site aux côtés d’autres listes d’enchères.

Le célèbre site de vente aux enchères avait tenté en vain de bloquer le Bid’s Edge par le passé. Comme un jeu élaboré de Whac-A-Mole, ils restreindraient l’adresse IP du serveur Edge d’un soumissionnaire, pour être à nouveau violée par un serveur proxy avec un nouveau. La technologie avait échoué. Le litige était le suivant.

eBay a intenté une action contre le Enchérisseur Edge en décembre 1999, citant une poignée de causes. Cela inclus «Une ancienne théorie de l’intrusion connue des juristes comme une intrusion sur des biens meubles, essentiellement une intrusion ou une interférence avec des biens immobiliers – objets, animaux ou, dans ce cas, serveurs.» eBay, en d’autres termes, faisait valoir que l’interdiction de l’enchérisseur était en train de s’introduire – dans le sens le plus médiéval du terme – sur leurs serveurs. Pour que cela constitue une intrusion sur les biens meubles, eBay devait prouver que les intrus causaient un préjudice. Le fait que leurs serveurs se déforment sous la charge, ont-ils soutenu, était une preuve de ce préjudice.

eBay en 1999

Le juge Ronald M. Whyte a trouvé ce dernier élément convaincant. Un peu de va-et-vient a suivi, dans l’un des procès les plus étranges d’une nouvelle ère qui comprenait l’expression «robots impolis» entrant dans le dossier officiel du tribunal. Ces robots – par opposition aux robots “polis” – ont ignoré les demandes d’eBay de bloquer le spidering sur leurs sites et ont fait tout leur possible pour contourner les contre-mesures. Selon le juge, ils étaient des intrusions. Whyte a accordé une injonction pour empêcher le Enchérisseur Edge d’explorer eBay jusqu’à ce que tout soit réglé.

Plusieurs appels et contre-appels et contre-appels plus tard, l’affaire a été réglée. Le Enchérisseur Edge a versé à eBay un montant non divulgué et a rapidement fermé ses portes. eBay avait gagné cette bataille particulière. Ils s’étaient débarrassés des robots. Mais la guerre réelle était déjà perdue. Les robots – grossiers ou non – étaient déjà là.


Sinon pour l’Université de Stanford, la recherche sur le Web a peut-être été perdue. C’est le berceau de Yahoo !, Google et Excite. Il a exécuté les serveurs qui ont exécuté le code qui a exécuté les premiers moteurs de recherche. Les fondateurs de Yahoo! et Google sont des anciens. Mais bon nombre des principaux acteurs de la recherche ne faisaient pas partie du département d’informatique. Ils faisaient partie du programme des systèmes symboliques.

Symbolic Systems a été créé à Stanford en 1985 comme une étude de la «Relation entre les systèmes naturels et artificiels qui représentent, traitent et agissent sur l’information.» Son approche interdisciplinaire est ancrée à l’intersection de plusieurs domaines: linguistique, mathématiques, sémiotique, psychologie, philosophie et informatique.

Ce sont les mêmes domaines d’étude que l’on trouverait au cœur de la recherche en intelligence artificielle dans la seconde moitié du XXe siècle. Mais ce n’est pas le A.I. dans sa manifestation moderne de maison intelligente, mais dans la notion plus classique conçue par les informaticiens comme une feuille de route vers l’avenir de la technologie informatique. C’est la compréhension des machines comme moyen d’augmenter l’esprit humain. Ce parallèle n’est pas par accident. L’intelligence artificielle est l’un des domaines d’étude les plus importants du programme des systèmes symboliques.

Parmi les anciens du programme figurent plusieurs des fondateurs d’Excite et Srinija Srinivasan, la quatrième employée de Yahoo !. Son travail en intelligence artificielle a conduit à un poste au sein de l’ambitieuse A.I. laboratoire de recherche Cyc dès la sortie de l’université.

Marisa Mayer, une des premières employées de Google et, plus tard, PDG de Yahoo!, A également fait appel à A.I. recherche pendant son temps dans le programme des systèmes symboliques. Son projet de thèse révolutionnaire a utilisé le traitement du langage naturel pour aider ses utilisateurs à trouver les meilleurs vols grâce à une simple conversation avec un ordinateur. «Vous regardez comment les gens apprennent, comment les gens raisonnent et vous demandez à un ordinateur de faire les mêmes choses. C’est comme étudier le cerveau sans le sang », elle dira plus tard du programme.

Marissa Mayer en 1999

La recherche sur le Web découle de ce programme unique dans une institution à un bref instant. Toutes les personnes impliquées dans les moteurs de recherche n’ont pas étudié ce programme – les fondateurs de Yahoo! et Google, par exemple, étaient des étudiants diplômés en informatique. Mais l’idéologie de la recherche est profondément enracinée dans la tradition de l’intelligence artificielle. Le but de la recherche, après tout, est d’extraire du cerveau une question et d’utiliser des machines pour fournir une réponse appropriée.

Chez Yahoo !, les principes de l’intelligence artificielle servaient de guide, mais ils seraient aidés par la perspective humaine. Les robots d’exploration Web, comme Excite, porteraient le fardeau des requêtes des utilisateurs et tenteraient de cartographier les sites Web par programme pour fournir des résultats intelligents.

Cependant, ce serait chez Google que A.I. deviendrait un objectif explicitement déclaré. Steven Levy, qui a écrit le livre faisant autorité sur l’histoire de Google, https: //bookshop.org/books/in-the-plex-how-google-thinks-works-and-shapes-our-lives/9781416596585 Dans le Plex, décrit Google comme un «véhicule pour réaliser le rêve de l’intelligence artificielle en augmentant l’humanité». Les fondateurs Larry Page et Sergey Brin mentionneraient A.I. constamment. Ils en ont même parlé lors de leur première conférence de presse.

La différence serait une question d’approche. Une tension qui viendrait dominer la recherche pendant une demi-décennie. Le répertoire contre le robot. La précision de l’influence humaine par rapport à l’exhaustivité des machines. Les surfeurs seraient d’un côté et, de l’autre, les araignées. Un seul survivrait.


Les premières araignées étaient grossières. Ils se sont sentis dans le noir jusqu’à ce qu’ils trouvent le bord de la toile. Puis ils sont rentrés chez eux. Parfois, ils rassemblaient de petites informations sur les sites Web qu’ils exploraient. Au début, ils n’ont rien recueilli du tout.

L’un des premiers robots d’exploration Web a été développé au MIT par Matthew Gray. Il a utilisé son World Wide Wanderer pour aller chercher tous les sites Web sur le Web. Il n’était pas intéressé par le contenu de ces sites, il voulait simplement les compter. À l’été 1993, la première fois qu’il a envoyé son robot, il est arrivé à 130. Un an plus tard, il en compterait 3 000. En 1995, ce nombre est passé à un peu moins de 30 000 personnes.

Comme beaucoup de ses pairs dans le domaine des moteurs de recherche, Gray était un disciple de la recherche d’informations, un sous-ensemble de l’informatique dédié au partage des connaissances. En pratique, la recherche d’informations implique souvent un robot (aussi connu sous le nom «Araignées, robots d’exploration, errants et vers») qui parcourt les documents numériques et recueille leur contenu par programmation. Ils sont ensuite analysés et stockés dans un «index» centralisé, un raccourci qui évite d’avoir à explorer chaque document à chaque fois qu’une recherche est effectuée. Garder cet index à jour est une lutte constante, et les robots doivent être vigilants; revenir en arrière et réexplorer les informations sur une base quasi constante.

Le World Wide Web a posé un casse-tête problématique. Plutôt qu’un ensemble prévisible de documents, un nombre théoriquement infini de sites Web pourrait vivre sur le Web. Celles-ci devaient être stockées dans un index central – qui serait d’une manière ou d’une autre tenu à jour. Et surtout, le contenu de ces sites devait être connecté à tout ce que quelqu’un voulait rechercher, à la volée et en quelques secondes. Le défi s’est avéré irrésistible pour certains chercheurs et universitaires en recherche d’informations. Des gens comme Jonathan Fletcher.

Fletcher, ancien diplômé et employé informatique de l’Université de Stirling en Écosse, n’aimait pas à quel point il était difficile de trouver des sites Web. À l’époque, les gens s’appuyaient sur des listes manuelles, comme la bibliothèque virtuelle WWW gérée au CERN, ou la liste de Mosaic sur http://css-tricks.com/chapter-3-the-website/ «Quoi de neuf» qu’ils mettaient à jour quotidiennement. Fletcher voulait le gérer différemment. «Avec un diplôme en informatique et l’idée qu’il devait y avoir un meilleur moyen, j’ai décidé d’écrire quelque chose qui irait me chercher.»

Il a construit Jumpstation en 1993, l’un des premiers exemples d’index consultable. Son robot d’exploration sortait, suivant autant de liens qu’il le pouvait, et les ramènerait à une base de données centralisée et consultable. Ensuite, ça recommencerait. Pour résoudre le problème de l’immensité illimitée du Web, Fletcher a commencé par explorer uniquement les titres et certaines métadonnées de chaque page Web. Cela a gardé son index relativement petit, mais cela a également limité la recherche aux titres des pages.

Fletcher n’était pas seul. Après avoir bricolé pendant plusieurs mois, WebCrawler a été lancé en avril 1994 à partir de l’Université de Washington. Il a la particularité d’être le premier moteur de recherche à explorer des pages Web entières et à les rendre consultables. En novembre de cette année, WebCrawler avait répondu à 1 million de requêtes. Chez Carnegie Mellon, Michael Maudlin a publié sa propre variante de moteur de recherche basée sur l’araignée nommée pour la traduction latine de l’araignée-loup, Lycos. En 1995, il avait indexé plus d’un million de pages Web.

La recherche n’est pas restée longtemps dans les universités. Les moteurs de recherche avaient un utilitaire unique pour les internautes capricieux à la recherche du site parfait. De nombreux utilisateurs ont démarré leurs sessions Web sur un moteur de recherche. Netscape Navigator – le navigateur numéro un pour les nouveaux utilisateurs Web – connectait les utilisateurs directement aux moteurs de recherche sur leur page d’accueil. Être répertorié par Netscape signifiait des globes oculaires. Et les globes oculaires signifiaient des offres publicitaires lucratives.

Dans la seconde moitié des années 90, un certain nombre d’acteurs majeurs sont entrés sur le marché des moteurs de recherche. InfoSeek, initialement une option de recherche payante, a été repris par Disney et est rapidement devenu le moteur de recherche par défaut de Netscape. AOL s’est précipité et a acheté WebCrawler dans le cadre d’une stratégie audacieuse pour rester compétitif sur le Web. Lycos a été acheté par un capital-risqueur qui l’a transformé en une entreprise entièrement commerciale.

Excite.com, un autre robot d’exploration lancé par des anciens de Stanford et une étoile montante du jeu des moteurs de recherche pour la profondeur et la précision de ses résultats, s’est vu offrir trois millions de dollars peu de temps après son lancement. Ses six co-fondateurs ont aligné deux canapés, l’un en face de l’autre, et en ont parlé toute la nuit. Ils ont décidé de s’en tenir au produit et de recruter un nouveau PDG. Il y aurait beaucoup plus de millions à gagner.

Excite en 1996

AltaVista, déjà un peu en retard dans le jeu à la fin de 1995, a été créé par la Digital Equipment Corporation. Il a été initialement conçu pour démontrer la puissance de traitement des ordinateurs DEC. Ils ont rapidement réalisé que leur robot d’exploration multithread était capable d’indexer des sites Web à un rythme beaucoup plus rapide que leurs concurrents. AltaVista déploierait régulièrement ses robots d’exploration – un chercheur appelé «Couvée d’araignées» – pour indexer des milliers de sites à la fois.

En conséquence, AltaVista a pu indexer la quasi-totalité du Web, soit près de 10 millions de pages Web au lancement. L’année suivante, en 1996, ils en indexeront plus de 100 millions. En raison de l’efficacité et des performances de leurs machines, AltaVista a pu résoudre le problème d’évolutivité. Contrairement à certains de leurs prédécesseurs, ils ont pu rendre le contenu complet des sites Web consultable et ils ont réexploré les sites toutes les quelques semaines, à un rythme beaucoup plus rapide que les premiers concurrents, qui pouvaient mettre des mois à mettre à jour leur index. Ils établissent la norme pour la profondeur et la portée des robots d’exploration Web.

AltaVista en 1996

Jamais complètement au repos, AltaVista a utilisé son moteur de recherche comme un outil d’innovation, expérimentant le traitement du langage naturel, les outils de traduction et la recherche multilingue. Ils étaient souvent en avance sur leur temps, offrant des années de recherche de vidéos et d’images avant que cela ne devienne une fonctionnalité attendue.

Ces araignées qui n’avaient pas été emportées par la ferveur ne pouvaient pas suivre. Les universités hébergeant les premiers moteurs de recherche n’étaient pas du tout ravies de voir leurs connexions Internet gonflées par un trafic qui n’était même pas lié à l’université. La plupart des universités ont forcé la fermeture des premiers moteurs de recherche expérimentaux, comme Jumpstation. Sauf, c’est-à-dire à Stanford.


L’histoire de Stanford avec l’innovation technologique commence dans la seconde moitié du XXe siècle. À ce moment-là, l’université était sur le point de devenir une institution de second rang. Ils avaient perdu du terrain et des contrats lucratifs face à leurs concurrents de la côte Est. Harvard et le MIT sont devenus les sites d’une vague de recherche au lendemain de la Seconde Guerre mondiale. Stanford était laissé pour compte.

En 1951, dans le but d’inverser le cours de leur trajectoire descendante, le doyen de l’ingénierie Frederick Terman a négocié un accord avec la ville de Palo Alto. L’Université de Stanford a accepté d’annexer 700 acres de terrain pour un nouveau parc industriel que les entreprises parvenues en Californie pourraient utiliser. Stanford se rapprocherait de l’innovation énergétique. Les entreprises qui choisiraient de s’y installer obtiendraient un accès unique au corps étudiant de Stanford pour le développement de leurs produits. Et la ville de Palo Alto recevrait un afflux de nouvelles taxes.

Hewlett-Packard a été l’une des premières entreprises à s’implanter. Elles ont inauguré une nouvelle ère d’industrie axée sur l’informatique qui serait bientôt connue sous le nom de Silicon Valley. Le Stanford Research Park (rebaptisé plus tard Stanford Industrial Park) accueillera finalement Xerox à une époque de succès et d’expérimentation rapides. Facebook y passerait ses premières années, devenant le monstre qu’il deviendrait. Au centre de tout cela se trouvait Stanford.

Le parc de recherche a transformé l’université d’un site de stagnation à un site d’entrepreneuriat et de technologie de pointe. Cela les a mis au cœur de l’industrie technologique. Stanford s’intégrera – à la fois sur le plan logistique et financier – dans les développements technologiques cruciaux de la seconde moitié du XXe siècle, notamment Internet et le World Wide Web.

Le succès potentiel de Yahoo !, n’est donc pas passé inaperçu.


Jerry Yang et David Filo n’étaient pas censés travailler sur Yahoo !. Ils étaient cependant censés travailler ensemble. Ils s’étaient rencontrés il y a des années, lorsque David était l’assistant de Jerry dans le programme d’informatique de Stanford. Yang a finalement rejoint Filo en tant qu’étudiant diplômé et – après avoir établi une relation solide – ils se sont rapidement retrouvés à travailler ensemble sur un projet.

Alors qu’ils se sont entassés dans une bande-annonce universitaire pour commencer à travailler sur leur projet de doctorat, leur relation devient ce Yang a souvent décrit comme parfaitement équilibré. «Nous sommes tous les deux extrêmement tolérants l’un envers l’autre, mais extrêmement critiques à l’égard de tout le reste. Nous sommes tous les deux extrêmement têtus, mais très obstinés quand il s’agit de simplement comprendre où nous devons aller. Nous nous donnons l’espace dont nous avons besoin, mais nous nous entraidons également lorsque nous en avons besoin. »

En 1994, Filo a montré à Yang le web. En un seul instant, leur attention a changé. Ils ont poussé leur thèse d’informatique sur le côté, tergiversant dessus en se plongeant dans les profondeurs du World Wide Web. Les jours se sont transformés en semaines qui se sont transformées en mois de navigation sur le Web et d’échange de liens. Les deux ont finalement décidé de combiner leurs listes en un seul endroit, un site Web hébergé sur leur connexion Internet à Stanford. Ça s’appelait Guide de Jerry et David sur le World Wide Web, lancé d’abord aux étudiants de Stanford en 1993, puis au monde en janvier 1994. Aussi accrocheur que ce nom n’était pas, l’idée (et le trafic) a décollé alors que des amis partageaient avec d’autres amis.

Guide de Jerry et David était un annuaire. À l’instar de la bibliothèque virtuelle créée au CERN, Yang et Filo ont organisé des sites Web en diverses catégories qu’ils ont constituées à la volée. Certaines de ces catégories avaient des noms étranges ou salaces. D’autres étaient exactement ce à quoi vous pourriez vous attendre. Lorsqu’une catégorie devenait trop grande, ils la séparaient. C’était ad hoc et maladroit, mais pas sans charme. A travers leurs classements, Yang et Filo avaient donné une personnalité à leur site. Leur personnalité. Plus tard, Yang ferait généralement référence à cela comme “Voix de Yahoo!”

Cette voix est devenue un guide – comme le nom original du site l’indiquait – pour les nouveaux utilisateurs du Web. Leurs concurrents d’exploration du Web étaient beaucoup plus habiles dans l’art d’indexer des millions de sites à la fois. Le site de Yang et Filo ne présentait qu’un petit sous-ensemble du Web. Mais c’était, du moins d’après leur estimation, le meilleur de ce que le Web avait à offrir. C’était le Web cool. C’était aussi un Web beaucoup plus facile à naviguer que jamais.

Jerry Yang (à gauche) et David Filo (à droite) en 1995 (Yahoo, via Flickr)

À la fin de 1994, Yang et Filo ont renommé leur site en Yahoo! (un acronyme forcé maladroit pour Yet Another Hierarchical Officious Oracle). À ce moment-là, ils recevaient près de cent mille visites par jour, supprimant parfois temporairement Internet de Stanford. La plupart des autres universités auraient fermé le site et leur auraient dit de se remettre au travail. Mais pas Stanford. Stanford avait passé des décennies à se préparer à des entreprises sur le campus comme celle-ci. Ils ont maintenu le serveur en marche et ont encouragé ses créateurs à tracer leur propre chemin dans la Silicon Valley.

Tout au long de 1994, Netscape avait inclus Yahoo! dans leur navigateur. Il y avait un bouton dans la barre d’outils intitulé “Net Directory” qui était directement lié à Yahoo !. Marc Andreessen, croyant en l’avenir du site, a accepté d’héberger son site Web sur les serveurs de Netscape jusqu’à ce qu’ils soient en mesure de se stabiliser.

Yahoo! page d’accueil dans Netscape Navigator, vers 1994

Yang et Filo ont retroussé leurs manches et ont commencé à parler aux investisseurs. Cela ne prendrait pas longtemps. Au printemps 1996, ils auraient un nouveau PDG et détiendraient leur propre introduction en bourse, dépassant même leur aimable hôte, Netscape. À ce moment-là, ils sont devenus de loin la destination la plus populaire sur le Web.

Dans l’intervalle, le Web s’était développé bien au-delà de la portée de deux amis échangeant des liens. Ils avaient réussi à catégoriser des dizaines de milliers de sites, mais il y en avait des centaines de milliers d’autres à explorer. «J’imagine Jerry Yang comme Charlie Chaplin dans les temps modernes», un journaliste a décrit, “Confronté à un flux sans fin de nouveaux travaux qui ne fait qu’augmenter en vitesse.” La tâche d’organiser les sites devrait être confiée à quelqu’un d’autre. Yang et Filo ont trouvé de l’aide auprès d’une autre ancienne de Stanford, quelqu’un qu’ils avaient rencontré il y a des années alors qu’ils étudiaient ensemble à l’étranger au Japon, Srinija Srinivasan, diplômée du programme de systèmes symboliques. Bon nombre des premières recrues chez Yahoo! ont reçu des titres légèrement absurdes qui se terminaient toujours par “Yahoo”. Yang et Filo sont passés Chef Yahoos. Le titre du poste de Srinivasan était Yahoo ontologique.

C’est un titre de poste délibéré et précis, et il n’a pas été choisi par accident. L’ontologie est l’étude de l’être, une tentative de briser le monde en ses composantes. Il s’est manifesté dans de nombreuses traditions à travers l’histoire et le monde, mais il est le plus étroitement associé aux disciples de Socrate, dans l’œuvre de Platon, et plus tard dans le texte révolutionnaire. Métaphysique, écrit par Aristote. L’ontologie pose la question «Qu’est-ce qui existe?» Et l’utilise comme une expérience de pensée pour construire une idéologie de l’être et de l’essence.

Au fur et à mesure que les ordinateurs commençaient à exister, l’ontologie a trouvé un nouveau sens dans le domaine émergent de l’intelligence artificielle. Il a été adapté pour s’adapter aux catégorisations hiérarchiques plus formelles requises pour qu’une machine puisse voir le monde; à pense sur le monde. L’ontologie est devenue un moyen fondamental de décrire la façon dont les machines intelligentes décomposent les choses en catégories et partagent les connaissances.

Les définitions duel de l’ontologie de la métaphysique et de l’informatique auraient été familières à Srinija Srinivasan depuis son temps à Stanford. La combinaison de la philosophie et de l’intelligence artificielle dans ses études lui a donné une perspective unique sur les classifications hiérarchiques. C’est cette expérience qu’elle a apportée à son premier emploi après l’université au Cyc Project, un laboratoire de recherche en intelligence artificielle avec un projet audacieux: enseigner le bon sens informatique.

Srinija Srinivasan (Getty Images / James D. Wilson)

Chez Yahoo !, sa tâche n’était pas moins audacieuse. Quand quelqu’un cherchait quelque chose sur le site, il ne voulait pas obtenir une liste aléatoire de résultats pertinents. Ils voulaient le résultat qu’ils étaient réellement penser, mais je ne savais pas trop comment décrire. Yahoo! devait – en quelques secondes – comprendre ce que ses utilisateurs voulaient vraiment. Tout comme son travail dans l’intelligence artificielle, Srinivasan avait besoin d’enseigner à Yahoo! comment réfléchir à une requête et en déduire les bons résultats.

Pour ce faire, elle aurait besoin d’élargir la voix de Yahoo! à des milliers de sites Web supplémentaires dans des dizaines de catégories et sous-catégories sans perdre le point de vue établi par Jerry et David. Elle aurait besoin de mettre à l’échelle cette perspective. «Il ne s’agit pas d’un exercice de tenue de fichiers de base. C’est définir la nature de l’être, » elle a dit un jour de son projet. «Les catégories et les classifications sont la base de chacune de nos visions du monde.»

À un rythme soutenu, elle a cartographié une ontologie de l’expérience humaine sur le site. Elle a commencé à décomposer les catégories de fortune héritées des créateurs du site, les reconstituant en index plus concrets et trouvables. Elle a créé de nouvelles catégories et détruit les anciennes. Elle a subdivisé les sujets existants en de nouveaux sujets plus précis. Elle a commencé à croiser les résultats afin qu’ils puissent vivre dans plusieurs catégories. En quelques mois, elle avait remanié le site avec une nouvelle hiérarchie.

Cette ontologie hiérarchique, cependant, n’était qu’une ligne directrice. La force de l’expansion de Yahoo! Résidait dans la cinquantaine de gestionnaires de contenu qu’elle avait embauchés entre-temps. Ils étaient connus comme des surfeurs. Leur travail consistait à surfer sur le Web – et à l’organiser.

Chaque internaute a été coaché ​​dans la méthodologie de Yahoo! mais se sont retrouvés avec une quantité surprenante de liberté éditoriale. Ils ont cultivé l’annuaire avec leurs propres intérêts, délibérant méticuleusement sur les sites Web et leur place. Chaque décision pouvait être ardue, et il y avait des faux pas et des éléments mal classés en cours de route. Mais en permettant à la personnalité individuelle de dicter les choix hiérarchiques, Yahoo! a conservé sa voix.

Ils ont rassemblé autant de sites que possible, en ajoutant des centaines chaque jour. Yahoo! les internautes n’ont pas tout révélé sur le Web aux visiteurs de leur site. Ils leur ont montré ce qui était cool. Et cela signifiait tout pour les utilisateurs qui saisissaient pour la toute première fois ce que le Web pouvait faire.


Fin 1995, le Yahoo! le personnel surveillait de près leur trafic. Blottis autour des consoles, les employés vérifiaient leurs journaux encore et encore, à la recherche d’une baisse du nombre de visiteurs. Yahoo! avait été la destination du bouton «Annuaire Internet» sur Netscape pendant des années. Cela avait été la source de leur croissance et de leur trafic. Netscape avait pris la décision, à la dernière minute (et apparemment au hasard), de laisser tomber Yahoo !, en les remplaçant par les nouveaux enfants du quartier, Excite.com. Meilleur scénario: une baisse gérable. Pire cas: la disparition de Yahoo !.

Mais la goutte n’est jamais venue. Un jour passa, puis un autre. Et puis une semaine. Et puis quelques semaines. Et Yahoo! est resté le site Web le plus populaire. Tim Brady, l’un des premiers employés de Yahoo!, décrit le moment avec une sérieuse surprise. «C’était comme si le sol avait été retiré en l’espace de deux jours, et nous étions toujours debout. Nous regardions autour de nous, attendant que les choses s’effondrent de bien des façons. Et nous étions comme, je suppose que nous sommes seuls maintenant. “

Netscape ne garderait pas longtemps son bouton de répertoire exclusif. En 1996, ils commenceraient à autoriser d’autres moteurs de recherche à être répertoriés dans la fonction de «recherche» de leur navigateur. Un utilisateur peut cliquer sur un bouton et une liste déroulante d’options apparaît, moyennant des frais. Yahoo! se sont rachetés dans le menu déroulant. Ils ont été rejoints par quatre autres moteurs de recherche, Lycos, InfoSeek, Excite et AltaVista.

À ce moment-là, Yahoo! était le leader sans égal. Elle avait transformé son avantage de premier arrivé en une nouvelle stratégie, renforcée par une introduction en bourse réussie et un afflux de nouveaux investissements. Yahoo! voulait être bien plus qu’un simple moteur de recherche. La transformation de leur site sera finalement appelée un portail. C’était un emplacement central pour tous les besoins possibles sur le Web. Grâce à un certain nombre d’expansions de produits et d’acquisitions agressives, Yahoo! a publié une nouvelle suite de produits numériques de marque. Besoin d’envoyer un email? Essayez Yahoo! Courrier. Vous cherchez à créer un site Web? Il y a Yahoo! Géocités. Vous souhaitez suivre votre emploi du temps? Utilisez Yahoo! Calendrier. Et sur et sur la liste est allé.

Yahoo! en 1996

Les concurrents se sont précipités pour combler le vide de la fente n ° 2. En avril 1996, Yahoo !, Lycos et Excite sont tous devenus publics à la flambée des cours des actions. Infoseek a eu leur offre initiale seulement quelques mois plus tard. De grosses transactions se sont heurtées à des plans audacieux pour l’avenir. Excite a commencé à se positionner comme une alternative plus dynamique à Yahoo! avec des résultats de recherche plus précis sur une plus grande partie du Web. Lycos, quant à lui, tout sauf le moteur de recherche qui leur avait valu le succès initial de poursuivre le plan de jeu basé sur le portail qui avait été une aubaine pour Yahoo !.

Les médias ont surnommé la concurrence la «guerre des portails», un moment éphémère de l’histoire du Web où des millions de dollars ont été investis dans une seule stratégie. Être le plus grand, le meilleur portail centralisé pour les internautes. Tout service qui offrait aux utilisateurs une destination sur le Web était jeté dans l’arène. Rien de moins que l’avenir du Web (et une industrie publicitaire d’un milliard de dollars) était en jeu.

À certains égards, cependant, les guerres de portail étaient terminées avant qu’elles ne commencent. Lorsque Excite a annoncé une gigantesque fusion avec @Home, un fournisseur d’accès Internet, pour combiner leurs services, tout le monde n’a pas pensé que c’était une sage décision. «AOL et Yahoo! étaient déjà en tête, » un investisseur et vétéran de l’industrie du câble a noté, “Et il n’y avait pas de place pour un portail numéro trois.” AOL avait juste assez de muscle et d’influence pour se frayer un chemin dans la fente n ° 2, mordillant les talons de Yahoo !. Tout le monde devrait affronter Goliath. Personne n’a jamais réussi à y parvenir.

En luttant pour dominer le marché, la plupart des moteurs de recherche avaient tout simplement perdu la trace de la recherche. Enterré quelque part à côté de votre e-mail, de votre téléscripteur boursier et de votre flux sportif était, dans la plupart des cas, un moteur de recherche de second ordre que vous pouviez utiliser pour trouver des choses – mais pas souvent et pas bien. C’est pourquoi c’était si rafraîchissant quand un autre moteur de recherche de Stanford a été lancé avec un seul champ de recherche et deux boutons, son logo lumineux et multicolore collé en haut.


Quelques années après son lancement, Google figurait sur la liste des sites les plus populaires. Dans une interview avec PBS Newshour en 2002, le co-fondateur Larry Page décrit leur vision à long terme. «Et, en fait, le moteur de recherche ultime, qui comprendrait, vous savez, exactement ce que vous vouliez lorsque vous tapiez une requête, et il vous donnerait exactement la bonne chose, en informatique, nous appelons cela l’intelligence artificielle.»

Google aurait pu commencer n’importe où. Cela aurait pu commencer par n’importe quoi. Un employé se souvient d’une conversation antérieure avec les fondateurs du site où il a été dit «nous ne sommes pas vraiment intéressés par la recherche. Nous fabriquons une A.I. » Larry Page et Sergey Brin, les créateurs de Google, n’essayaient pas de créer le meilleur moteur de recherche du Web. Ils essayaient de créer le site Web le plus intelligent du Web. La recherche n’était que leur point de départ le plus logique.

Imprécis et maladroits, les moteurs de recherche basés sur les araignées de 1996 ont fait face à une bataille difficile. AltaVista avait prouvé que l’intégralité du Web, soit des dizaines de millions de pages Web, pouvait être indexée. Mais à moins que vous ne sachiez comment contourner quelques commandes logiques booléennes, il était difficile de faire en sorte que l’ordinateur renvoie les bons résultats. Les robots n’étaient pas encore prêts à déduire, selon les mots de Page, «exactement ce que vous vouliez».

Yahoo! avaient comblé ces failles de la technologie avec leurs surfeurs. Les internautes ont pu corriger le cours des ordinateurs, en concevant leur répertoire morceau par morceau plutôt que de s’appuyer sur un algorithme. Yahoo! est devenu un arbitre d’un certain type de chic en ligne; les créateurs de goût repensés pour l’ère de l’information. Les internautes de Yahoo! définir des tendances qui dureront des années. Votre site vivrait ou mourrait de leur main. Les machines ne pouvaient pas faire ce travail seules. Si vous vouliez que vos machines soient intelligentes, vous aviez besoin de personnes pour les guider.

Page et Brin n’étaient pas d’accord. Ils pensaient que les ordinateurs pouvaient très bien gérer le problème. Et ils voulaient le prouver.

Cette confiance inébranlable en viendrait à définir Google bien plus que leur devise «ne soyez pas maléfique». Au début, leur concentration laser sur la conception d’un avenir différent pour le Web les laisserait aveugles à la routine quotidienne du présent. Non pas une, mais deux fois, des chèques à l’ordre de l’entreprise pour des centaines de milliers de dollars ont été déposés dans des tiroirs de bureau ou des coffres de voiture jusqu’à ce que quelqu’un prenne enfin le temps de les déposer. Et ils faisaient souvent les choses différemment. Les bureaux de Google, par exemple, ont été construits pour simuler un dortoir d’université, un environnement que les fondateurs jugeaient le plus propice aux grandes idées.

Google finirait par construire un empire littéral au-dessus d’une infrastructure sophistiquée et de classe mondiale de leur propre conception, alimentée par le mécanisme publicitaire le plus élaboré et complexe (et sans doute invasif) jamais construit. Rares sont les entreprises aussi importantes que Google. Celui-ci, comme d’autres, a commencé à Stanford.


Même parmi les experts en intelligence artificielle les plus renommés, Terry Winograd, informaticien et professeur de Stanford, se démarque dans la foule. Il était également le conseiller et le mentor de Larry Page lorsqu’il était étudiant diplômé du département d’informatique. Winograd a souvent rappelé les propositions peu orthodoxes et uniques qu’il recevrait de Page pour son projet de thèse, dont certaines impliquaient «des attaches spatiales ou des cerfs-volants solaires». «C’était de la science-fiction plus que de l’informatique», il remarquerait plus tard.

Mais malgré tous ses envolées fantaisistes d’imagination, Page est toujours revenu sur le World Wide Web. Il a trouvé sa structure d’hyperliens fascinante. Ses liens à sens unique – un ingrédient essentiel du succès du Web – ont conduit à une prolifération colossale de nouveaux sites Web. En 1996, lorsque Page a commencé à regarder le Web, des dizaines de milliers de sites étaient ajoutés chaque semaine. Le coup de maître du Web était de permettre des liens qui ne voyageaient que dans une seule direction. Cela a permis au Web d’être décentralisé, mais sans une base de données centrale de liens de suivi, il était presque impossible de collecter une liste de tous les sites liés à une page Web particulière. Page voulait créer un graphique de qui établissait un lien vers qui; un index qu’il pourrait utiliser pour renvoyer des sites Web connexes.

Page a compris que le lien hypertexte était un analogue numérique aux citations universitaires. Un indicateur clé de la valeur d’un article académique particulier est le nombre de fois où il a été cité. Si un article est souvent cité (par d’autres articles de haute qualité), il est plus facile de garantir sa fiabilité. The web works the same way. The more often your site is linked to (what’s known as a backlink), the more dependable and accurate it is likely to be.

Theoretically, you can determine the value of a website by adding up all of the other websites that link to it. That’s only one layer though. If 100 sites link back to you, but each of them has only ever been linked to one time, that’s far less valuable than if five sites that each have been linked to 100 times link back to you. So it’s not simply how many links you have, but the quality of those links. If you take both of those dimensions and aggregate sites using backlinks as a criteria, you can very quickly start to assemble a list of sites ordered by quality.

John Battelle describes the technical challenge facing Page in his own retelling of the Google story, The Search.

Page realized that a raw count of links to a page would be a useful guide to that page’s rank. He also saw that each link needed its own ranking, based on the link count of its originating page. But such an approach creates a difficult and recursive mathematical challenge — you not only have to count a particular page’s links, you also have to count the links attached to the links. The math gets complicated rather quickly.

Fortunately, Page already knew a math prodigy. Sergey Brin had proven his brilliance to the world a number of times before he began a doctoral program in the Stanford computer science department. Brin and Page had crossed paths on several occasions, a relationship that began on rocky ground but grew towards mutual respect. The mathematical puzzle at the center of Page’s idea was far too enticing for Brin to pass up.

He got to work on a solution. “Basically we convert the entire Web into a big equation, with several hundred million variables,” he would later explain, “which are the page ranks of all the Web pages, and billions of terms, which are the links. And we’re able to solve that equation.” Scott Hassan, the seldom talked about third co-founder of Google who developed their first web crawler, summed it up a bit more concisely, describing Google’s algorithm as an attempt to “surf the web backward!”

The result was PageRank — as in Larry Page, not webpage. Brin, Page, and Hassan developed an algorithm that could trace backlinks of a site to determine the quality of a particular webpage. The higher value of a site’s backlinks, the higher up the rankings it climbed. They had discovered what so many others had missed. If you trained a machine on the right source — backlinks — you could get remarkable results.

It was only after that that they began matching their rankings to search queries when they realized PageRank fit best in a search engine. They called their search engine Google. It was launched on Stanford’s internet connection in August of 1996.

Google in 1998

Google solved the relevancy problem that had plagued online search since its earliest days. Crawlers like Lycos, AltaVista and Excite were able to provide a list of webpages that matched a particular search. They just weren’t able to sort them right, so you had to go digging to find the result you wanted. Google’s rankings were immediately relevant. The first page of your search usually had what you needed. They were so confident in their results they added an “I’m Feeling Lucky” button which took users directly to the first result for their search.

Google’s growth in their early days was not unlike Yahoo!’s in theirs. They spread through word of mouth, from friends to friends of friends. By 1997, they had grown big enough to put a strain on the Stanford network, something Yang and Filo had done only a couple of years earlier. Stanford once again recognized possibility. It did not push Google off their servers. Instead, Stanford’s advisors pushed Page and Brin in a commercial direction.

Initially, the founders sought to sell or license their algorithm to other search engines. They took meetings with Yahoo!, Infoseek and Excite. No one could see the value. They were focused on portals. In a move that would soon sound absurd, they each passed up the opportunity to buy Google for a million dollars or less, and Page and Brin could not find a partner that recognized their vision.

One Stanford faculty member was able to connect them with a few investors, including Jeff Bezos and David Cheriton (which got them those first few checks that sat in a desk drawer for weeks). They formally incorporated in September of 1998, moving into a friend’s garage, bringing a few early employees along, including symbolics systems alumni Marissa Mayer.

Larry Page (left) and Sergey Brin (right) started Google in a friend’s garage.

Even backed by a million dollar investment, the Google founders maintained a philosophy of frugality, simplicity, and swiftness. Despite occasional urging from their investors, they resisted the portal strategy and remained focused on search. They continued tweaking their algorithm and working on the accuracy of their results. They focused on their machines. They wanted to take the words that someone searched for and turn them into something actually meaningful. If you weren’t able to find the thing you were looking for in the top three results, Google had failed.

Google was followed by a cloud of hype and positive buzz in the press. Writing in Newsweek, Steven Levy described Google as a “high-tech version of the Oracle of Delphi, positioning everyone a mouse click away from the answers to the most arcane questions — and delivering simple answers so efficiently that the process becomes addictive.” It was around this time that “googling” — a verb form of the site synonymous with search — entered the common vernacular. The portal wars were still waging, but Google was poking its head up as a calm, precise alternative to the noise.

At the end of 1998, they were serving up ten thousand searches a day. A year later, that would jump to seven million a day. But quietly, behind the scenes, they began assembling the pieces of an empire.

As the web grew, technologists and journalists predicted the end of Google; they would never be able to keep up. But they did, outlasting a dying roster of competitors. In 2001, Excite went bankrupt, Lycos closed down, and Disney suspended Infoseek. Google climbed up and replaced them. It wouldn’t be until 2006 that Google would finally overtake Yahoo! as the number one website. But by then, the company would transform into something else entirely.

After securing another round of investment in 1999, Google moved into their new headquarters and brought on an army of new employees. The list of fresh recruits included former engineers at AltaVista, and leading artificial intelligence expert Peter Norving. Google put an unprecedented focus on advancements in technology. Better servers. Faster spiders. Bigger indexes. The engineers inside Google invented a web infrastructure that had, up to that point, been only theoretical.

They trained their machines on new things, and new products. But regardless of the application, translation or email or pay-per-click advertising, they rested on the same premise. Machines can augment and re-imagine human intelligence, and they can do it at limitless scale. Google took the value proposition of artificial intelligence and brought it into the mainstream.

In 2001, Page and Brin brought in Silicon Valley veteran Eric Schmidt to run things as their CEO, a role he would occupy for a decade. He would oversee the company during its time of greatest growth and innovation. Google employee #4 Heather Cairns recalls his first days on the job. “He did this sort of public address with the company and he said, ‘I want you to know who your real competition is.’ He said, ‘It’s Microsoft.’ And everyone went, What?

Bill Gates would later say, “In the search engine business, Google blew away the early innovators, just blew them away.” There would come a time when Google and Microsoft would come face to face. Eric Schmidt was correct about where Google was going. But it would take years for Microsoft to recognize Google as a threat. In the second half of the 1990’s, they were too busy looking in their rearview mirror at another Silicon Valley company upstart that had swept the digital world. Microsoft’s coming war with Netscape would subsume the web for over half a decade.

Enjoy learning about web history with stories just like this? Jay is telling the full story of the web, with new stories every 2 weeks. Sign up for his newsletter to catch up on the latest… of what’s past.

Close Menu