C'est à l'occasion d'une visite sur le salon Big Data Paris que nous avons rencontré Doug Cutting. Ce héraut de l'open source est le créateur de Lucene, Avro, Nutch, MapReduce, et au final Hadoop. Il est également co-fondateur de Cloudera. Il évoque pour nous sa vision de Hadoop, ainsi que l'investissement massif - 750 millions de dollars (!) - d'Intel dans sa société. (Interview vidéo en anglais)
Aujourd'hui connu comme étant à l'origine de Hadoop, Doug Cutting est une figure célèbre de la Silicon Valley et du monde de l'open source. Il a trainé ses guêtres chez Excite (un moteur de recherche qui a précédé Google), Apple et Xerox, avant de rejoindre les Google Labs, puis Yahoo, et enfin Cloudera, l'un des leaders du Big Data Hadoop.
Doug Cutting est également à l'origine des projets Lucene, une librairie logicielle d’indexation des recherches ; Avro, un système de sérialisation des données ; et de Nutch, un crawler (robot d'indexation d'un moteur de recherche) open source qui d'ailleurs équipe Wikipedia. Tous sont hébergés par la Fondation Apache.
De Google à Yahoo, et Hadoop
Chez Google, il développe l'algorithme de MapReduce, un framework de parallèlisation de clusters de serveurs. Mais Google veut se réserver les résultats du projet open source. Doug Cutting rejette cette approche et rejoint Yahoo, qui va héberger un temps les prémisses du Big Data qui prend me nom de Hadoop, dont MapReduce est un module (nous reviendrons sur l'histoire du nom Hadoop et du logo à l'éléphant dans une seconde et courte vidéo). Il réalisera, en 2008, le premier grand projet Hadoop, Yahoo! Search Webmap, avec son cluster de 10.000 coeurs Linux.
En 2009, Yahoo rend le code public. Mais à l'époque Yahoo va mal et les équipes de développements Hadoop se séparent : en une spin-off, Hortonworks, et deux autres créations, Cloudera et MapR. Doug Cutting rejoint alors Clouera, créée par deux de ses amis. Il n'a pas quitté la start-up qui a dépassé le milliard de dollars d'investissements levés (dont 750 millions $ pour le seul Intel !). Il est désormais le Chief Architect de Cloudera, et accessoirement (!) de président du board.
Doug Cutting répond à IT Social
Dans cette interview exclusive, Doug Cutting nous parle de sa vision et de ses projets sur Hadoop, l'évolution de Hadoop, ses business cases, sa nouvelle stratégie de hub, et l'arrivée d'Intel avec ses 750 millions $ investis.
L'interview vidéo de Doug Cutting sur notre chaine vidéo Youtube :
