La versión de Linux que usa Google

Publicado el 8-11-2009 a las 17:11 por Franco Catrin

tux Google es probablemente la organización en donde está corriendo la mayor cantidad de sistemas Linux. Gracias a este sistema operativo fue posible crear un esquema de trabajo distribuido y a la medida que fuera suficientemente independiente para permitir convertir una tesis en lo que hoy es Google.

Pero hasta hace poco, no se sabía mucho de qué uso y qué tipo de problemas encontraba Google en su intensivo uso de Linux. Digo hasta hace poco porque en el reciente Kernel Summit realizado en Japón, Mike Waychison de Google asistió para exponer a los principales hackers del kernel, el uso que este gigante informático le da a Linux.

Google usa un sistema de control de versiones del software bastante arcaico para lo que está acostumbrada la comunidad del código abierto, lo que provocó risas en los asistentes. Se trata de Perforce, y en comparación a nuevos sistemas como Git, tiene limitaciones o modos de trabajo que uno jamás pensaría que tendrían en Google. No es de extrañar el interés despertado en los asistentes a la presentación que hizo Linus Torvalds sobre Git en Google hace un tiempo atrás.

Y eso es sólo el comienzo, ya que Google maneja versiones bastante atrasadas de Linux. Alrededor de 30 ingenieros trabajan sobre una única base de código, aplican cambios y aproximadamente cada 18 meses sincronizan su propia versión con una versión pública de Linux. Al ritmo que se desarrolla el kernel, la cantidad de cambios acumulados en todo ese tiempo lo convierten en una tarea titánica.

Es tanto así, que muchas de las lineas de código que Google agrega a su propia versión son funcionalidades que se han implementado en Linux pero que no existían en la versión que usaron como base. Así sucedió por ejemplo con el soporte de 64-bit y el soporte de SATA. Actualmente se están preparando para mezclar con 2.6.26, mientras que la versión pública ya se acerca a 2.6.32. Los cambios de Google serán aproximadamente 300.000 líneas de código en donde un 25% corresponde a backports de nuevas características.

El código es horrible

Linus Torvalds quien obviamente estaba presente y no fue sólo a sacarse fotos a Japón, preguntó por qué Google no aplicaba sus cambios al kernel público. Mike respondió que el código era bastante horrible y basado en versiones antiguas de Linux, además de que no tenían seguridad de que los cambios aplicados por ellos tuvieran alguna utilidad para otros y que probablemente sólo la mitad de éste sería publicable. Hay que recordar que licencias como GPL no obligan a publicar el código que se usa internamente, por lo que Google está en su derecho de no publicar sus cambios.

Otro aspecto importante es que los estándares para aceptar código en el kernel son bastante altos, por lo tanto un cambio que Google puede hacer rápidamente se convertiría en un proyecto de largo o mediano plazo al entrar en un proceso más exigente como es el desarrollo de Linux.

Mike también habló de uno de los aspectos críticos del kernel para Google, que es la forma en que se ejecutan los procesos. En un sistema multihilos como Linux, existe un componente que se encarga de decidir qué proceso usará la CPU en un momento determinado, este componente se llama scheduler o planificador. Para Google se trata de un componente en donde los cambios tienen un alto impacto, ya que en sus sistemas corren unos 5000 hilos en 16 a 32 cores, mientras que en el equipo de Linux este aspecto se ataca con criterios de diseño que apuntan a un uso más tradicional.

En general Google aplica varios cambios a medida que los necesita, en forma independiente a cómo se implementan en el kernel, hasta que llega el momento de cambiar de versión. Según los asistentes, esta participación en Linux Summit fue bastante productiva ya que se puede decir que la comunidad aprendió mucho de uno de sus principales y extremos usuarios.

Link: How Google uses Linux (LWN.net)

Publicado por Franco Catrin el 8 de November 2009 en la categoría Destacados, Software con los tags Google, Kernel, Linus Torvalds, Linux. Tiene 54 comentarios.

54 Comentarios

La versión de Linux que usa Google

Deja tu Comentario ↓

Desaprobar Aprobar 25resident dijo el 8-11-2009 a las 17:17:

misch este google trabaja a la segura

Desaprobar Aprobar 26Shoiko dijo el 8-11-2009 a las 17:24:

puta que son pillos estos wns

Desaprobar Aprobar 62migovilo dijo el 8-11-2009 a las 17:24:

Un Linux adaptado a la medida de las necesidades. ¡Excelente! Esto solo es posible gracias al código abierto.

Desaprobar Aprobar -196rodrigo dijo el 8-11-2009 a las 17:28:

Bastante bueno el post pero aun a catrin le falta q aprender , deberia tomar de maestro a tomas polak quien es bastante mas activo en el mundo opensource y cuyos logros son muy superiores a Fcatrin, por algo polak ya no esta aca , fw le kedo chico , pero catrin si , de todas formas se agradece el esfuerzo.

Desaprobar Aprobar 30TU_PADRE dijo el 8-11-2009 a las 17:31:

rodrigo weon, aprende a tomar clases tu.. Fcatrin es la onda con este tipo de posts.

Desaprobar Aprobar -25fw dijo el 8-11-2009 a las 17:35:

Eeeeh! Una noticia interesante..por fin de vuelta a FW

Desaprobar Aprobar 11DTM dijo el 8-11-2009 a las 17:40:

Definitivamente trabajan MUY a la segura y sólo confian en los cambios que ellos hacen, aunque como ellos mismos lo dijeron su codigo puede no cumplir los estandares para ser publicado,en fin, esto solo es posible con un sistema totalmente modificable como lo es Linux, en eso no hay quien les gane.

Desaprobar Aprobar -147ALF dijo el 8-11-2009 a las 17:42:

ah ya regreso el ¡imbecil! de franco y sus noticias gay

Desaprobar Aprobar 56Leonardo dijo el 8-11-2009 a las 17:43:

Si el código es horrible entonces estoy capacitado para trabajar en google!

Desaprobar Aprobar -153ALF dijo el 8-11-2009 a las 17:46:

franco te tengo una pregunta tomas polak es el maestro que te violo y te metio la verga de pingüino y que por cierto no te la has podido sacar ?

Desaprobar Aprobar -72Alexis dijo el 8-11-2009 a las 17:51:

yeah!… le dire a mi abuelita que puede configurar a su medida el linux, para que pueda hacer lo que ella quiera.. gracias por el dato!

Desaprobar Aprobar 21si po dijo el 8-11-2009 a las 18:05:

Me lo creo 100%
En casa del herrero cuchillo de palo

Desaprobar Aprobar -73lector decepcionado dijo el 8-11-2009 a las 18:13:

jaja que bakan que google se aproveche del trabajo gratis sin devolverles nada, sigan chupandosela a google, una corporación igual o peor a microsoft, pero que “no es microsoft”

imbéciles

Desaprobar Aprobar 24irene dijo el 8-11-2009 a las 18:19:

muy interesate, Bueno saber que un grande como google usa linux tambien

y los trolls … bueno son trolls no mas

Desaprobar Aprobar -1Claudio dijo el 8-11-2009 a las 18:27:

Grande google!

Desaprobar Aprobar 45r3pt4r dijo el 8-11-2009 a las 18:37:

Oigan más respeto para los editores de FW, si no les gustan los temas, pues no los vean, pero no critiquen ni ofendan.

Desaprobar Aprobar -19JansDark dijo el 8-11-2009 a las 18:40:

Como quieren competir con los Big del Software

Desaprobar Aprobar 4Antigueño dijo el 8-11-2009 a las 18:41:

Sin duda hay que recordar que muchas modificaciones que Google he hace al código son solo útiles en los mismos escenarios… seguramente no tan útiles para incorporarlos al código general de la nube de usuarios linux.

Franco Catrin dijo el 8-11-2009 a las 19:08:

@Leonardo

Una cosa es que el código sea horrible, otra cosa es que sea una implementación brillante. En Linux piden al menos lo primero, lo segundo es selección natural como diría Darwin.

Franco Catrin dijo el 8-11-2009 a las 19:09:

@r3pt4r

Tranquilo. A mi me da lo mismo. Cada uno sabe quien es.

Desaprobar Aprobar 40Alex dijo el 8-11-2009 a las 19:10:

Google se va a la segura utilizando un kernel ultraprobado que funciona excelente en sus granjas de servidores, dudo mucho que la ~~vieja qlia~~ de la abuela de Alexis tenga una granja de servidores en donde pueda aplicar un kernel altamente configurado.

Google aporta bastante y no solo al software libre, sino que también al público en general, apoyando y financiando proyectos de código libre, entregando aplicaciones gratuitas, etc. Así que lector decepcionado, me podrias indicar en que te afecta Google para que puedas decir con tanta seguridad que Google es peor que Microsoft???

Si de hablar webadas pagaran, algunos estarían podridos en plata.

Y ALF, qué onda con Franco, no te quiso meter la tula y quedaste como gay resentido?

Desaprobar Aprobar 0Davor dijo el 8-11-2009 a las 19:50:

Hace unos años leí un paper acerca de GoogleFS, el sistema de archivos distribuído que utilizan en Google (creo que lo bajé de Google labs). Bastante interesante.

Para el diseño de éste tomaron como premisa que los computadores sobre los que se ejecutaba era basura y se pasaban cayendo (ya sea falla de soft o hardware). Puros cacharros con Linux. Es decir, no confiaban en Linux o_O

Deben tener otros equipos muy high end, de eso no me cabe duda. Pero parte importante son (o eran cuando salió ese paper) puros cacharros que pasaban cambiando.

- Davor

Franco Catrin dijo el 8-11-2009 a las 20:00:

@Davor

En realidad el enfoque es otro. Es un esquema similar al de internet, en donde el sistema completo es tolerable a fallas, asumiendo de que de partida esas fallas van a existir por cualquier motivo.

Si lees el paper original, verás que el sistema estaba pensado para funcionar en un sistema Unix como Solaris o Linux en este caso, por lo que el problema de que se caiga o no, es independiente del sistema operativo.

La idea de fondo que hay en estos conceptos es que es mucho más barato tener una gran cantidad de máquinas baratas que hagan el mismo o más trabajo que una sola gran máquina carísima. Hay que verlo desde el punto de vista de esos años en donde lo que predominaba eran las máquinas caras y potentes.

El mismo concepto de tolerancia a fallas y flexibilidad para escalar después se conoció como Grid y que ahora en su n-esima derivada le llaman Cloud.

Desaprobar Aprobar 5Leonardo dijo el 8-11-2009 a las 20:02:

@Franco Catrin: jajaja era en tono de broma =D el texto está más que claro. Saludos!

Desaprobar Aprobar 7(_--)a[ ] dijo el 8-11-2009 a las 20:38:

Interesante la nota.
Si no fuera por el uso del codigo abierto y modificado a la medida, no tendriamos todos los servicios que disponemos como usuarios de google y ademas, sin tener que pagar, no como otros. El dia que google empiece a cobrar por sus herramientas gratuitas, sera el acabose del mundo (2012). En ese sentido, por el momento se benefician todos, los usuarios, google que le pega el palo a los que tienen dinero como los de la publicidad, estos tienen para regalar, total el dinero lo consiguen de sus clientes, del dinero que han ganado apostando en los casinos como el de wall street.

En cierto modo, google me recuerda a robin hood. Le quita el dinero a los ricos, para repartirlo despues, a los pobres usuarios desemparados y oprimidos por los tributos, y vasallaje a las licencias.

Me recuerda la formula uno donde cada avance tecnologico aplicado en los monoplazas, mas de alguno, pasa despues a integrarse a los automoviles de serie. Ahora, evitando la parte arcaica del kernel, los desarrolladores pueden extraer mucho de las partes musculosas del kernel modificado de google, como el planificador de tareas aplicado de manera intensiva con extra tocino. Es cierto que como usuario promedio, jamas pondra a correr cientos de aplicaciones a la vez, pero tener en cuenta hasta donde llegan los limites (y si es que tiene) del kernel linux en aplicaciones criticas, suena interesante.

Que habran aprendido los de google en el summit kernel de parte de la comunidad, quizas la necesidad de actualizar el sistema de control de versiones del software como prioridad (demas que ya lo han considerado y estudiado), no creo que les cueste caro y tengan que traspasar el costo a sus usuarios como otros.

Estas iniciativas son positivas para compartir experiencias, por la vitrina que agrega google y su experiencia con el codigo abierto (tienen intenciones altruista como por ejemplo acabar con microsoft) que es importante y hacen volver la vista hacia el gnu/linux de usuarios de otros sistemas, empresas, gobiernos, permitiendo que estos se planteen considerar el codigo abierto como una alternativa real.

Espero que del summit kernel se saque mucha experiencia e historias sabrosas de bohemios.

Desaprobar Aprobar -8Alexis dijo el 8-11-2009 a las 20:48:

@Alex.. jaja me das risa.. XDDD.. nunca puedes hacer comentarios sin escribir un garabato en la oracion XDDDDD..

Desaprobar Aprobar -1Manu dijo el 8-11-2009 a las 21:24:

Google está creando todo lo que necesitamos para trabajar dentro de la web. Y otras muchas empresas están creando lo que necesitamos para jugar. Una vez esté todo en la web, ya dará lo mismo que usemos Windows o Linux.

Lo que… provocará lo inevitable. Que al igual que cada vez mas usuarios usan Firefox, haya mas y mas usuarios que usan Linux por que es mejor, mas rápido y le ofrece lo mismo que Windows al usuario novel o medio.

Chrome es el paso, inesperado, que ha permitido que Google meta el pié donde mas le importa para que, cuando Microsoft reciba su merecida zancadilla por parte del tejido empresarial global, él esté justo en el sitio adecuado para dar el siguiente paso, ese que no va a dar Microsoft por haber fallecido de codicia.