Exceso de datos: ¿Llegaremos a un colapso?
(cc) kattanapilot
Dicen que demasiada información puede volverte loco, y quizás eso es lo que le pasa a nuestro mundo en la actualidad. El vicepresidente de supercomputadoras de IBM, Dave Turek, hizo notar en una editorial de BusinessWeek la gran cantidad de datos que estamos generando día a día en el mundo.
Por ejemplo, entre el inicio de la historia humana y el año 2003, nuestra especie generó 5 exabytes (5.000 millones de GB) de información. En 2011, empezamos a generar 5 exabytes de datos cada dos días, y en 2013, se espera que esa cantidad se genere cada 10 minutos. ¿Mucho?
No cabe duda de que la información que producimos es mucha más de la que podemos abarcar – la pregunta es, ¿esto nos volverá locos? ¿Cuánto podemos aguantar antes de que lleguemos a un colapso, mental y financiero?
Muchos tienden a olvidar que los datos, aunque estén “en la nube”, ocupan espacio en servidores y discos duros, y las máquinas que los almacenan deben ser mantenidas, asunto que cuesta mucho dinero en mantener – para IBM, el costo de 1 exabyte está en torno a los USD$10 millones.
Hasta ahora, la mayoría de los ingenieros e investigadores tecnológicos confiaban en que operaría la Ley de Moore, que asegura que la densidad de los transistores de computadoras se doblará cada 18 meses aproximadamente, haciendo que las máquinas – y el almacenamiento – se vuelvan cada vez más pequeños. La predicción de Moore ha funcionado hasta el momento, sin embargo, en la actualidad hay varias voces que sugieren que nos estamos acercando al límite – el final de esta ley.
Dave Turek señala que a medida que los chips se vuelven más densos y más pequeños, también generan más calor, lo que significa que se requiere más energía para enfriarlos. Algunos han sugerido trasladar los datacenter a los extremos polares, una solución que podría no ser muy inteligente si consideramos los daños que podría producir al medioambiente.
Otra sugerencia menos invasiva es crear máquinas de grafeno y otros nanomateriales, o lograr los computadores cuánticos, dejando de lado el silicio. La duda es si esto se logrará en los próximos 10 a 15 años, momento en que se cree que alcanzaremos un límite.
Según explica el físico teórico Michio Kaku, “el problema es que un chip Pentium tiene hoy una capa de apenas 20 átomos de espacio. 20 átomos. Cuando esa capa llegue a unos 5 átomos, se acabó todo. Tienes dos efectos, primero el calor. La generación de calor será tan grande que el chip se derretirá”, explica. “El segundo es la filtración. (…) Ya no sabes dónde está el electrón, lo que significa que podría estar fuera de los cables, fuera del chip o adentro. Hay un límite final impuesto por las leyes de la termodinámica y la mecánica cuántica respecto de cuánto poder computacional puedes lograr con el silicio”, afirma.
Por cierto, también hay una teoría que dice que llegaremos a un límite de la información que podemos producir, debido a nuestra propia inhabilidad mental para procesar todo. De acuerdo a esta teoría, estamos limitados en la cantidad de información que generamos por nuestra habilidad para consumirla.
La solución no está clara, aunque existen varias posibilidades para resolver este problema que no muchas veces tomamos en cuenta. ¿Encontraremos la manera de salir adelante antes de caer en el colapso?
Links:
- The case agains digital sprawl (BusinessWeek)
- Michio Kaku: Tweaking Moore’s Law ad the computers of the post-silicon era (Big Think)
- Is big data leading us to financial and mental bankrupcy? (The Verge)
Yahoo confirma la compra de Tumblr por USD$1.10...
Julian Assange asegura que Wikileaks no ha prov...
Pyton S3, un dispositivo que corre Ubuntu, Andr...
Lo mejor de Google I/O 2013 #IO13
Yahoo! y Facebook enfrentadas para adquirir Tumblr
Bill Gates supera a Carlos Slim como el hombre ...
Larry Page y la polémica que despertó contra Mi...
El nuevo Google Maps a primera vista
56 Comentarios
Exceso de datos: ¿Llegaremos a un colapso?
¿Cuanto de todo eso sera Porno?
ResponderNo lo suficiente...
El 99.9% de esa información? xD
"No lo suficiente..."
wajajajajjajajajajajjajajajja
a mi me preocupan mas esos sitios web que no son mantenidos ni visitados y que están aun allí en la web, ocupando direcciones ip's, dominios, espacio en servidores y en google xd.
de todas formas, encuentro idiota que se borre conocimiento como menciones "Don Omar o Katy Perry", el ser humano a cuidado libros mucho mas antiguos que 50 años, y bueno, ya se ve a lo que me refiero, si a fin de cuentas la gran maravilla es que los pc's nos permitan guardar toda esa información.
pero así como para resumen, a la hora de programar me preocupo mucho por el tamaño y eficiencia de los algoritmos, me gusta programar en php (me divierte poder hacer F5 y ver resultados en segundos ) y algo que he notado en muchos programadores y desarrolladores web, es que se preocupan poco y nada de la eficiencia de sus programas.
no creo estar muy en lo correcto, pero para quienes saben del tema, Joomla... yo no entiendo por que lo usan...
por otro lado, en una charla que dicto alguien de yahoo, mencionaba que Google no se preocupaba mucho por la eficiencia de sus algoritmos, si a fin de cuentas es mas barato pagar unos millones y aumentar el poder de procesamiento (comprar mas pc's )
quizás, si llegamos a una especie de limite, las empresas y los desarrolladores se comiencen a preocupar mas por estos tópicos.
por otro lado, Scyfox, tanto lo que tu mencionas como algunas cosas que yo también menciono, son despreciables, cuando hablamos del exceso de datos en internet, wikipedia tiene mucha información, pero borrar los sitios de wikipedia que tienen cierta antigüedad no causaría ni el mas mínimo impacto.
Usen winrar!
Responderpor el asunto de los chips y la temperatura...
Respondercomentaba con un colega como un programa con cierta funcionalidad, de DOS, de 1.2MB, que corria en un 286, hace lo mismo que un programa actual de 100mb y que pide un pentium 4 como minimo.
es un ejemplo quizas exagerado, pero es la realidad, el software se esta haciendo innecesariamente pesado con el paso del tiempo, cuando hace 10 o 15 años las versiones anteriores de dichos programas hacian casi lo mismo y pesaban la mitad y consumian mucho menos recursos.
Viendolo friamente tienes razon, hoy se hace exactamente lo mismo que hace unas 2 decadas, simplemente que se consume mas energia.
Eso tambien pasa porque los usuarios "comunes", piden mas informacion/recursos de los que realmente necesitan, sino basta ver como hay gente que se enboba con los efectos visuales de Windows 7.
Epa! Hay que tener cuidad con esas afirmaciones.
Es cierto que antes los programas requerían de menos recursos, y así mismo tenían menos prestaciones. Hay programas que se "inflan" por las puras un ejemplo es el office, pero también tiene que ver con que la cantidad de estados que hoy en día maneja un programa es infinitamente mayor. Por otro lado antes casi todo se programaba en C. "C" era el lenguaje por excelencia, pero trata de tener una rica interfaz gráfica o conectarte a una base de datos en C sin querer pegarte un tiro. Todo se puede hacer más eficiente, pero si puedo hacer un programa que pesa 30 veces más consume 100 veces más de recursos y me demoro 15 veces MENOS en escribirlo ten suuuuuuper claro que voy a optar por esa opción a no ser de que realmente lo necesite. Acá hablamos de oferta demanda.
yo tenia entendido que el lenguaje c era el mas utilizado,
linux esta escrito en su malloria en c
yo siempre alego por JRuby.
maquina virtual de java que corre java que interpreta Ruby...
oh my good ):
espero nunca ver un programa en Ruby que contenga un lenguaje script que corra sobre ruby
El tema no son las aplicaciones de contabilidad, que cada día son más bonitas peor hacen esencialmente lo mismo desde hace veinticinco años. Sin duda la mayor fuente de datos hoy son los archivos de audio y video que cientos de miles de usuarios guardamos, y el archivo que yo guardo lo bajé de otro sujeto, que a su vez lo bajó de otro usuario y a su vez éste de otro usuario más, etc., siempre exactamente el mismo archivo, es una inmensa redundancia de datos.
Totalmente de acuerdo, por ejemplo un ajedrez que pesa 80kb, o la abadía del crimen, o los sistemas de bibliotecas. Parecería que quisieran aplicar la obsolecencia programada.
El asunto del hardware para el almacenamiento de datos, creo que es más fácil de resolver que el tratamiento mismo de la información, es decir, como tomar y analizar esos datos y todas esas fuentes de información que generamos día a día, principalmente en empresas grandes.
ResponderPara variar, IBM ya está bien adelantado en este tema, un concepto que está tomando fuerza en el área TI llamado "big data". Les dejo un enlace que habla sobre este tema.
http://www-01.ibm.com/software/data/bigdata/
la mayoria de la informacion esta repetida,
Responderpeliculas, series, en youtube un solo video esta guardado
como 5 veces en diferentes formatos y resoluciones
@df ¿que?
no soy argentino
que es "nalgas sucias"
Me encanta el post, creo que es un tema apasionante. Creo que el problema no es solo la cantidad de información sino tambien la calídad, la mayoria es puro chusmerio y copy y paste.
ResponderY a mi me encanta tu hermana
El problema es que TODO..pero ABSOLUTAMENTE TODO...lo quieren guardar!... como para que?.
ResponderPara mi la NUBE no es otra cosa que darle mas PODER a las MARCAS, INSTITUCIONES, GOBIERNO...a TODOS para saber mas de TU VIDA...por que habría de subir mis cosas, gustos, canciones, archivos, datos a la NUBE?
Hay que pensar un poco nada mas las cosas... total..pensar es gratis.
me parese totalmente util guardar un pelicula para que un nabo la descargue y vea cuando quiera, por otra parte lo de las redes sociales son otra cosa (supongo que tu comentario se refiere a estas especificamente).
una red social que en ves de almasenar solo la solicite a tu pc cada ves que alguien quiere ver una foto, no mas problemas con las polemicas sobre el uso de los datos recaudados por empresas como facebook (claro esto no solucionaria lo de otras paginas como buscadores y que se yo...).
pero oobviamente no tendria exito ya que las desbentajas referentes a la vel de coneccion y el tener que tener el pc prendido seria jodidas, ademas aun se puede obtener datos de manera desautorisada ya que estos deberian pasar por el servidor.
lo que se resume a que estoy dibagando boludeses y que tengo una ortografia y redaccion de mierda.
Que jodida ortografía la tuya!!!
@caradepen, realmente no entendí nada de lo que escribiste, tu ortografía me distrajo!
que paranoicos, parece falsate.
ResponderLos datos que cada individuo posee (PC, memorias de camara, celular) sumados, supera muchas veces lo que suman los servidores. Es cosa de ver cuanta data tienes tú en tu casa v/s cuanta tienes en la nube.
Por ejemplo este artículo es una copia del artículo de The verge que afortunadamente citan, pero que podemos catalogar como información innecesaria.
Responderjajaja no mates el "esfuerzo" del copy.
Si vamos a eso, usemos un solo idioma asi ahorramos espacio en idiomas. tambien.
@Luis: yo vengo aquí y no a The Verge porque las tallas de los chilenos me gustan mucho mas. El artículo está repetido, pero los comentarios no.
¿Pero de quién es la culpa?, ¿del chancho o del que le da el afrecho?...
ResponderLo digo porque me acuerdo que Hotmail (ya comprado por MS) ofrecía apenas 2 MB para correos, y si no te metías a tu cuenta en 30 días te la deshabilitaban y te borraban todos tus correos, y después de 1 año te la borraban por completo. En cambio ahora las cuentas no se borran nunca, dan 500 GB (aparte de los 25 GB de Skydrive) y hay weones con 3 ó hasta 5 cuentas sólo por el hecho de que no les gustaba el "nombre" de la cuenta (almendrita2005 => caramelito2012bienasikalahh)... Y yo me pregunto ¿quién rechuchas en este mundo podría llegar a tener 500 GB de correos?, eso debe ser como 1 trillon de archivos de texto plano, la única manera de llenar ese espacio es usando el correo para otros fines como el P2M, que me parece una soberana estupidez... Pero gracias a la "bondad" de las empresas que prestan estos servicios y su guerra por quien ofrece más espacio, es que se ha generado esto.
Si es cosa de que eliminen las weas viejas que ya nadie usa, dejen 1 GB para las cuentas de correos, cosa de que en vez de darles y darles espacio a la gente para almacenar mensajes de puras weas, empiecen ellos solitos a ir borrando los mensajes inútiles y dejando espacio para mensajes nuevos; y de que lo de la nube, lo dejen sólo para documentos, el Skydrive para lo que más se usa hoy en día es para subir series, juegos, cracks y hasta peliculas divididas en N cantidad de partes con WinRAR que antes se subían a Megaupload.
Así, el que quiera un servicio para almacenar archivos de todo tipo -por no decir piratería y porno-, que lo pague y ahí van a tener harta plata para comprar más discos duros los dueños de estas empresas... Si no, vean la humilde casita que tiene Kim Dotcom, el creador de Megaupload.
Toda la razón, he visto correos de personas con miles de correos basura relacionados con facebooks y otras cosas, los tienen ahí sin abrir, ni siquiera los leen.
Tengo un cliente que tiene todos los mail de 140 cuentas app. desde el 2008 a la fecha y pesan unos 190 GB...y hay un poco mas de 1 millon de correos almacenados...
FAlLSO eso de que no se borran .... hace un mes aproximadamente revise mi cuenta hotmail y estaba completamente borrado todo... no quedo ni el spam que manda el mismo hotmail.
@Dani1640:
A menos que tu empresa sea una PYME, no creo que aloje sus correos en Hotmail, Gmail o en servicios gratuitos controlados por terceros ó anda a saber quién, lo deberían hacer en servidores propios de ellos, y ahí obviamente que deben tener espacio ilimitado para ello porque es una herramienta de trabajo. Pero acá se habla del almacenamiento en la nube proporcionado gratuitamente para publico en general sin fines comerciales.
Y tengo una cuenta en Hotmail desde el 2001 y nunca he pasado de los 150 MB (al rededor de 1500 mensajes), porque la ocupo como cuenta de comunicación informal y/o la típica cuenta para poder registrarme en tal sitio o foro... no voy a andar guardando información delicada en un servicio así.
@Resentido:
El spam siempre se ha borrado de manera automática tras 10 días en Hotmail... Pero después de que sacaron esa "característica" de los 30 días, yo he tenido hasta 4 meses la cuenta botada y no se ha borrado ningún mensaje de la bandeja de entrada, si no tenias nada en tu cuenta para mi que te la hackearon...
500 correos al día? si te toma un minuto por correo, todo el dia revisas correo solamente 500/60=8.3 horas. Mil correos entonces son 16.6 horas de trabajo.
Jamas en mi vida tuve mas de 50 MB en mi correo...
No hay prisa, con el cierre de megaupload se perdió tanta información que nos da unos 20 años extra.
ResponderEs muy interesante el tema, y llama a la reflexión, principalmente lo veo en el tema de ¿qué enseñar a los alumnos?, ya que vamos en la dirección de la sobre-saturación de información; y es necesario -en mi criterio- enseñar lo básico de diferentes temas, para luego los alumnos tengan que ahondar sus conocimientos a través de la web, tratando de definir las que tienen mayor calidad.
ResponderPor supuesto, si tenemos espacio ilimitado no nos preocupamos por eliminar lo que no necesitamos, así me paso cuando me compre un HDD de 1TB, tenia tanto espacio que no me preocupaba por borrar nada, cuando le quedaba un poco menos de la mitad me puse a borrar lo que no necesitaba y borre por lo menos 300GB
Responder"Por cierto, también hay una teoría que dice que llegaremos a un límite de la información que podemos producir, debido a nuestra propia inhabilidad mental para procesar todo. De acuerdo a esta teoría, estamos limitados en la cantidad de información que generamos por nuestra habilidad para consumirla."
ResponderAha, esta teoría para mi que la invento la Cony.
Cuanta información se consuma no limita la cantidad de información que se produce, basta ver lo que es facebook y algunos tweet, a quien le importa mi estado? la gente genera miles de cosas que en realidad a nadie le interesa consumir, no hace falta habilidad mental para generar toda esa información basura.
Mas aun el numero de personas con conexión aumente progresivamente, así también el numero de seres humanos en el mundo, por lo tanto, cada vez mas mierda in consumible se generará en la red.
No la inventé yo, aquí hay un paper al respecto
Capacidad de almacenar y capacidad de procesar son temas relacionados pero no son lo mismo, en el artículo se debería cuestionar la capacidad de los discos duros mas que la de los procesadores.
ResponderDEEP WEB... NO LIMITS!!!! deberian saberlo antes de sembrar el panico por hay
ResponderNOOSFERA
ResponderPaparruchas, tonterias, perroflauterismos...
ResponderAlgoritmos de compresion, caos...la sociedad cambia, el contenido cambia, no se pueden predecir de tal manera las cosas, nunca se sabe lo que puede llegar a comsumir o produccir en un futuro proximo, hoy es facebook, mañana?
-"bastardust"
se habrán realizado las mismas preguntas cuando se inventó el papel?
ResponderSi tan sólo hubiese un sitio, sólo un sitio, en donde la descarga de películas, series, novelas, etc, etc. sea gratuita... de seguro se eliminaría más del 50% de los datos actuales... llegará ese día?... no lo creo.
ResponderLa mayoría de esos datos son videos y lo más grave es que el 90% son videos de Minecraft que colapsan youtube
ResponderEn realidad el comun de uds solo cree que "internet genera información".
Responderen las mismas empresas la cantidad de informacion que se mueve de manera particular( se genera y almacena, comparte y/o borra) es enorme, sin agregar si ademas del area administrativa tienes una planta productora(de lo que sea) se multiplica enormemente la base de datos generada, insisto, sin internet de por medio. internet solo facilita mover toda esa información en todas direcciones.
esta claro que en un futuro serán las maquinas basadas en algoritmos (o aplicaciones que esta tan de moda) tomaran la info, la procesaran y mostraran a nosostros. asi nuestra propia limitancia se verá superada y mejorada, continuando con el crecimiento de la información a la que se puede acceder
saludos!!
Facil que se bajen media hidden web y se soluciono, porque la mayor parte de la informacion alli es irrelevante.
ResponderDeja tu Comentario