LA CODIFICACION DEL BORRADO Y ESPACIO DE ALMACENAMIENTO EN LA NUBE
>> miércoles, 18 de abril de 2012
¿Cómo almacenamiento en la nube podría ponerse al día con los grandes datos?
http://fcw.com /18/04/2012
La computación en nube ha conseguido que el apetito del mundo ya es colosal para el almacenamiento de datos aún más voraz.
El pasado año, IDC, una firma de investigación de mercado de TI, citada públicas basadas en la nube los proveedores de servicios, de Amazon Web Services a YouTube, ya que los pilotos más importantes de consumo de almacenamiento en los últimos tres años. El sector público contribuye así: IDC señaló que las nubes privadas del gobierno y centros de investigación comparar en alcance y complejidad a sus homólogos de nubes públicas.
El llamado problema de datos grande ha aparecido en los últimos dos años de estar entre la primaria los retos de TI. Tecnologías tales como el marco Apache Hadoop de computación distribuida y bases de datos NoSQL han surgido para asumir el desafío de gran tamaño - conjuntos de datos - y difícil de manejar.
Y ahora otra tecnología, ya en el trabajo detrás de las escenas, podría crecer en importancia en los próximos años. Codificación de Erasure ha existido desde la década de 1980, pero hasta hace poco su uso en los círculos de almacenamiento se limita principalmente a las cajas de almacenamiento individuales, como una forma de aumentar la fiabilidad de manera más eficiente.
Ahora codificación de borrado se está moviendo en el almacenamiento distribuido. Su aplicación se convierte en más complicado aquí, pero los ejecutivos de la industria y los investigadores creen que el borrado de almacenamiento de codificación - particularmente en combinación con técnicas cada vez más populares, como el almacenamiento basado en objetos - desempeñará un papel cada vez mayor de almacenamiento en la nube. Adoptantes potenciales del gobierno incluyen los laboratorios del Departamento de Energía y otras entidades con grandes almacenes de datos.
Por qué es importante
Cuando se trata de almacenamiento, todo está cada vez más grande, si se trata de un disco individual, un sistema de almacenamiento o un repositorio basado en la nube. Codificación de la cancelación, un algoritmo de corrección de errores, desempeña un papel a través de esta amplia gama de plataformas de almacenamiento cada vez mayores.
Los vendedores más comúnmente se utiliza borrado de codificación para aumentar la resistencia y el rendimiento de su matriz redundante de discos independientes (RAID) los sistemas de almacenamiento, dijo Bob Monahan, director de sistemas de gestión de la información en la República Democrática del Congo, una consultoría y la empresa de servicios.
Pero es el uso de borrado de codificación como una alternativa a la replicación de datos que está atrayendo nuevo interés en este mecanismo de almacenamiento. En muchos casos tradicionales, la redundancia se logra mediante la replicación de datos desde dispositivos de almacenamiento primarios para atacar las matrices en el centro de datos o en una ubicación fuera del sitio. Duplicación de datos de esa manera proporciona protección, pero también consume mucho espacio de almacenamiento, sobre todo cuando las organizaciones de realizar varias copias de datos para mayor redundancia. El enfoque se vuelve particularmente difícil de manejar para las organizaciones que se ocupan de petabytes, o más de datos.
http://fcw.com /18/04/2012
La computación en nube ha conseguido que el apetito del mundo ya es colosal para el almacenamiento de datos aún más voraz.
El pasado año, IDC, una firma de investigación de mercado de TI, citada públicas basadas en la nube los proveedores de servicios, de Amazon Web Services a YouTube, ya que los pilotos más importantes de consumo de almacenamiento en los últimos tres años. El sector público contribuye así: IDC señaló que las nubes privadas del gobierno y centros de investigación comparar en alcance y complejidad a sus homólogos de nubes públicas.
El llamado problema de datos grande ha aparecido en los últimos dos años de estar entre la primaria los retos de TI. Tecnologías tales como el marco Apache Hadoop de computación distribuida y bases de datos NoSQL han surgido para asumir el desafío de gran tamaño - conjuntos de datos - y difícil de manejar.
Y ahora otra tecnología, ya en el trabajo detrás de las escenas, podría crecer en importancia en los próximos años. Codificación de Erasure ha existido desde la década de 1980, pero hasta hace poco su uso en los círculos de almacenamiento se limita principalmente a las cajas de almacenamiento individuales, como una forma de aumentar la fiabilidad de manera más eficiente.
Ahora codificación de borrado se está moviendo en el almacenamiento distribuido. Su aplicación se convierte en más complicado aquí, pero los ejecutivos de la industria y los investigadores creen que el borrado de almacenamiento de codificación - particularmente en combinación con técnicas cada vez más populares, como el almacenamiento basado en objetos - desempeñará un papel cada vez mayor de almacenamiento en la nube. Adoptantes potenciales del gobierno incluyen los laboratorios del Departamento de Energía y otras entidades con grandes almacenes de datos.
Por qué es importante
Cuando se trata de almacenamiento, todo está cada vez más grande, si se trata de un disco individual, un sistema de almacenamiento o un repositorio basado en la nube. Codificación de la cancelación, un algoritmo de corrección de errores, desempeña un papel a través de esta amplia gama de plataformas de almacenamiento cada vez mayores.
Los vendedores más comúnmente se utiliza borrado de codificación para aumentar la resistencia y el rendimiento de su matriz redundante de discos independientes (RAID) los sistemas de almacenamiento, dijo Bob Monahan, director de sistemas de gestión de la información en la República Democrática del Congo, una consultoría y la empresa de servicios.
Pero es el uso de borrado de codificación como una alternativa a la replicación de datos que está atrayendo nuevo interés en este mecanismo de almacenamiento. En muchos casos tradicionales, la redundancia se logra mediante la replicación de datos desde dispositivos de almacenamiento primarios para atacar las matrices en el centro de datos o en una ubicación fuera del sitio. Duplicación de datos de esa manera proporciona protección, pero también consume mucho espacio de almacenamiento, sobre todo cuando las organizaciones de realizar varias copias de datos para mayor redundancia. El enfoque se vuelve particularmente difícil de manejar para las organizaciones que se ocupan de petabytes, o más de datos.
Codificación del borrado ofrece una forma alternativa para obtener redundancia al utilizar menos espacio de almacenamiento, dijo Russ Kennedy, vicepresidente de estrategia de producto, marketing y soluciones para los clientes en Cleversafe proveedor de almacenamiento, que utiliza los códigos de borrado en sus soluciones de almacenamiento basadas en objetos.
Las organizaciones que dependen de la replicación puede hacer tres o cuatro copias de los datos - una copia en otro lugar entonces una copia de la copia para estar seguro y así sucesivamente. En comparación, los gastos generales para hacer una copia lo suficientemente tolerante a fallas con el borrado de codificación es inferior al doble del tamaño del volumen original, dijo Kennedy.
Jean-Luc Chatelain, vicepresidente ejecutivo de estrategia y tecnología de DataDirect Networks, dijo que las preocupaciones financieras están impulsando el interés en el borrado de codificación entre los clientes que no quieren replicar los datos de dos o tres veces. DataDirect se aprovecha de la supresión de codificación en el sistema RAID, las ofertas de almacenamiento de archivos y productos web para el almacenamiento de objetos Escalador nube.
La posibilidad de ahorrar espacio y dinero no se ha perdido en la comunidad de nube. Los principales proveedores son en su camino a la adopción de códigos de borrado, dijo Plank James, un profesor en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de Tennessee. Su investigación se centra en los códigos de borrado en aplicaciones de almacenamiento.
"Casi todas las instalaciones de la nube que se pueda imaginar está, ya sea usando el borrado de codificación o la conversión de la codificación de borrado", dijo, citando a Amazon, Google y Microsoft como ejemplos. "Están utilizando el borrado de codificación para la tolerancia a fallos, porque el ahorro de espacio en disco es enorme".
Hay un beneficio de ancho de banda también. "A pesar de los grandes ahorros que hoy provienen de la reducción de los requisitos de capacidad, la gran victoria, desde mi punto de vista, es la reducción de dos o tres veces en el ancho de banda [en comparación con lo que se] utilizado durante la replicación", dijo Galen Shipman, líder del grupo de la Tecnología La integración del grupo en el Centro Nacional de Oak Ridge National Laboratory para Ciencias de la Computación.
Los fundamentos
Codificación de Erasure podría tener implicaciones para la naciente nube, pero la tecnología ha estado alrededor del bloque de almacenamiento de un par de veces. En un entorno de almacenamiento, la técnica codifica los datos en fragmentos de la cual los datos originales pueden ser reconstruidos.
Por ejemplo, la codificación de borrado es la tecnología subyacente del método Cleversafe de almacenamiento disperso, que tiene un objeto de datos (piense en un archivo con la auto-descripción de metadatos) y los pedazos en segmentos. Cada segmento está encriptada y cortado en 16 rebanadas y se dispersa en toda la red de una organización para residir en diferentes discos duros y servidores. Si la organización tiene acceso a sólo 10 de los cortes - a causa de errores en el disco, por ejemplo - los datos originales todavía se pueden poner de nuevo juntos, dijo Kennedy.
Numerosos expertos ven borrado codificación se combina con el almacenamiento basado en objetos, como una buena opción para lograr más tolerantes a fallos con los repositorios de petabytes y exabytes, incluso de la capacidad.
Los obstáculos
Nubes de gobierno y centros de datos aún no han sido para saltar sobre la codificación de borrado, además de las agencias que usan dispositivos de almacenamiento RAID que incluyan la técnica.
"Es menos conocida y por lo tanto menos maduras en las soluciones disponibles en el mercado", dijo Monahan. "A medida que se vuelve más maduro, los casos de uso para cuando es más apropiado impulsar escenarios de implementación."
El rendimiento es otra limitación. Shome Shank, un ingeniero de almacenamiento en las tecnologías de Agilex, dijo que el impacto de la supresión de codificación en el rendimiento de almacenamiento todavía no se ha explorado a fondo. Agregó que la lectura de los datos desde un sistema de borrado codificado es generalmente rápido, pero el costo de rendimiento real está en escribir los datos en el almacenamiento.
"Si los datos son estáticos por lo general con muy pocos vuelve a escribir, como los archivos de los medios de comunicación y los registros de archivos, creación y distribución de los datos es un costo por única vez", dijo Shome. "Si los datos son muy dinámicos, los códigos de borrado que se vuelva a crear y redistribuir los bloques de datos que resulten".
Codificación de Erasure también se encuentra con problemas con la informática de alto rendimiento. Una complicación surge cuando se escriben los datos al mismo tiempo de muchas fuentes y en un alto porcentaje, dijo Robert Ross, un científico de la computación en el Argonne Laboratorio Nacional del Departamento de Energía y miembro principal de la Universidad de Ciencia de la Computación del Instituto de Chicago. Esta actividad requiere un nivel de coordinación que no es fácil con los enfoques actuales.
En general, los expertos creen que la codificación de almacenamiento borrado enfrenta el obstáculo más grande en los datos de acceso frecuente "calientes". En consecuencia, creen que un caso clave de su uso inicial se encuentra en la protección de los datos que se ha enfriado lo suficiente como para pasar a almacenamiento a largo plazo.
Monahan dijo que los beneficios de la codificación de borrado son "una mayor disponibilidad de locales a un menor costo y de alta disponibilidad dispersos sistemas de archivo que son un orden de magnitud menos costoso que los sistemas tradicionales."
El truco es saber cuándo se debe utilizar la replicación para obtener datos de un sistema rápido y cuándo usar el borrado de codificación para crear más económico, resistente almacenamiento a largo plazo, dijo Ross.
"Ambos tienen un papel importante avanzar en la informática de alto rendimiento", agregó.
El laboratorio de Oak Ridge está explorando el uso de la supresión de codificación para el Fondo para el Liderazgo de Informática de Oak Ridge. Que las instalaciones que ya utiliza RAID 6 Sistemas de DataDirect Networks. Shipman dijo que la codificación de borrado podría desempeñar un papel significativo en dos sistemas de almacenamiento distribuidos: uno paralelo Lustre sistema de archivos distribuido y la gran escala del sistema de archivos almacenamiento de alto rendimiento, que utiliza la replicación para la integridad de los datos y la flexibilidad.
"Codificación de Erasure, probablemente emergerá como una alternativa viable a la replicación debido a los ahorros en los medios de comunicación y ancho de banda consumido para la replicación", dijo Shipman.
Reconoció las demandas computacionales de las más avanzadas técnicas de codificación de borrado-, pero dijo que la investigación en curso sobre los algoritmos tiene como objetivo minimizar ese costo.
Próximos pasos: Actualización de la caja de herramientas de almacenamiento
Como las necesidades de almacenamiento de datos continuará creciendo y basados en la nube modelos introducen nuevas opciones para los sistemas distribuidos, las agencias constantemente debe volver a evaluar sus estrategias de almacenamiento. En concreto, deben:
Controlar las opciones actuales de almacenamiento. codificación Erasure no podría estar en la parte superior de la orden del dia, pero si el crecimiento del almacenamiento está dejando atrás a su presupuesto, probablemente tenga sentido para añadir la tecnología en la mezcla de opciones de futuros actuales o de corto plazo.
Evaluar los casos probables de uso. Más allá de archivado de datos, la codificación de borrado podrían resultar útiles para mantener y proteger grandes cantidades de datos obtenidos por sensores. Por ejemplo, ha firmado recientemente Cleversafe GeoEye, un proveedor de alta resolución de imágenes de satélite, como un cliente.
Las organizaciones que dependen de la replicación puede hacer tres o cuatro copias de los datos - una copia en otro lugar entonces una copia de la copia para estar seguro y así sucesivamente. En comparación, los gastos generales para hacer una copia lo suficientemente tolerante a fallas con el borrado de codificación es inferior al doble del tamaño del volumen original, dijo Kennedy.
Jean-Luc Chatelain, vicepresidente ejecutivo de estrategia y tecnología de DataDirect Networks, dijo que las preocupaciones financieras están impulsando el interés en el borrado de codificación entre los clientes que no quieren replicar los datos de dos o tres veces. DataDirect se aprovecha de la supresión de codificación en el sistema RAID, las ofertas de almacenamiento de archivos y productos web para el almacenamiento de objetos Escalador nube.
La posibilidad de ahorrar espacio y dinero no se ha perdido en la comunidad de nube. Los principales proveedores son en su camino a la adopción de códigos de borrado, dijo Plank James, un profesor en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de Tennessee. Su investigación se centra en los códigos de borrado en aplicaciones de almacenamiento.
"Casi todas las instalaciones de la nube que se pueda imaginar está, ya sea usando el borrado de codificación o la conversión de la codificación de borrado", dijo, citando a Amazon, Google y Microsoft como ejemplos. "Están utilizando el borrado de codificación para la tolerancia a fallos, porque el ahorro de espacio en disco es enorme".
Hay un beneficio de ancho de banda también. "A pesar de los grandes ahorros que hoy provienen de la reducción de los requisitos de capacidad, la gran victoria, desde mi punto de vista, es la reducción de dos o tres veces en el ancho de banda [en comparación con lo que se] utilizado durante la replicación", dijo Galen Shipman, líder del grupo de la Tecnología La integración del grupo en el Centro Nacional de Oak Ridge National Laboratory para Ciencias de la Computación.
Los fundamentos
Codificación de Erasure podría tener implicaciones para la naciente nube, pero la tecnología ha estado alrededor del bloque de almacenamiento de un par de veces. En un entorno de almacenamiento, la técnica codifica los datos en fragmentos de la cual los datos originales pueden ser reconstruidos.
Por ejemplo, la codificación de borrado es la tecnología subyacente del método Cleversafe de almacenamiento disperso, que tiene un objeto de datos (piense en un archivo con la auto-descripción de metadatos) y los pedazos en segmentos. Cada segmento está encriptada y cortado en 16 rebanadas y se dispersa en toda la red de una organización para residir en diferentes discos duros y servidores. Si la organización tiene acceso a sólo 10 de los cortes - a causa de errores en el disco, por ejemplo - los datos originales todavía se pueden poner de nuevo juntos, dijo Kennedy.
Numerosos expertos ven borrado codificación se combina con el almacenamiento basado en objetos, como una buena opción para lograr más tolerantes a fallos con los repositorios de petabytes y exabytes, incluso de la capacidad.
Los obstáculos
Nubes de gobierno y centros de datos aún no han sido para saltar sobre la codificación de borrado, además de las agencias que usan dispositivos de almacenamiento RAID que incluyan la técnica.
"Es menos conocida y por lo tanto menos maduras en las soluciones disponibles en el mercado", dijo Monahan. "A medida que se vuelve más maduro, los casos de uso para cuando es más apropiado impulsar escenarios de implementación."
El rendimiento es otra limitación. Shome Shank, un ingeniero de almacenamiento en las tecnologías de Agilex, dijo que el impacto de la supresión de codificación en el rendimiento de almacenamiento todavía no se ha explorado a fondo. Agregó que la lectura de los datos desde un sistema de borrado codificado es generalmente rápido, pero el costo de rendimiento real está en escribir los datos en el almacenamiento.
"Si los datos son estáticos por lo general con muy pocos vuelve a escribir, como los archivos de los medios de comunicación y los registros de archivos, creación y distribución de los datos es un costo por única vez", dijo Shome. "Si los datos son muy dinámicos, los códigos de borrado que se vuelva a crear y redistribuir los bloques de datos que resulten".
Codificación de Erasure también se encuentra con problemas con la informática de alto rendimiento. Una complicación surge cuando se escriben los datos al mismo tiempo de muchas fuentes y en un alto porcentaje, dijo Robert Ross, un científico de la computación en el Argonne Laboratorio Nacional del Departamento de Energía y miembro principal de la Universidad de Ciencia de la Computación del Instituto de Chicago. Esta actividad requiere un nivel de coordinación que no es fácil con los enfoques actuales.
En general, los expertos creen que la codificación de almacenamiento borrado enfrenta el obstáculo más grande en los datos de acceso frecuente "calientes". En consecuencia, creen que un caso clave de su uso inicial se encuentra en la protección de los datos que se ha enfriado lo suficiente como para pasar a almacenamiento a largo plazo.
Monahan dijo que los beneficios de la codificación de borrado son "una mayor disponibilidad de locales a un menor costo y de alta disponibilidad dispersos sistemas de archivo que son un orden de magnitud menos costoso que los sistemas tradicionales."
El truco es saber cuándo se debe utilizar la replicación para obtener datos de un sistema rápido y cuándo usar el borrado de codificación para crear más económico, resistente almacenamiento a largo plazo, dijo Ross.
"Ambos tienen un papel importante avanzar en la informática de alto rendimiento", agregó.
El laboratorio de Oak Ridge está explorando el uso de la supresión de codificación para el Fondo para el Liderazgo de Informática de Oak Ridge. Que las instalaciones que ya utiliza RAID 6 Sistemas de DataDirect Networks. Shipman dijo que la codificación de borrado podría desempeñar un papel significativo en dos sistemas de almacenamiento distribuidos: uno paralelo Lustre sistema de archivos distribuido y la gran escala del sistema de archivos almacenamiento de alto rendimiento, que utiliza la replicación para la integridad de los datos y la flexibilidad.
"Codificación de Erasure, probablemente emergerá como una alternativa viable a la replicación debido a los ahorros en los medios de comunicación y ancho de banda consumido para la replicación", dijo Shipman.
Reconoció las demandas computacionales de las más avanzadas técnicas de codificación de borrado-, pero dijo que la investigación en curso sobre los algoritmos tiene como objetivo minimizar ese costo.
Próximos pasos: Actualización de la caja de herramientas de almacenamiento
Como las necesidades de almacenamiento de datos continuará creciendo y basados en la nube modelos introducen nuevas opciones para los sistemas distribuidos, las agencias constantemente debe volver a evaluar sus estrategias de almacenamiento. En concreto, deben:
Controlar las opciones actuales de almacenamiento. codificación Erasure no podría estar en la parte superior de la orden del dia, pero si el crecimiento del almacenamiento está dejando atrás a su presupuesto, probablemente tenga sentido para añadir la tecnología en la mezcla de opciones de futuros actuales o de corto plazo.
Evaluar los casos probables de uso. Más allá de archivado de datos, la codificación de borrado podrían resultar útiles para mantener y proteger grandes cantidades de datos obtenidos por sensores. Por ejemplo, ha firmado recientemente Cleversafe GeoEye, un proveedor de alta resolución de imágenes de satélite, como un cliente.
Entradas
0 comentarios :
Publicar un comentario