CRECIMIENTO DE DATOS SOBREPASA LA TECNOLOGIA PARA GESTIONARLOS
>> jueves, 14 de febrero de 2013
En la Bolsa de Nueva York, el diluvio de datos abruma bases de datos tradicionales
http://www.forbes.com/ 14/02/2013
NYSE y Tecnologías de la Bolsa de Nueva York, su filial tecnológica, encontró que el crecimiento continuo de los datos del mercado de valores, la demanda de más análisis, y, gracias a los reguladores, mucho más informes, fueron demasiado para su base de datos Oracle.
NYSE Technologies recibe cuatro-cinco terabytes de una base de datos al día y lo utiliza para hacer análisis complejos, la vigilancia del mercado, la capacidad de planificación y seguimiento.
La compañía había estado utilizando una base de datos Oracle, dijo Emile Werr, jefe de desarrollo de productos, NYSE Big Data Group y director global de Arquitectura Empresarial y Gestión de Datos de Identidad Acceso para NYSE Euronext. Oracle no puede manejar la carga de trabajo - tomó horas para la carga y velocidad de las consultas tuvieron pobres.
Bolsa de Nueva York volvió a la plataforma IBM Netezza porque no pudo lograr sus objetivos con la tecnología de base de datos tradicional, Werr dijo.
"Empezamos a ir cinco años y ahora somos más maduros en la industria con el uso de MPP (procesamiento masivamente paralelo) de sistemas, y hemos demostrado ROI significativo, en ser capaces de hacer análisis complejos, mientras que la gestión de la huella", dijo Werr.
"NYSE necesita almacenar y analizar los siete años de datos históricos y ser capaz de buscar a través de aproximadamente un terabyte de datos por día, lo que equivale a cientos de personas en total", agregó Werr. "El Sistema de PureData Analytics powered by Netezza proporciona la escalabilidad, simplicidad y desempeño crítico en la capacidad de analizar nuestros datos importantes para obtener resultados más rápido que ocho horas en la solución anterior, que en nuestro mundo es un cambiador de juego".
Enfoque inicial NYSE era de la vigilancia de comercio de los creadores de mercado y las plataformas de los corredores-distribuidores comerciales. Una segunda preocupación fue la planificación de la capacidad.
"The New York Stock Exchange SLAs (acuerdos de nivel de servicio) son muy estrictos", dijo Werr. "El sistema debe ser del 100 por ciento culpa tolerante.Cuando los sistemas de cruzar umbrales de capacidad, la capacidad adicional se activa automáticamente y de comercio continuaría fluyendo sin interrupciones. "
Werr dijo que quedó claro que la tecnología de base de datos tradicional no haría lo que sea necesario NYSE.
"Los volúmenes de datos extremadamente grandes, las complejidades de integración de datos, vigilancia del mercado y ad hoc de análisis de requisitos tomó una gran cantidad de recursos de TI para cuidar el medio ambiente y constantemente afinar. Los sistemas se hizo demasiado lento y complejo ", agregó Werr.
Para ejecutar análisis, los datos tuvieron que ser extraídos de la base de datos en aplicaciones como SAS y de propiedad NYSE aplicaciones para realizar el análisis necesario.
Werr dijo NYSE Technologies ha descubierto la manera de utilizar todos sus activos de información de una manera eficiente y rentable. La firma ha ampliado su almacén de datos con una fuente de archivos distribuido, agregó.
"Los datos importante para nosotros es el aumento entre sistemas como Netezza y un conjunto de tecnologías como Hadoop y un sistema de archivos distribuidos y los niveles de identificación que orquestan acceso a datos.NYSE grande de datos es todo acerca de tomar que a un nivel superior y el embalaje que lo que se puede caer en una organización y ha movilizado para que pudieran seguir apoyando las innovaciones en grandes datos ".
Phil Francisco, vicepresidente de gestión de producto de datos grande de IBM, dijo Werr había desarrollado algunas maneras interesantes para cargar los datos de archivo en Netezza muy rápidamente para NYSE puede ejecutar análisis de vigilancia contra los registros de hace unos meses o unos pocos años atrás.
"Por lo general ellos tienen menos de un año de datos de Netezza pero siempre se puede cargar datos desde un archivo." Con los métodos Werr desarrollado, NYSE puede buscar patrones de larga duración. Emile fue el artífice para que -. Cómo utilizar un alto rendimiento de almacenamiento de datos en torno a la retención de datos "
"NYSE continúa empujando el sobre para un alto rendimiento, escalabilidad y confiabilidad", dijo Werr. "NYSE ha implementado grandes tuberías de la red a través de los centros de datos y sistemas de negociación. Podemos mover datos rápidamente. Los datos tienen que moverse dentro y fuera de los sistemas de análisis (como Netezza) rápido.
NYSE Technologies hace que sus sistemas disponibles para la compra e instalación de un cortafuegos o como un servicio. El sistema es rápido - en términos de análisis, no está diseñado para el comercio de alta frecuencia.Refresca a intervalos de un minuto, casi en tiempo real en el mundo de la analítica.
Algunos agentes de bolsa pedir datos en un punto específico en el tiempo, como el Flash Crash para que puedan probar sus algoritmos en contra. Mover los datos a una empresa puede ser costoso, así NYSE Technologies deja en su centro de datos y las empresas pueden probar en contra de ella sin mover los datos del día.
"Muchas empresas quieren obtener datos sobre la demanda al tiempo que deja en nuestra empresa", explicó. Los datos pueden ser ofrecidos en forma cruda o personalizado para que sea más fácil de usar.
http://www.forbes.com/ 14/02/2013
NYSE y Tecnologías de la Bolsa de Nueva York, su filial tecnológica, encontró que el crecimiento continuo de los datos del mercado de valores, la demanda de más análisis, y, gracias a los reguladores, mucho más informes, fueron demasiado para su base de datos Oracle.
NYSE Technologies recibe cuatro-cinco terabytes de una base de datos al día y lo utiliza para hacer análisis complejos, la vigilancia del mercado, la capacidad de planificación y seguimiento.
La compañía había estado utilizando una base de datos Oracle, dijo Emile Werr, jefe de desarrollo de productos, NYSE Big Data Group y director global de Arquitectura Empresarial y Gestión de Datos de Identidad Acceso para NYSE Euronext. Oracle no puede manejar la carga de trabajo - tomó horas para la carga y velocidad de las consultas tuvieron pobres.
Bolsa de Nueva York volvió a la plataforma IBM Netezza porque no pudo lograr sus objetivos con la tecnología de base de datos tradicional, Werr dijo.
"Empezamos a ir cinco años y ahora somos más maduros en la industria con el uso de MPP (procesamiento masivamente paralelo) de sistemas, y hemos demostrado ROI significativo, en ser capaces de hacer análisis complejos, mientras que la gestión de la huella", dijo Werr.
"NYSE necesita almacenar y analizar los siete años de datos históricos y ser capaz de buscar a través de aproximadamente un terabyte de datos por día, lo que equivale a cientos de personas en total", agregó Werr. "El Sistema de PureData Analytics powered by Netezza proporciona la escalabilidad, simplicidad y desempeño crítico en la capacidad de analizar nuestros datos importantes para obtener resultados más rápido que ocho horas en la solución anterior, que en nuestro mundo es un cambiador de juego".
Enfoque inicial NYSE era de la vigilancia de comercio de los creadores de mercado y las plataformas de los corredores-distribuidores comerciales. Una segunda preocupación fue la planificación de la capacidad.
"The New York Stock Exchange SLAs (acuerdos de nivel de servicio) son muy estrictos", dijo Werr. "El sistema debe ser del 100 por ciento culpa tolerante.Cuando los sistemas de cruzar umbrales de capacidad, la capacidad adicional se activa automáticamente y de comercio continuaría fluyendo sin interrupciones. "
Werr dijo que quedó claro que la tecnología de base de datos tradicional no haría lo que sea necesario NYSE.
"Los volúmenes de datos extremadamente grandes, las complejidades de integración de datos, vigilancia del mercado y ad hoc de análisis de requisitos tomó una gran cantidad de recursos de TI para cuidar el medio ambiente y constantemente afinar. Los sistemas se hizo demasiado lento y complejo ", agregó Werr.
Para ejecutar análisis, los datos tuvieron que ser extraídos de la base de datos en aplicaciones como SAS y de propiedad NYSE aplicaciones para realizar el análisis necesario.
Werr dijo NYSE Technologies ha descubierto la manera de utilizar todos sus activos de información de una manera eficiente y rentable. La firma ha ampliado su almacén de datos con una fuente de archivos distribuido, agregó.
"Los datos importante para nosotros es el aumento entre sistemas como Netezza y un conjunto de tecnologías como Hadoop y un sistema de archivos distribuidos y los niveles de identificación que orquestan acceso a datos.NYSE grande de datos es todo acerca de tomar que a un nivel superior y el embalaje que lo que se puede caer en una organización y ha movilizado para que pudieran seguir apoyando las innovaciones en grandes datos ".
Phil Francisco, vicepresidente de gestión de producto de datos grande de IBM, dijo Werr había desarrollado algunas maneras interesantes para cargar los datos de archivo en Netezza muy rápidamente para NYSE puede ejecutar análisis de vigilancia contra los registros de hace unos meses o unos pocos años atrás.
"Por lo general ellos tienen menos de un año de datos de Netezza pero siempre se puede cargar datos desde un archivo." Con los métodos Werr desarrollado, NYSE puede buscar patrones de larga duración. Emile fue el artífice para que -. Cómo utilizar un alto rendimiento de almacenamiento de datos en torno a la retención de datos "
"NYSE continúa empujando el sobre para un alto rendimiento, escalabilidad y confiabilidad", dijo Werr. "NYSE ha implementado grandes tuberías de la red a través de los centros de datos y sistemas de negociación. Podemos mover datos rápidamente. Los datos tienen que moverse dentro y fuera de los sistemas de análisis (como Netezza) rápido.
NYSE Technologies hace que sus sistemas disponibles para la compra e instalación de un cortafuegos o como un servicio. El sistema es rápido - en términos de análisis, no está diseñado para el comercio de alta frecuencia.Refresca a intervalos de un minuto, casi en tiempo real en el mundo de la analítica.
Algunos agentes de bolsa pedir datos en un punto específico en el tiempo, como el Flash Crash para que puedan probar sus algoritmos en contra. Mover los datos a una empresa puede ser costoso, así NYSE Technologies deja en su centro de datos y las empresas pueden probar en contra de ella sin mover los datos del día.
"Muchas empresas quieren obtener datos sobre la demanda al tiempo que deja en nuestra empresa", explicó. Los datos pueden ser ofrecidos en forma cruda o personalizado para que sea más fácil de usar.
Entradas
0 comentarios :
Publicar un comentario