Apache Kafka
Apache Kafka es un proyecto de intermediación de mensajes de código abierto desarrollado por la Apache Software Foundation escrito en Scala.[1] El proyecto tiene como objetivo proporcionar una plataforma unificada, de alto rendimiento y de baja latencia para la manipulación en tiempo real de fuentes de datos. Puede verse como una cola de mensajes, bajo el patrón publicación-suscripción, masivamente escalable concebida como un registro de transacciones distribuidas,[2] la que la vuelve atractiva para las infraestructuras de aplicaciones empresariales.
El diseño tiene gran influencia de los registros de transacción.[3]
Historia
Apache Kafka fue originalmente desarrollado por la empresa Linkedin, la cual lo publicó como software libre en a principios de 2011. En octubre de 2012 superó la etapa de incubación de la fundación Apache. En noviembre 2014, varios ingenieros que trabajaron en el proyecto Kafka de Linkedin crearon una nueva empresa llamad Confluent enfocada en Kafka.[4]
Empresas que utilizan Kafka
El siguiente es una lista de empresas conocidas utilizan o han utilizado Kafka:
- Cisco Sistemas[5]
- Daumkakao[6]
- Netflix[7]
- PayPal[8]
- Spotify[9]
- Uber[10]
- Shopify[11]
- Betfair[12]
Rendimiento de Kafka
Debido a su capacidad de escalar masivamente y a su uso en estructuras a nivel de aplicaciones empresariales, el siguiendo del rendimiento de Kafka se ha convertido en un tema cada vez más importante. Actualmente varios plataformas de código abierto, como Burrow de Linkedin, y pagas como Datadog[2] que permiten hacer seguimiento del desempeño de Kafka.
Véase también
Referencias
- ↑ «Apache Kafka». Consultado el 9 de junio de 2016.
- ↑ a b «Monitoring Kafka performance metrics». Datadog Engineering Blog. Consultado el 9 de junio de 2016.
- ↑ «The Log: What every software engineer should know about real-time data's unifying abstraction». LinkedIn Engineering Blog. Consultado el 9 de junio de 2016.
- ↑ Primack, Dan. «LinkedIn engineers spin out to launch 'Kafka' startup Confluent». fortune.com. Consultado el 9 de junio de 2016.
- ↑ «OpenSOC: An Open Commitment to Security». Cisco blog. Consultado el 3 de febrero de 2016.
- ↑ Doyung Yoon. «S2Graph : A Large-Scale Graph Database with HBase».
- ↑ Cheolsoo Park and Ashwin Shankar. «Netflix: Integrating Spark at Petabyte Scale».
- ↑ Shibi Sudhakaran of PayPal. «PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)». Couchbase. Consultado el 3 de marzo de 2016.
- ↑ Josh Baer. «How Apache Drives Spotify's Music Recommendations».
- ↑ «Stream Processing in Uber». InfoQ. Consultado el 6 de diciembre de 2015.
- ↑ «Shopify - Sarama is a Go library for Apache Kafka».
- ↑ «Exchange Market Data Streaming with Kafka».