Apache Kafka
Apache Kafka | |||||
---|---|---|---|---|---|
Información general | |||||
Tipo de programa | message-oriented middleware | ||||
Autor | Neha Narkhede | ||||
Desarrollador | |||||
Lanzamiento inicial | 7 de noviembre de 2010 | ||||
Licencia |
| ||||
Información técnica | |||||
Programado en | |||||
Versiones | |||||
Última versión estable | 3.9.06 de noviembre de 2024 | ||||
Lanzamientos | |||||
| |||||
Enlaces | |||||
Apache Kafka es un proyecto de intermediación de mensajes de código abierto desarrollado por LinkedIn y donado a la Apache Software Foundation escrito en Java y Scala. El proyecto tiene como objetivo proporcionar una plataforma unificada, de alto rendimiento y de baja latencia para la manipulación en tiempo real de fuentes de datos. Puede verse como una cola de mensajes, bajo el patrón publicación-suscripción, masivamente escalable concebida como un registro de transacciones distribuidas,[3] lo que la vuelve atractiva para las infraestructuras de aplicaciones empresariales.
El diseño tiene gran influencia de los registros de transacción.[4]
Historia
Apache Kafka fue originalmente desarrollado por la empresa Linkedin, la cual lo publicó como software libre a principios de 2011. En octubre de 2012 superó la etapa de incubación de la fundación Apache. En noviembre 2014, varios ingenieros que trabajaron en el proyecto Kafka de Linkedin crearon una nueva empresa llamada Confluent enfocada en Kafka.[5]
Empresas que utilizan Kafka
El siguiente es una lista de empresas conocidas que utilizan o han utilizado Kafka:
- Cisco Sistemas[6]
- Daumkakao[7]
- Walmart[8]
- Netflix[9]
- PayPal[10]
- Spotify[11]
- Uber[12]
- Shopify[13]
- Betfair[14]
- Microsoft Azure[15]
Rendimiento de Kafka
Debido a su capacidad de escalar masivamente y a su uso en estructuras a nivel de aplicaciones empresariales, el seguimiento del rendimiento de Kafka se ha convertido en un tema cada vez más importante. Actualmente existen varias plataformas de código abierto, como Burrow de Linkedin, y plataformas de pago como Datadog,[3] que permiten hacer el seguimiento del desempeño de Kafka.
Véase también
Referencias
- ↑ «Mirror of Apache Kafka at GitHub]». github.com. Consultado el 6 de marzo de 2017.
- ↑ «Open-sourcing Kafka, LinkedIn's distributed message queue». Consultado el 27 de octubre de 2016.
- ↑ a b «Monitoring Kafka performance metrics». Datadog Engineering Blog. Consultado el 9 de junio de 2016.
- ↑ «The Log: What every software engineer should know about real-time data's unifying abstraction». LinkedIn Engineering Blog. Consultado el 9 de junio de 2016.
- ↑ Primack, Dan. «LinkedIn engineers spin out to launch 'Kafka' startup Confluent». fortune.com. Consultado el 9 de junio de 2016.
- ↑ «OpenSOC: An Open Commitment to Security». Cisco blog. Consultado el 3 de febrero de 2016.
- ↑ Doyung Yoon. «S2Graph : A Large-Scale Graph Database with HBase».
- ↑ «OpenSOC: Kafka Ecosystem on Walmart’s Cloud». Medium. Consultado el 15 de enero de 2019.
- ↑ Cheolsoo Park and Ashwin Shankar. «Netflix: Integrating Spark at Petabyte Scale».
- ↑ Shibi Sudhakaran of PayPal. «PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)». Couchbase. Consultado el 3 de marzo de 2016.
- ↑ Josh Baer. «How Apache Drives Spotify's Music Recommendations».
- ↑ «Stream Processing in Uber». InfoQ. Consultado el 6 de diciembre de 2015.
- ↑ «Shopify - Sarama is a Go library for Apache Kafka».
- ↑ «Exchange Market Data Streaming with Kafka». Archivado desde el original el 27 de enero de 2016. Consultado el 9 de junio de 2016.
- ↑ George, Sam (5 de diciembre de 2016). «Kafka Connect for Azure IoT Hub» (html). Microsoft (en inglés). Archivado desde el original el 13 de julio de 2017. Consultado el 12 de marzo de 2019.