4 Careers in Designing Machine Learning Systems
March 28, 2024
Article
Creación de aplicaciones de Big Data escalables
Instructor: Google Cloud Training
Included with
Recommended experience
Intermediate level
Comprensión básica del lenguaje de programación Java o Python.
Recommended experience
Intermediate level
Comprensión básica del lenguaje de programación Java o Python.
Demostrar cómo Apache Beam y Dataflow funcionan en conjunto para satisfacer las necesidades de procesamiento de datos de su organización
Resumir los beneficios del marco de trabajo de portabilidad de Beam y habilitarlo en las canalizaciones de Dataflow
Habilitar Shuffle y Streaming Engine para las canalizaciones por lotes y de transmisión, respectivamente, a fin de lograr el máximo de rendimiento
Seleccionar y ajustar la E/S de su elección para la canalización de Dataflow
Add to your LinkedIn profile
Add this credential to your LinkedIn profile, resume, or CV
Share it on social media and in your performance review
Cada vez es más difícil mantener una pila de tecnología que pueda mantenerse al día con las crecientes demandas de un negocio basado en datos. Todos los profesionales de Big Data están familiarizados con las tres V de Big Data: volumen, velocidad y variedad. ¿Qué pasaría si existiera una tecnología a prueba de incrustaciones diseñada para satisfacer estas demandas? Ingrese al flujo de datos de la nube de Google. Google Cloud Dataflow simplifica el procesamiento de datos al unificar el procesamiento por lotes y de transmisión y brindar una experiencia sin servidor que permite a los usuarios concentrarse en el análisis, no en la infraestructura. Esta especialización está destinada a clientes y socios que buscan mejorar su comprensión de Dataflow para avanzar en sus aplicaciones de procesamiento de datos. Esta especialización contiene tres cursos:
Foundations, que explica cómo Apache Beam y Dataflow trabajan juntos para satisfacer sus necesidades de procesamiento de datos sin el riesgo de depender de un proveedor.
Developing Pipelines, que cubre cómo convertir nuestra lógica comercial en aplicaciones de procesamiento de datos que pueden ejecutarse en Dataflow
Operations, que repasa las lecciones más importantes para operar una aplicación de datos en Dataflow, incluido el monitoreo, la resolución de problemas, las pruebas y la confiabilidad.
Applied Learning Project
Esta especialización incorpora laboratorios prácticos utilizando la plataforma Qwiklabs. Los laboratorios se basan en los conceptos cubiertos en los módulos del curso. Cuando corresponda, proporcionamos versiones Java y Python de los laboratorios. Para los laboratorios que requieren agregar/actualizar código, proporcionamos una solución recomendada para su referencia.
Demostrar cómo Apache Beam y Cloud Dataflow trabajan juntos para satisfacer las necesidades de procesamiento de datos de su organización
Resumir las ventajas del marco de portabilidad de Beam y habilitarlo para sus pipelines de flujo de datos
Habilitar Shuffle & Streaming Engine para los pipelines de batch y streaming respectivamente para un máximo rendimiento
Permitir una programación flexible de los recursos para un rendimiento más rentable
En esta segunda parte de la serie de cursos sobre Dataflow, analizaremos en profundidad el desarrollo de canalizaciones con el SDK de Beam. Comenzaremos con un repaso de los conceptos de Apache Beam. A continuación, analizaremos el procesamiento de datos de transmisión con ventanas, marcas de agua y activadores. Luego, revisaremos las opciones de fuentes y receptores en sus canalizaciones, los esquemas para expresar datos estructurados y cómo realizar transformaciones con estado mediante las API de State y de Timer. Después, revisaremos las prácticas recomendadas que ayudan a maximizar el rendimiento de las canalizaciones. Al final del curso, presentaremos SQL y Dataframes para representar su lógica empresarial en Beam y cómo desarrollar canalizaciones de forma iterativa con notebooks de Beam.
Realizar actividades de supervisión, solución de problemas, pruebas y CI/CD en las canalizaciones de Dataflow.
Implementar canalizaciones de Dataflow pensando en la confiabilidad para maximizar la estabilidad de su plataforma de procesamiento de datos.
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Unlimited access to 10,000+ world-class courses, hands-on projects, and job-ready certificate programs - all included in your subscription
Earn a degree from world-class universities - 100% online
Upskill your employees to excel in the digital economy
Para aprovechar este curso al máximo, los participantes deben haber completado los siguientes cursos:
“Building Batch Data Pipelines”
“Building Resilient Streaming Analytics Systems”
This course is completely online, so there’s no need to show up to a classroom in person. You can access your lectures, readings and assignments anytime and anywhere via the web or your mobile device.
If you subscribed, you get a 7-day free trial during which you can cancel at no penalty. After that, we don’t give refunds, but you can cancel your subscription at any time. See our full refund policy.
Yes! To get started, click the course card that interests you and enroll. You can enroll and complete the course to earn a shareable certificate, or you can audit it to view the course materials for free. When you subscribe to a course that is part of a Specialization, you’re automatically subscribed to the full Specialization. Visit your learner dashboard to track your progress.
Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.
When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. If you only want to read and view the course content, you can audit the course for free. If you cannot afford the fee, you can apply for financial aid.
This Specialization doesn't carry university credit, but some universities may choose to accept Specialization Certificates for credit. Check with your institution to learn more.