When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Como criar pipelines de dados em lote no Google Cloud

Saisissez l'occasion de faire des économies ! Bénéficiez de 40 % de réduction sur 3 mois de Coursera Plus et d'un accès complet à des milliers de cours.

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Como criar pipelines de dados em lote no Google Cloud

Name: Como criar pipelines de dados em lote no Google Cloud
Rating: 4.75 (16 reviews)

Ce cours fait partie de Spécialisation "Data Engineer, Big Data and ML on Google Cloud em Português"

Instructeur : Google Cloud Training

Inclus avec

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

16 avis

niveau Intermédiaire

Certaines connaissances prérequises

1 semaine à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

4 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

16 avis

niveau Intermédiaire

Certaines connaissances prérequises

1 semaine à compléter

à 10 heures par semaine

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial.
Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume.
Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados.
Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade.

Compétences que vous acquerrez

Catégorie : Data Validation
Catégorie : Data Cleansing
Catégorie : Google Cloud Platform
Catégorie : Data Pipelines
Catégorie : Workflow Management
Catégorie : Data Transformation
Catégorie : Dataflow
Catégorie : Operational Efficiency
Catégorie : Scheduling
Catégorie : Resource Management
Catégorie : Data Warehousing
Catégorie : Extract, Transform, Load
Catégorie : Scalability
Catégorie : Performance Tuning
Catégorie : Data Quality
Catégorie : Data Processing

Outils que vous découvrirez

Catégorie : Apache Spark

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

5 devoirs

Enseigné en Portugais (Brésil)

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "Data Engineer, Big Data and ML on Google Cloud em Português"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 4 modules dans ce cours

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.

Você vai conhecer o papel fundamental de um engenheiro de dados no desenvolvimento e na manutenção de pipelines de dados em lote, entender os principais componentes e o ciclo de vida desses mecanismos e analisar os desafios mais comuns no processamento de dados em lote. Também vai identificar os principais serviços do Google Cloud que ajudam a resolver essas dificuldades.

Inclus

1 devoir2 plugins

Você vai projetar pipelines de dados em lote escalonáveis para a ingestão e transformação de dados em grande volume. Também vai otimizar jobs em lote para ter economia e alta capacidade de processamento usando várias técnicas de gerenciamento de recursos e ajuste de desempenho.

Inclus

1 devoir2 éléments d'application6 plugins

1 devoir Total 8 minutes

Teste do módulo 2: Design e transformações 8 minutes

2 éléments d'application Total 105 minutes

Laboratório: Criar um pipeline de dados em lote simples com o Serverless para Apache Spark 45 minutes
Laboratório: Criar um pipeline de dados em lote simples com a interface do job builder do Dataflow 60 minutes

6 plugins Total 90 minutes

Projetar pipelines em lote 15 minutes
Transformações de dados em grande escala 15 minutes
Dataflow e Serverless para Apache Spark 15 minutes
Orquestração e conexões de dados 15 minutes
Executar um pipeline do Apache Spark 15 minutes
Otimizar a performance do pipeline em lote 15 minutes

Você vai desenvolver regras de validação de dados e lógica de limpeza para garantir a qualidade deles nos pipelines em lote. Também vai implementar estratégias para gerenciar a evolução do esquema e eliminar duplicações em grandes conjuntos de dados.

Inclus

1 devoir1 élément d'application6 plugins

1 devoir Total 8 minutes

Teste do Módulo 3: Validação de dados e evolução do esquema 8 minutes

1 élément d'application Total 90 minutes

Laboratório: Validar a qualidade dos dados em um pipeline em lote com o Serverless para Apache Spark 90 minutes

6 plugins Total 90 minutes

Validação e limpeza de dados em lote 15 minutes
Registrar e analisar erros 15 minutes
Evolução do esquema nos pipelines em lote 15 minutes
Integridade e duplicação de dados 15 minutes
Eliminação de duplicação com o Serverless para Apache Spark 15 minutes
Eliminação de duplicação com o Dataflow 15 minutes

Você vai orquestrar fluxos de trabalho complexos de pipeline de dados em lote para agendamento eficiente e rastreamento de linhagem. Também vai implementar tratamento de erros, monitoramento e observabilidade robustos nos pipelines de dados em lote.

Inclus

2 devoirs1 élément d'application6 plugins

2 devoirs Total 16 minutes

Teste do módulo 4: Orquestrações e DAGs 8 minutes
Teste do módulo 4: Observabilidade 8 minutes

1 élément d'application Total 90 minutes

Laboratório: Como criar pipelines em lote no Cloud Data Fusion 90 minutes

6 plugins Total 90 minutes

Orquestração para processamento em lote 15 minutes
Cloud Composer 15 minutes
Observabilidade unificada 15 minutes
Alertas e solução de problemas 15 minutes
Gerenciamento visual de pipelines 15 minutes
Parabéns: resumo do curso 15 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Évaluations de l’enseignant

(5 évaluations)

Google Cloud Training

Google Cloud

2 068 Cours 3 941 129 apprenants

Offert par

Google Cloud

En savoir plus sur Cloud Computing

Statut : Essai gratuit
Google Cloud
Build Batch Data Pipelines on Google Cloud
Cours

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.