In this course, you will explore various types of source systems, learn how they generate and update data, and troubleshoot common issues you might encounter when trying to connect to these systems in the real world. You’ll dive into the details of common ingestion patterns and implement batch and streaming pipelines. You’ll automate and orchestrate your data pipelines using infrastructure as code and pipelines as code tools. You’ll also explore AWS and open source tools for monitoring your data systems and data quality.
Source Systems, Data Ingestion, and Pipelines
Source Systems, Data Ingestion, and Pipelines
Dieser Kurs ist Teil von DeepLearning.AI Data Engineering Zertifikat über berufliche Qualifikation
Unterrichtet auf Englisch
Dozent: Joe Reis
Kurs
Informieren Sie sich über ein Thema und erlernen Sie die Grundlagen.
Stufe Mittel
Empfohlene Erfahrung
34 Stunden (ungefähr)
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen
Was Sie lernen werden
Gather stakeholder needs and translate them into system requirements.
Implement a batch and a streaming ingestion process on AWS to ingest data from various source systems.
Integrate aspects of security, data management, DataOps and orchestration into the data systems you build.
Kompetenzen, die Sie erwerben
- Kategorie: Networking on the Cloud
- Kategorie: DataOps
- Kategorie: Batch and Streaming Ingestion
- Kategorie: Data orchestration
- Kategorie: Infrastructure as Code (IaC)
Wichtige Details
Zertifikat zur Vorlage
Zu Ihrem LinkedIn-Profil hinzufügen
Kürzlich aktualisiert!
September 2024
Bewertungen
4 Aufgaben
Kurs
Informieren Sie sich über ein Thema und erlernen Sie die Grundlagen.
Stufe Mittel
Empfohlene Erfahrung
34 Stunden (ungefähr)
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Erweitern Sie Ihr Fachwissen im Bereich Cloud Computing
Dieser Kurs ist Teil der Spezialisierung DeepLearning.AI Data Engineering Zertifikat über berufliche Qualifikation
Wenn Sie sich für diesen Kurs anmelden, werden Sie auch für dieses Berufszertifikat angemeldet.
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat von DeepLearning.AI zur Vorlage
Erwerben Sie ein Karrierezertifikat.
Fügen Sie diese Qualifikation zur Ihrem LinkedIn-Profil oder Ihrem Lebenslauf hinzu.
Teilen Sie es in den sozialen Medien und in Ihrer Leistungsbeurteilung.
In diesem Kurs gibt es 4 Module
In lesson 1, you will explore source systems data engineers commonly interact with. Then in lesson 2, you will learn how to connect to various source systems and troubleshoot common connectivity issues.
Das ist alles enthalten
21 Videos7 Lektüren1 Aufgabe3 App-Elemente1 Unbewertetes Labor
This week you will dive deep into the batch and streaming ingestion patterns. You will identify use cases and considerations for each, and then build a batch and a streaming ingestion pipeline. When looking at batch ingestion, you will compare and contrast the ETL and ELT paradigms. You will also explore various AWS services for batch and streaming ingestion.
Das ist alles enthalten
11 Videos5 Lektüren1 Aufgabe2 App-Elemente
In the first lesson, you will explore DataOps automation practices, including applying CI/CD to both data and code, and using infrastructure as code tools like Terraform to automate the provisioning and management of your resources. Then in lesson 2, you will explore DataOps observability and monitoring practices, including using tools like Great Expectation to monitor data quality, and using Amazon CloudWatch to monitor your infrastructure.
Das ist alles enthalten
17 Videos3 Lektüren1 Aufgabe3 App-Elemente
This week, you will learn all about orchestrating your data pipeline tasks. You'll identify the various orchestration tools, but will focus on Airflow -- one of the most popular and widely used tools in the field today. You'll explore the core components of Airflow, the Airflow UI, and how to create and manage DAGs using various Airflow features.
Das ist alles enthalten
11 Videos4 Lektüren1 Aufgabe3 App-Elemente
Dozent
Empfohlen, wenn Sie sich für Cloud Computing interessieren
Google Cloud
Google Cloud
Google Cloud
Warum entscheiden sich Menschen für Coursera für ihre Karriere?
Felipe M.
Lernender seit 2018
„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“
Jennifer J.
Lernender seit 2020
„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“
Larry W.
Lernender seit 2021
„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“
Chaitanya A.
„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“
Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu über 7.000 erstklassigen Kursen, praktischen Projekten und Zertifikatsprogrammen, die Sie auf den Beruf vorbereiten – alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Access to lectures and assignments depends on your type of enrollment. If you take a course in audit mode, you will be able to see most course materials for free. To access graded assignments and to earn a Certificate, you will need to purchase the Certificate experience, during or after your audit. If you don't see the audit option:
The course may not offer an audit option. You can try a Free Trial instead, or apply for Financial Aid.
The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.
When you enroll in the course, you get access to all of the courses in the Certificate, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile. If you only want to read and view the course content, you can audit the course for free.
If you subscribed, you get a 7-day free trial during which you can cancel at no penalty. After that, we don’t give refunds, but you can cancel your subscription at any time. See our full refund policy.