IBM
Generative AI Language Modeling with Transformers

Offrez à votre carrière le cadeau de Coursera Plus avec $160 de réduction, facturé annuellement. Économisez aujourd’hui.

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.
IBM

Generative AI Language Modeling with Transformers

Ce cours fait partie de plusieurs programmes.

Joseph Santarcangelo
Fateme Akbari
Kang Wang

Instructeurs : Joseph Santarcangelo

2 449 déjà inscrits

Inclus avec Coursera Plus

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
4.5

(18 avis)

niveau Intermédiaire

Expérience recommandée

8 heures pour terminer
3 semaines à 2 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
4.5

(18 avis)

niveau Intermédiaire

Expérience recommandée

8 heures pour terminer
3 semaines à 2 heures par semaine
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Explain the concept of attention mechanisms in transformers, including their role in capturing contextual information.

  • Describe language modeling with the decoder-based GPT and encoder-based BERT.

  • Implement positional encoding, masking, attention mechanism, document classification, and create LLMs like GPT and BERT.

  • Use transformer-based models and PyTorch functions for text classification, language translation, and modeling.

Compétences que vous acquerrez

  • Catégorie : Bidirectional Representation for Transformers (BERT)
  • Catégorie : Positional encoding and masking
  • Catégorie : Generative pre-trained transformers (GPT)
  • Catégorie : Language transformation
  • Catégorie : PyTorch functions

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Évaluations

6 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

Emplacement réservé

Élaborez votre expertise du sujet

Ce cours est disponible dans le cadre de
Lorsque vous vous inscrivez à ce cours, vous devez également sélectionner un programme spécifique.
  • Apprenez de nouveaux concepts auprès d'experts du secteur
  • Acquérez une compréhension de base d'un sujet ou d'un outil
  • Développez des compétences professionnelles avec des projets pratiques
  • Obtenez un certificat professionnel partageable
Emplacement réservé
Emplacement réservé

Obtenez un certificat professionnel

Ajoutez cette qualification à votre profil LinkedIn ou à votre CV

Partagez-le sur les réseaux sociaux et dans votre évaluation de performance

Emplacement réservé

Il y a 2 modules dans ce cours

In this module, you will learn the techniques to achieve positional encoding and how to implement positional encoding in PyTorch. You will learn how attention mechanism works and how to apply attention mechanism to word embeddings and sequences. You will also learn how self-attention mechanisms help in simple language modeling to predict the token. In addition, you will learn about scaled dot-product attention mechanism with multiple heads and how the transformer architecture enhances the efficiency of attention mechanisms. You will also learn how to implement a series of encoder layer instances in PyTorch. Finally, you will learn how to use transformer-based models for text classification, including creating the text pipeline and the model and training the model.

Inclus

6 vidéos3 lectures2 devoirs2 éléments d'application1 plugin

In this module, you will learn about decoders and GPT-like models for language translation, train the models, and implement them using PyTorch. You will also gain knowledge about encoder models with Bidirectional Encoder Representations from Transformers (BERT) and pretrain them using masked language modeling (MLM) and next sentence prediction (NSP). You will also perform data preparation for BERT using PyTorch. Finally, you learn about the applications of transformers for translation by understanding the transformer architecture and performing its PyTorch Implementation. The hands-on labs in this module will give you good practice in how you can use the decoder model, encoder model, and transformers for real-world applications.

Inclus

10 vidéos6 lectures4 devoirs4 éléments d'application2 plugins

Instructeurs

Joseph Santarcangelo
IBM
33 Cours1 667 151 apprenants

Offert par

IBM

Recommandé si vous êtes intéressé(e) par Machine Learning

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Avis des étudiants

Affichage de 3 sur 18

4.5

18 avis

  • 5 stars

    68,42 %

  • 4 stars

    26,31 %

  • 3 stars

    0 %

  • 2 stars

    0 %

  • 1 star

    5,26 %

SM
4

Révisé le 21 oct. 2024

NK
4

Révisé le 16 nov. 2024

RR
4

Révisé le 10 oct. 2024

Emplacement réservé

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à plus de 7 000 cours de renommée internationale, à des projets pratiques et à des programmes de certificats reconnus sur le marché du travail, tous inclus dans votre abonnement

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions