Deep Learning in NLP

Deep Learning (mit Christian Wurm)

Dienstag, 14:30-16:00, Raum 2303.01.24
Mittwoch, 12:30-14:00, Raum 2421.03.61

Ziel dieses Kurses ist es, die state-of-the-art Techniken neuronaler Netze einerseits zu verstehen, andererseits praktisch zu implementieren. Kursinhalte sind werden unten angegeben. Training und Implementierung neuronaler Netze wird mit Python und Keras (einer Python-Bibliothek) umgesetzt werden. Dienstag werden – tendenziell – eher theoretische Grundlagen besprochen, Mittwoch wird – tendenziell – programmiert.

Die theoretischen Inhalte finden sich in diesem Skript (Vorsicht, ändert sich öfters mal!)

  • Sitzung 1 Semesterüberblick
  • Sitzung 2 Methodik des maschinellen Lernens
  • Sitzung 3 Lineare (Algebra, Modelle, Regression)
  • Sitzung 4 Vektoren und Matrizen, generalisierte lineare Modelle. Hausaufgabe 1
  • Sitzung 5 Nichtlineare Funktionen auf Vektoren
  • Sitzung 6 Multilayer Perzeptronen
  • Sitzung 7 Überblick über den praktischen Teil Folien
  • Sitzung 8 Grundlagen der Programmierung mit neuronalen Netzen Code
  • Sitzung 9 Backpropagation und Gradient descent
  • Sitzung 10 Implementierung von neuronalen Netzen mit Keras Folien Code Hausaufgabe 2
  • Sitzung 11 Word embeddings
  • Sitzung 12 Regression mit neuronalen Netzen Folien Code
  • Sitzung 13 Recurrent neural networks: Konstruktion und Training
  • Sitzung 14 POS-tagging mit char-embeddings Daten Code
  • Sitzung 15 POS-tagging mit char-embeddings Hausaufgabe Lösung
  • Sitzung 16 Architekturen mit gates: LSTM und GRU
  • Sitzung 17 POS-tagging mit word-windows Code
  • Sitzung 18 POS-tagging mit word und char-representations
  • Sitzung 19 Word embeddings Code (tagging) Code (google word2vec) Hausaufgabe
  • Sitzung 20 Convolutional neural networks
  • Sitzung 21 Semantic relation detection: shared task Gensim example