{"id":231,"date":"2017-10-12T08:27:30","date_gmt":"2017-10-12T07:27:30","guid":{"rendered":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/?page_id=231"},"modified":"2023-09-04T11:46:49","modified_gmt":"2023-09-04T10:46:49","slug":"deep-learning-for-nlp","status":"publish","type":"page","link":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/teaching\/deep-learning-for-nlp\/","title":{"rendered":"Deep Learning in NLP"},"content":{"rendered":"<p>Deep Learning (mit <a href=\"http:\/\/user.phil.hhu.de\/~cwurm\/\">Christian Wurm<\/a>)<\/p>\n<p>Dienstag, 14:30-16:00, Raum 2303.01.24<br \/>\nMittwoch, 12:30-14:00, Raum 2421.03.61<\/p>\n<p>Ziel dieses Kurses ist es, die state-of-the-art Techniken neuronaler Netze einerseits zu verstehen, andererseits praktisch zu implementieren. Kursinhalte sind werden unten angegeben. Training und Implementierung neuronaler Netze wird mit Python und Keras (einer Python-Bibliothek) umgesetzt werden. Dienstag werden \u2013 tendenziell \u2013 eher theoretische Grundlagen besprochen, Mittwoch wird \u2013 tendenziell \u2013 programmiert.<\/p>\n<p>Die theoretischen Inhalte finden sich in diesem <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2018\/01\/deep_architectures.pdf\">Skript<\/a> (Vorsicht, \u00e4ndert sich \u00f6fters mal!)<\/p>\n<ul>\n<li>Sitzung 1 Semester\u00fcberblick<\/li>\n<li>Sitzung 2 Methodik des maschinellen Lernens<\/li>\n<li>Sitzung 3 Lineare (Algebra, Modelle, Regression)<\/li>\n<li>Sitzung 4 Vektoren und Matrizen, generalisierte lineare Modelle. <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/10\/ha1.pdf\">Hausaufgabe 1<\/a><\/li>\n<li>Sitzung 5 Nichtlineare Funktionen auf Vektoren<\/li>\n<li>Sitzung 6 Multilayer Perzeptronen<\/li>\n<li>Sitzung 7 \u00dcberblick \u00fcber den praktischen Teil <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/08112017.pdf\">Folien<\/a><\/li>\n<li>Sitzung 8 Grundlagen der Programmierung mit neuronalen Netzen <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/src.zip\">Code<\/a><\/li>\n<li>Sitzung 9 Backpropagation und Gradient descent<\/li>\n<li>Sitzung 10 Implementierung von neuronalen Netzen mit Keras <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/15112017_presentatio.pdf\">Folien<\/a> <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/classification.zip\">Code<\/a> <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/ha2.pdf\">Hausaufgabe 2 <\/a><\/li>\n<li>Sitzung 11 Word embeddings<\/li>\n<li>Sitzung 12 Regression mit neuronalen Netzen <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/21112017.pdf\">Folien<\/a> <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/11\/src-1.zip\">Code<\/a><\/li>\n<li>Sitzung 13 Recurrent neural networks: Konstruktion und Training<\/li>\n<li>Sitzung 14 POS-tagging mit char-embeddings <a href=\"https:\/\/www.dropbox.com\/sh\/pzreefftyhw3btc\/AABHCewGZl2a_jDy3AuTK_WNa?dl=0\">Daten <\/a><a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/12\/code.zip\">Code<\/a><\/li>\n<li>Sitzung 15 POS-tagging mit char-embeddings <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/12\/exercice_data.zip\">Hausaufgabe <\/a><a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/12\/exercice_solution.zip\">L\u00f6sung<\/a><\/li>\n<li>Sitzung 16 Architekturen mit gates: LSTM und GRU<\/li>\n<li>Sitzung 17 POS-tagging mit word-windows <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/12\/Code13_12.zip\">Code<\/a><\/li>\n<li>Sitzung 18 POS-tagging mit word und char-representations<\/li>\n<li>Sitzung 19 Word embeddings <a href=\"https:\/\/www.dropbox.com\/s\/ruk9y97awa0ww1s\/200122017_data.tar.gz?dl=0\">Code <\/a>(tagging) <a href=\"https:\/\/storage.googleapis.com\/google-code-archive-source\/v2\/code.google.com\/word2vec\/source-archive.zip\">Code<\/a> (google word2vec) <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2017\/12\/ha4.txt\">Hausaufgabe<\/a><\/li>\n<li>Sitzung 20 Convolutional neural networks<\/li>\n<li>Sitzung 21 Semantic relation detection: <a href=\"http:\/\/user.phil.uni-duesseldorf.de\/~cwurm\/wp-content\/uploads\/2018\/01\/w2v.ipynb_.zip\">shared task Gensim example<\/a><\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Deep Learning (mit Christian Wurm) Dienstag, 14:30-16:00, Raum 2303.01.24 Mittwoch, 12:30-14:00, Raum 2421.03.61 Ziel dieses Kurses ist es, die state-of-the-art Techniken neuronaler Netze einerseits zu verstehen, andererseits praktisch zu implementieren. Kursinhalte sind werden unten angegeben. Training und Implementierung neuronaler Netze &hellip; <a class=\"more-link\" href=\"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/teaching\/deep-learning-for-nlp\/\">Continue reading <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":81,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"_links":{"self":[{"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/pages\/231"}],"collection":[{"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/comments?post=231"}],"version-history":[{"count":18,"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/pages\/231\/revisions"}],"predecessor-version":[{"id":1106,"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/pages\/231\/revisions\/1106"}],"up":[{"embeddable":true,"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/pages\/81"}],"wp:attachment":[{"href":"https:\/\/user.phil-fak.uni-duesseldorf.de\/~samih\/wp-json\/wp\/v2\/media?parent=231"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}