Naučit teorii, algoritmy a metody používané pro různé modely neuronových sítí.

To teach theory, algorithms and methods used in different models of artificial neural networks.

A) Cvičení

V doprovodném Moodle-kurzu budou postupně zveřejňované úkoly a testy.

Úkoly:

Každý úkol má stanovené datum odevzdání. Řešení lze do systému vkládat postupně a průběžně ho upravovat. Časem odevzdání je čas kliknutí na tlačítko "Odevzdat úkol". Po kliknutí na toto tlačítko řešení už nelze opravovat, ale lze zažádat e-mailem učitele o vrácení do stavu rozpracování. Každý úkol bude učitelem oznámkován přidělením 0–10 bodů. Za celý semestr budou zadány 3 úkoly.

Typické řešení úkolu bude sestávat z textu – popisu řešení – a kódu v Pythonu použitého na vyřešení úkolu. Oboje, text i kód lze odevzdat ve formě Jupyterovského notebooku. Alternativně můžete texty odevzdat ve formátu PDF a kódy jako jednoduché ASCII soubory.

Upozornění: V případě, že bude zjištěno, že N≥2 posluchačů odevzdalo řešení, která se nápadně podobají nebo jsou zcela totožné, budou všechna tato řešení považována za jedno řešení. Toto řešení bude ohodnoceno B body podle jeho kvality, ale každý z těchto N řešitelů získá pouze dolní celou část z B/N bodů.

Testy:

Kromě úkolů, budou postupně zveřejňovány on-line testy. Za první tzv. vstupní test lze získat maximálně 10 bodů. V průběhu semestru můžete získat 20 bodů za čtyři kratší testy. Každý test bude mít stanovené datum, do kterého musí být vyřešen. Řešit test po tomto datu nebude možné.

Pro získání zápočtu je nutné:

1. Vypracovat řešení všech úkolů a za řešení každého úkolu získal alespoň 1 bod. POZOR: za pozdní odevzdání úkolu se strhává 1 bod za každý započatý týden po termínu odevzdání!
2. Vypracovat a přednést řešení projektu na jednom z posledních cvičení nebo v termínu prezentací v zkouškovém období (jeho datum a čas bude dohodnutý na cvičení v posledním týdnu semestru). Témata projektů budou dohodnuté přibližně v půlce semestru na cvičení. Prezentace a odevzdané řešení budou taktéž ohodnoceny dohromady 0–15 body. 

Řešení on-line testů není nutnou podmínkou pro získání zápočtu. Na cvičeních lze získat dodatečné body

• za předvedení řešení úkolu zadaného na cvičení — 1 bod,
• za předvedení řešení úkolu zadaného a odevzdaného v Moodlu (po termínu odevzdání) — dolní celá část poloviny bodů, které budou přiděleny za odevzdané řešení.

Bez dodatečných bodů tak lze za celý semestr získat až 75 bodů. Body získané za celý semestr budou zkoušejícím započítány do celkové známky za předmět tak, aby tvořily 35% výsledného bodového hodnocení, ze kterého bude odvozena známka při zkoušce. I když student získá z cvičení více než 75 bodů (po započítání dodatečných bodů), tak tyto budou započítány pouze jako 35% do hodnocení zkoušky.

Získání zápočtu vyžaduje průběžnou práci přes celý semestr, a proto žádné náhradní termíny pro získání zápočtu nebudou vypsány.

B) Přednáška

Přednáška se koná dvakrát týdně podle rozvrhu. Jak už bylo zmíněno výše, body získané z cvičení budou započítány s vahou 35% do celkového hodnocení posluchače. Dále se budou v rámci cvičení psát dva online testy. Dny konání testů budou vypsány na začátku semestru a budou zveřejněné v doprovodném Moodle kurzu. Každý z testů přispěje 10% k celkovému hodnocení. Samotná zkouška na konci semestru se započítává 45% do výsledného hodnocení. Posluchač získá známku na základě celkového hodnocení podle následující tabulky

známka 1	známka 2	známka 3	nevyhověl
100%–86%	85%–71%	70%–56%	méně než 56%

A) The lab

Step by step, in an accompanying Moodle course, there will be published assignments and quizzes.

Assignments:

Each assignment has a deadline till which the assignment should be submitted for grading. A draft solution of an assignment can be edited at any time, but the time of submission is the time you click the button "Submit assignment". After clicking this button, you cannot edit your submission anymore, but you can ask (per e-mail) your teacher to return the assignment to the draft state. The teacher will grade each submitted assignment with 0–10 points. During the semester, you will solve three assignments.

A typical solution for an assignment will consist of a text – a description of the solution – and a Python code for solving the task. Both description and code can be submitted as a Jupyter notebook. Alternatively, you can submit your texts as a PDF file and the source codes as plain ASCII files.

Warning: If N≥2 participants of the course will submit solutions that are very similar or identical, all these solutions will be considered as a single solution. The solution will be graded by B points according to its quality and all students who submitted it will obtain only the integer part of the value B/N points.

Quizzes:

Beside the assignments, you will solve several on-line quizzes. You can obtain at most 10 points for the first so-called entrance test. During the semester, you can obtain 20 points from four short tests. Each quiz will have set up also a deadline. In contrast to assignments, it will be not possible to solve any quiz after its deadline.

For obtaining credits for the lab it is necessary:

1. To solve all the assignments and to obtain at least 1 point for each solution. WARNING: late submission of a solution will be penalized by 1 point decrease for each started week of the delay after the deadline
2. To prepare and to present a term project in a lab in the last week of this term or on a date (during the following exam period) that will be set up on a lab within the last week of this semester. Subjects for the project will be discussed in a lab in the middle of the term. Each project will be graded up to 15 points according to its quality.

The quizzes are not among the necessary conditions for obtaining credits for the lab. During labs, it is possible to obtain additional points

• for demonstrating a solution of a problem assigned during a lab — 1 point,
• for demonstrating a solution submitted as a solution for an assignment in Moodle (after its deadline) — the integer part of the half of the number of point awarded for the solution (after evaluating by the teacher)

Except for the additional points, obtaining up to 75 points is possible. All points obtained during labs will account for up to 35% of the final exam score. However, when a student gets more than 85 points within labs (counting also additional points), these points will still account for only 35% of the final score of the exam.

Continuous work throughout the whole term is required to obtain the credit. Therefore there will be no additional possibilities to acquire them later.

B) The lecture

The lecture will be given two times per week according to the schedule. As already mentioned above, points acquired within the lab will account for up to 35% of the final score for the exam. Further, there will be two online tests which will be written during labs. The dates for the tests will be set up within the first week of the semester and published in the accompanying Moodle course.

Each test will be graded with 0-10% toward the final score. The exam at the end of this term will add up to the remaining 45% to the final score. The following table gives the final grade according to the achieved score:

1. Abu-Mostafa Y. S., Magdon-Ismail M., Lin H.-T.: Learning From Data: A Short Course, AMLbook.com, 2012
2. Goldberg D. E.: Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley, Reading, Mass. 1989
3. Haykin S.: Neural Networks and Learning Machines, 3rd Edition, Pearson, 2009
4. Kohonen T.: Self-Organizing Maps, Springer-Verlag, 1995
5. Rojas R.: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996
6. Šíma J. and Neruda R.: Teoretické otázky neuronových sítí, Matfyz Press, Praha, 1997

1. Abu-Mostafa Y. S., Magdon-Ismail M., Lin H.-T.: Learning From Data: A Short Course, AMLbook.com, 2012
2. Goldberg D. E.: Genetic Algorithms in Search, Optimization and Machine Learning, Addison-Wesley, Reading, Mass. 1989
3. Haykin S.: Neural Networks and Learning Machines, 3rd Edition, Pearson, 2009
4. Kohonen T.: Self-Organizing Maps, Springer-Verlag, 1995
5. Rojas R.: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996
6. Šíma J. and Neruda R.: Teoretické otázky neuronových sítí, Matfyz Press, Praha, 1997

Zkouška se skládá z písemné a ústní části. Písemná část předchází části ústní, její nesplnění znamená, že celá zkouška je hodnocena známkou nevyhověl(a) a ústní částí se již nepokračuje. Nesložení ústní části znamená, že při příštím termínu je nutno opakovat obě části zkoušky, písemnou i ústní. Známka ze zkoušky se stanoví na základě bodového hodnocení písemné i ústní části zkoušky a bodového hodnocení získaného za práci během semestru (viz podmínky zakončení předmětu).

Písemná část zkoušky bude sestávat ze tří otázek k tématům, která korespondují se sylabem přednášky a/nebo látce procvičované na cvičení.

Požadavky ke zkoušce odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce, resp. cvičení. Nutnou podmínkou pro účast na zkoušce je získání zápočtu.

The exam consists of a written and oral part. The written part precedes the oral part. Failing the written part impacts failing the whole exam, i.e. the exam will be classified by the grade 4 (failed) and the exam will not continue with the oral part. When failing the oral part the next (reparative) attempt will consist again of both the written and oral parts. The final grade of the exam is set based on points awarded for the written and oral parts of the exam as well as on the points obtained for student’s work throughout the semester - see Course completion requirements.

The written part of the exam consists of three questions related to the syllabus of the lecture and/or material covered during the lab classes.

The requirements for the exam correspond to the syllabus of the lecture within the extent presented in the classes. In order to take part in the exam, it is necessary to obtain Final course credit.

1. Úvod do problematiky umělých neuronových sítí

• Biologický neuron a neuronové sítě, přenos signálu v axonu a synapsích, zpracování informací v neuronech, hlavní části mozku.
• Historie a základní principy umělých neuronových sítí.
• Adaptace a učení, formální zápis vzorů.
• Výběr a uspořádání příznaků, výběr a uspořádání trénovacích vzorů.

2. První modely umělých neuronových sítí

• Formální neuron, váhy, potenciál, přenosová funkce.
• Základní typy umělých neuronových sítí.
• Konekcionalismus, učení a rozpoznávání, učení s učitelem a samoorganizace, extrakce znalostí, generalizace a robustnost.
• Perceptron a lineární separabilita, dělicí nadrovina. Perceptronový algoritmus učení a jeho konvergence, přihrádkový algoritmus.

3. Dopředné sítě a algoritmus zpětného šíření

• Algoritmus zpětného šíření - odvození adaptačních pravidel. Trénovací, testovací a validační množina, různé strategie učení.
• Interní reprezentace znalostí, generalizace, over-fitting and over-sizing, Vapnik-Chervonenkisova dimenze.
• Kolmogorovova věta, aproximace funkcí, složitost problému učení.
• Oblasti a principy použití dopředných sítí perceptronového typu.

4. Asociativní sítě

• Umělé neuronové sítě se zpětnou vazbou, Hebbovské učení, kapacita paměti, atraktory, energetická funkce a konvergence ke stabilním stavům.
• Asociativní paměti, bidirektivní asociativní paměť (BAM), Hopfieldův model, spojitý Hopfieldův model, simulované žíhání, Boltzmannův stroj.
• Použití Hopfieldovy sítě k hledání suboptimálních řešení NP-úplných problémů.

5. Samoorganizace a hybridní modely

• Posilované učení bez učitele - Ojův algoritmus učení pro PCA.
• Kohonenovy samoorganizační mapy a algoritmy pro jejich učení, laterální inhibice, topologické okolí.
• Algoritmus vstřícného šíření (Counter-propagation), RBF-sítě, adaptivní rezonance (ART).
• Kaskádová korelace a modulární neuronové sítě - sítě lokálních expertů.

6. Genetické algoritmy

• Formulace optimalizačního problému, populace jedinců, základní genetické operátory - selekce, křížení, mutace.
• Cílová funkce (fitness function). Analýza konvergence - věta o schematech.
• Aplikace genetických algoritmů v oblasti umělých neuronových sítí.

1. Introduction to the area of artificial neural networks

• Biological neuron and neural networks, transmission of signals in axons and synapses, information processing in neurons, main parts of the brain.
• History and fundamental principles of artificial neural networks.
• Adaptation and learning, a formal description of patterns.
• Selection and ordering of pattern features, selection and ordering of training patterns.

2. Early models of artificial neural networks

• The model of a formal neuron, weights, potential, transfer function.
• Main types of artificial neural metworks.
• Connectionism, training and recall, supervised learning and self-organization, knowledge extraction, generalization and robustness.
• Perceptron and linear separability, separating hyperplane. Perceptron training algorithm and its convergence, the pocket algorithm.

3. Feed-forward neural networks and error back-propagation

• The back-propagation training algorithm and the derivation of weight adjustment rules. Training, test and validation sets, various training strategies.
• Internal knowledge representation, generalization, over-fitting and over-sizing, Vapnik-Chervonenkis dimension.
• Kolmogorov´s theorem, function approximation, complexity of the learning problem.
• Main areas and principles for applications of feed-forward neural networks.

4. Associative networks

• Recurrent neural networks, Hebbian learning, memory capacity, attractors, energy function and convergence to stable states.
• Associative memories, bidirectional associative memories (BAM), the Hopfield model, continuous Hopfield model, simulated annealing, the Boltzmann machine.
• Hopfield networks in the search for suboptimal solutions of NP-complete problems.

5. Self-organization and hybrid models

• Unsupervised reinforcement learning - Oja´s algorithm for PCA.
• Kohonen self-organizing feature maps and algorithms for their training, lateral inhibition, topological neighborhood.
• Counter-propagation neural networks, RBF-networks, Adaptive Resonance Theory (ART).
• Cascade correlation and modular neural networks - mixtures of local experts.

6. Genetic algorithms

• Coding of the optimization problem, population of strings, fundamental genetic operators - selection, cross-over, mutation.
• Fitness function. Convergence analysis - schemata theorem.
• Applications of genetic algorithms in the field of artificial neural networks.