Eksploracja danych

Prowadzący

telefon: 61 665 2961

email: Mikolaj.Morzy@put.poznan.pl

Instytut Informatyki Politechniki Poznańskiej, ul. Piotrowo 2, 60-965 Poznań

Miejsce przedmiotu w programie studiów

Przedmiot obowiązkowy na II stopniu studiów magisterskich na kierunku Informatyka, specjalność Technologie Przetwarzania Danych

Cele

Celem przedmiotu jest zapoznanie studentów z podstawowymi technikami eksploracji danych i odkrywania wiedzy w bazach danych. Podczas laboratoriów studenci implementują i testują różne algorytmy eksploracji danych (określanie ważności atrybutów, odkrywanie cech, odkrywanie asocjacji, klasyfikacja, analiza skupień, regresja) oraz ćwiczą proces odkrywania wiedzy. Główny nacisk położony jest na ćwiczenia praktyczne, studenci poznają istniejące narzędzia służące do eksploracji danych (Weka, Rapid Miner, Project R, Orange Data Mining, scikit-learn), jak i implementują własne rozwiązania przy użyciu języków R i Python. Najważniejszym celem przedmiotu jest jednak zmiana sposobu zdobywania wiedzy poprzez większe zaangażowanie studentów i większą swobodę w akademickim kształceniu.

Sposób zaliczenia przedmiotu

Anatoli Skurikhin
Stakhanovets Kuzbassa, Egor Borisov
Worker at Kuzbass, 1933

  • Bez pracy nie ma kołaczy. Aby przeżyć, każdy górnik musi pracować. W trakcie każdego tygodnia górnik może wykonać jedną z prac prostych:
  • wypełnienie karty pracy dziennej : wypełnić quiz dostarczany po każdych zajęciach (3 XP)
  • artykuł w gazecie zakładowej : przeczytać 2 artykuły naukowe i opisać je w krótkiej notce na blogu (10 XP)
  • praca w czynie społecznym : przygotować program rozwiązujący przykładowy problem (10 XP)
  • obecność na zajęciach nie jest wymagana, ale jest nagradzana 2 XP
  • pod koniec semestru wszyscy górnicy otrzymają zadanie indywidualnego fedrowania nowego chodnika, realizacja zadania będzie warta 30 XP.

W zależności od liczby zdobytych punktów doświadczenia górnik osiąga określony poziom (a co za tym idzie, ocenę):

od XP do XP poziom ocena
0 39 parobek 2.0
40 59 gwarek 3.0
60 64 górnik 3.5
65 79 starszy górnik 4.0
80 84 sztygar 4.5
85 ++ nadsztygar 5.0

grupa laboratoryjna 13:30 grupa laboratoryjna 15:10

Plan laboratoriów

Program zajęć laboratoryjnych obejmuje następujące zagadnienia:

  • wstępne przetwarzanie danych
  • określanie ważności atrybutów
  • reguły asocjacyjne
  • podstawy metod klasyfikacji
  • naiwny klasyfikator Bayesa
  • zaawansowane klasyfikatory: sieci neuronowe, SVM
  • indukcja drzew decyzyjnych
  • meta-metody: boosting, voting, stacking
  • algorytmy analizy skupień
  • odkrywanie cech
  • regresja
  • eksloracja danych w R (caret)
  • eksloracja danych w Pythonie (scikit-learn)

Bibliografia

książki

UWAGA : absolutnie fantastyczna kolekcja 27 darmowych książek z obszaru eksploracji danych, uczenia maszynowego i predictive analytics : http://www.dataonfocus.com/21-free-data-mining-books/

  1. Eksploracja danych. Metody i algorytmy, T.Morzy, Wydawnictwo Naukowe PWN 2013
  2. Data Mining: Concepts and Techniques, J.Han, M.Kamber, J.Pei, Morgan Kaufmann, 2005
  3. Handbook of Data Mining and Knowledge Discovery, W.Kloesgen, J.Zytkow, (eds) Oxford University Press, 2002
  4. Introduction to Data Mining , P.Tan, M.Steinbach, V.Kumar, Addison Wesley, 2005
  5. Data Mining: Practical Machine Learning Tools and Techniques, I.Witten, E.Frank, Morgan Kaufmann; 2 edition (June 10, 2005)
  6. Introduction to Data Science, J.Stanton, Syracuse University’s School of Information Studies (darmowy e-book), kod R do przykładów w książce
  7. The LION way: Machine Learning plus Intelligent Optimization, darmowa książka Roberto Battitiego i Mauro Brunato

tutoriale

kursy MOOC

  • Mining Massive Datasets : autorami kursu są najlepsi specjaliści ze Stanfordu: Jeff Ullman, Jure Leskovec i Anand Rajaraman. Kurs jest niejako uzupełnieniem tego, o czym rozmawiamy w trakcie laboratoriów z eksploracji danych, ponieważ koncentruje się bardziej na technikach dla big data, takich jak haszowanie czy MapReduce, ale zawiera też wykłady ściśle związane z naszym kursem: drzewa decyzyjne, redukcję wymiarowości, k-NN, SVM. To jest niezwykle przydatny kurs o dużej wartości. Za ukończenie kursu przyznam 75 XP
  • Machine Learning : jeszcze jeden kurs ze Stanfordu, tym razem przygotowany przez Andrew Ng, jednego z najbardziej znanych naukowców w obszarze uczenia maszynowego. Kurs jest bardzo przystępny, niezwykle starannie przygotowany i bardzo ciekawy. Jego jedyną wadą jest użycie w zadaniach języka Octave (zamiast R). Ukończenie kursu daje 75 XP
  • Statistical Learninig : kurs przygotowany przez Trevora Hastie i Roba Tibshirani, bazujący na ich fantastycznej książce An Introduction to Statistical Learning with Applications in R. W ciemno mogę polecić ten kurs jako jeden z najlepszych dostępnych na rynku. Jego ukończenie daje 75 XP.
  • Learning from Data : kurs z Caltechu, niestety, nie zdążyłem jeszcze obejrzeć wykładów i nie potrafię wypowiedzieć się na temat jakości tego kursu, natomiast lista tematów jest bardzo zbieżna z programem przedmiotu “Eksploracja danych”. Ze wzlgędu na duże obciążenie studentów ukończenie kursu jest warte 75 XP.

programowanie

Laboratoria

W trakcie laboratoriów będą wykorzystywane następujące programy:


7.03.2018 wstępne przetwarzanie danych

14.03.2018 ocena ważności atrybutów

21.03.2018 odkrywanie reguł asocjacyjnych

4.04.2018 wprowadzenie do klasyfikacji

11.04.2018 naiwny klasyfikator Bayesa

18.04.2018 indukcja drzew decyzyjnych

9.05.2018 maszyny wektorów wspierających

23.05.2018 meta-metody klasyfikacji

Zadania samodzielne

ćwiczenie termin nadsyłania zadanie punkty
drzewa decyzyjne 8.05 drzewo decyzyjne na zbiorze breast cancer 20-10
svm 6.06 SVM na zbiorze heart disease 10-5
meta-klasyfikacja 6.06 przeszukiwanie przestrzeni parametrów na zbiorze ozon layer 15-5

Zagadki

Zagadka jest dostępna przez tydzień, do kolejnej środy (godz.13:00). Spośród górników którzy udzielili poprawnej odpowiedzi losuję jednego górnika która zgarnia tygodniową pulę stawek (5 XP).

losowanie

tydzień zamknięcie odpowiedzi zagadka
1 07.03 samotny górnik
2 14.03 egzekucja górników
3 21.03 dwaj synowie
4 28.03 bony towarowe
5 11.04 baniak z wodą
6 18.04 bocian i żaba
7 25.04 szalony górnik
8 23.05 najmniejsza liczba
9 30.05 gra w dwie karteczki
 
start.txt · Last modified: 2018/05/23 18:26 by Mikołaj Morzy
 
Except where otherwise noted, content on this wiki is licensed under the following license:Public Domain
Recent changes RSS feed Donate Powered by PHP Valid XHTML 1.0 Valid CSS Debian Driven by DokuWiki