Szkolenia: analiza danych, statystyka, data science

Dlaczego w ogóle uczyć się analizy danych? Jak ma się analiza danych do AI, o co chodzi z tymi wszystkimi pojęciami?...

Firmy i instytucje gromadzą olbrzymie ilości danych cyfrowych, które można wykorzystać - do badań statystycznych, podejmowania decyzji czy oceny efektywności. We współczesnym świecie wszyscy chcą zbierać dane, a bardzo niechętnie się ich pozbywają.

Takie surowe dane bywają jednak często zbyt rozdrobnione i mało przystępne. Tak jak obserwując komórki przez mikroskop możemy nie dostrzec, że oglądamy wielkiego słonia, tak przeglądanie pojedynczych rekordów wśród setek milionów może nie dać nam właściwej perspektywy.

Dane stają się w pełni wartościowe, gdy potrafimy je przetworzyć i wyciągnąć na ich podstawie wnioski. Tym właśnie zajmuje się szeroko pojęta dziedzina analizy danych.

O ile matematyczne podstawy statystki na pewno warto w takiej pracy znać i rozumieć, w praktyce najważniejsza okazuje się umiejętność posługiwania się dedykowanymi narzędziami na komputerze. Bezpośrednia praca z danymi w arkuszach kalkulacyjnych, tworzenie raportów i podsumowań, w tym wykresy i wizualizacja danych, zautomatyzowane przetwarzanie z wykorzystaniem języków programowania (VBA, R, Python), wreszcie wykorzystanie elementów sztucznej inteligencji - AI, jak uczenie maszynowe (machine learning, ML), w celu poszukiwania zależności oraz generowania predykcji. To wszystko znajdziesz w naszej ofercie szkoleniowej.

Warto wspomnieć także o nieodległym temacie baz danych i języka SQL, w którym także - w pewnym zakresie - można realizować zadania analityczne. Wielu analityków pracuje z relacyjnymi bazami danych - wcale nie jest to wyłączna domena programistów.

Sama analiza danych, "data science", czy statystyka, jako dziedziny, już dawno wyszły poza mury uczelni akademickich i stały się potrzebne także komercyjnym firmom różnej wielkości. Analityk danych to obecnie bardzo pożądana kompetencja zawodowa. Warto specjalizować się w tej dziedzinie i poznawać nowe techniki ułatwiające pracę z danymi.

W ostatnich latach nastąpił ogromny rozwój technologii, łącznie nazywanych sztuczną inteligencją - AI. Wiele osób nie rozumie, co to właściwie znaczy, czym AI dokładniej jest, co oznaczają te wszystkie nazwy z tym związane?...

Wybrane pojęcia i odpowiedzi na pytania

Na czym polega różnica między ogólnie AI, Machine Learning, Deep Learning i Sieciami Neuronowymi?

• AI (Sztuczna Inteligencja): jest szerokim (najszerszym) pojęciem. To cała dziedzina, zajmująca się tworzeniem systemów komputerowych, które mogą wykonywać zadania zwykle wymagające ludzkiej inteligencji. AI obejmuje m.in. uczenie maszynowe, rozpoznawanie wzorców, uczenie się i planowanie (w szczególności w wyniku umiejętności analizy danych), przetwarzanie języka naturalnego i wiele innych aspektów inteligentnego zachowania.
• Machine Learning (Uczenie Maszynowe): jest poddziedziną AI, która koncentruje się na rozwoju algorytmów pozwalających komputerom uczyć się z danych i poprawiać swoje działanie z czasem. ML obejmuje wiele różnych technik, również relatywnie prostszych, stosowanych od wielu lat (wręcz od dziesięcioleci), ale również m.in. sieci neuronowe, które są jednym z narzędzi wykorzystywanych do przewidywania i analizy.
• Sieci Neuronowe: Sieci neuronowe to struktury w uczeniu maszynowym inspirowane funkcjonowaniem ludzkiego mózgu, które są wykorzystywane do rozpoznawania wzorców i przetwarzania danych. Składają się one z połączonych ze sobą węzłów, czyli "neuronów", które współpracują, aby przetwarzać i przekazywać sygnały w procesie uczenia maszynowego. Finalnie - przekształcają dane wejściowe w wyjściowe.
• Deep Learning (Głębokie Uczenie): Deep Learning to specjalistyczny rodzaj uczenia maszynowego wykorzystujący głębokie sieci neuronowe z wieloma ukrytymi warstwami do modelowania skomplikowanych wzorców w danych. Deep learning jest stosowany w szczególnie złożonych problemach, takich jak rozpoznawanie obrazów, mowa czy przetwarzanie języka naturalnego.

AI jest zatem pojęciem najogólniejszym; sama fraza "uczenie maszynowe" (ML) jest podzbiorem technik AI i pewnym pojęciowym "mostem" pomiędzy AI, a (głębokimi) sieciami neuronowymi; sieci neuronowe są jedną z technik stosowanych w ML, a deep learning jest zaawansowanym rodzajem ML wykorzystującym te sieci do rozwiązywania bardziej skomplikowanych zadań.

Czytałem o terminie "EDA". Co oznacza ten skrót w kontekście analizy danych i AI?

EDA, czyli Exploratory Data Analysis (Analiza Eksploracyjna Danych), to ważny, można powiedzieć "wstępny" proces stosowany w całościowej analizie danych i sztucznej inteligencji (AI), który polega na badaniu, analizowaniu i wizualizowaniu danych w celu zrozumienia ich głównych cech - często przed zastosowaniem bardziej zaawansowanych analiz. Proces ten jest istotny, ponieważ pomaga w odkrywaniu wzorców, wykrywaniu anomalii, sprawdzaniu założeń i testowaniu hipotez, co jest fundamentalne dla skutecznego modelowania danych.

Podczas EDA analitycy stosują różnorodne techniki, takie jak:

1. Statystyki podsumowujące - takie jak średnie, mediana, zakresy, które dają wgląd w tendencje centralne i rozproszenie danych.
2. Wizualizacje danych - w tym histogramy, wykresy punktowe, wykresy pudełkowe, czy mapy ciepła, które pomagają zobaczyć rozkłady i związki między zmiennymi.
3. Testowanie hipotez - sprawdzanie statystycznych hipotez dotyczących danych, co może prowadzić do dalszych wniosków na temat zależności i korelacji.
4. Przetwarzanie danych - czyszczenie danych, obsługa wartości brakujących i nieprawidłowych, normalizacja i inne transformacje danych.

EDA jest zazwyczaj pierwszym krokiem w procesie analizy danych, który następnie prowadzi do bardziej szczegółowych analiz, czy budowy modeli predykcyjnych z zastosowaniem AI. Dzięki temu, że EDA umożliwia głębsze zrozumienie danych, pozwala na efektywniejsze i bardziej celowane zastosowanie odpowiednik technik uczenia maszynowego, czy statystycznych metod analizy.

Co to jest CRISP-DM?

CRISP-DM, czyli Cross-Industry Standard Process for Data Mining, to metodyka procesowa służąca do przeprowadzania projektów analizy danych i data mining. CRISP-DM jest szeroko stosowany ze względu na swoją elastyczność i branżową neutralność, co czyni go odpowiednim do różnych typów projektów danych w wielu sektorach.

CRISP-DM dzieli proces analizy danych na sześć głównych faz:

1. Rozumienie Biznesu - Ta faza skupia się na zrozumieniu celów i wymagań projektu z perspektywy biznesowej. Ustalane są cele projektu, a także kryteria jego sukcesu.
2. Rozumienie Danych - Polega na początkowym zbieraniu danych oraz na ich przeglądzie w celu zrozumienia ich struktury, zawartości i jakości. W tej fazie mogą być przeprowadzane wstępne operacje statystyczne i wizualizacje.
3. Przygotowanie Danych - Obejmuje czynności takie jak selekcja danych, czyszczenie, tworzenie nowych zmiennych (feature engineering) i transformacje, które mają na celu przygotowanie finalnego zbioru danych do modelowania.
4. Modelowanie - W tej fazie stosowane są różnorodne techniki modelowania statystycznego i uczenia maszynowego do tworzenia modeli, które mogą przewidywać i interpretować dane. Wybór odpowiedniej techniki modelowania zależy od celów projektu i charakteru danych.
5. Ewaluacja - Faza, w której ocenia się model pod kątem jego skuteczności i adekwatności w kontekście celów biznesowych. Sprawdza się, czy model spełnia założone kryteria sukcesu i rozważa się jego wdrożenie.
6. Wdrożenie - Ostatnia faza, w której wyniki projektu są implementowane. Może to oznaczać wdrożenie modelu w systemie produkcyjnym, raportowanie wyników analizy decydentom lub inne działania wynikające z projektu.

Metodyka CRISP-DM podkreśla iteracyjność procesu, co oznacza, że projekt może być cyklicznie modyfikowany i ulepszany na każdym etapie w celu optymalizacji wyników.

Nie do końca rozumiem - jakie są różnice pomiędzy modelami uczenia maszynowego: ML, DL, RL?

Terminy Deep Learning (DL), Machine Learning (ML) i Reinforcement Learning (RL) odnoszą się do różnych aspektów i podejść w dziedzinie sztucznej inteligencji (AI). Oto podstawowe różnice między nimi:

Machine Learning (ML)

ML jest dziedziną sztucznej inteligencji, która skupia się na tworzeniu modeli, które mogą uczyć się i dokonywać prognoz lub decyzji na podstawie danych. Uczenie maszynowe obejmuje wiele technik i metod, takich jak m.in.: uczenie nadzorowane, uczenie nienadzorowane i uczenie półnadzorowane.

Przykłady obejmują regresję liniową, maszyny wektorów nośnych, drzewa decyzyjne i losowe lasy.

Deep Learning (DL)

DL jest podzbiorem ML, który wykorzystuje głębokie sieci neuronowe do modelowania skomplikowanych wzorców w danych. Głębokie sieci neuronowe składają się z wielu warstw, co pozwala na uczenie się na różnych poziomach abstrakcji.

DL jest szczególnie skuteczny w obszarach takich jak przetwarzanie obrazów, rozpoznawanie mowy czy przetwarzanie języka naturalnego. Modeli DL często wymagają dużych ilości danych i mocy obliczeniowej do trenowania.

Reinforcement Learning (RL)

RL to inny rodzaj uczenia maszynowego, w którym agent uczy się podejmować decyzje poprzez interakcje ze środowiskiem w celu maksymalizacji nagrody. W przeciwieństwie do uczenia nadzorowanego, gdzie model uczy się na podstawie danych etykietowanych, w RL agent uczestniczy w procesie prób i błędów, odkrywając, jakie działania przynoszą największe korzyści.

RL jest używany w takich zastosowaniach jak gry, robotyka, optymalizacja logistyki oraz w systemach automatycznego podejmowania decyzji.

Podsumowując: główna różnica między tymi terminami leży w podejściach i technikach stosowanych do uczenia modeli. ML oferuje szeroki zakres metod i technik, DL koncentruje się na zastosowaniach wymagających głębokich sieci neuronowych, a RL skupia się na uczeniu przez interakcję z otoczeniem w celu osiągnięcia określonych celów.

W takim razie, np. zwykła regresja liniowa, jest modelem ML? Jest to model uczenia nadzorowanego czy nienadzorowanego?

Tak - regresja liniowa jest modelem ML, a więc w zasadzie można powiedzieć że jest to jeden z najprostszych modeli AI.

Jest to przykład uczenia nadzorowanego. W uczeniu nadzorowanym model uczy się na podstawie zestawu danych wejściowych (cech) oraz odpowiadających im danych wyjściowych (etykiet). W przypadku regresji liniowej, model próbuje znaleźć liniową zależność między zmiennymi niezależnymi (cechy) a zmienną zależną (etykieta), minimalizując różnicę (błąd) między przewidywaniami modelu a rzeczywistymi wartościami w danych uczących.

A jak model uczy się w uczeniu nienadzorowanym? Podaj przykład takiego prostego modelu...

W uczeniu nienadzorowanym, modele uczą się znajdować wzorce lub strukturę w zestawie danych bez żadnych etykiet lub określonych odpowiedzi do naśladowania. Zamiast tego, algorytmy te starają się samodzielnie organizować dane w sposób, który ujawnia ich naturalne charakterystyki lub grupowania.

Jednym z prostych i powszechnie stosowanych modeli uczenia nienadzorowanego jest np. K-means clustering. To algorytm, który stara się podzielić zbiór danych na K różnych klastrów (grup), gdzie K jest z góry określoną liczbą.

Jaki jest najprostszy przykład modelu Reinforced Learning (RL)?

Jednym z najprostszych algorytmów w ramach uczenia ze wzmocnieniem (Reinforcement Learning, RL) jest Q-learning. To technika, która nie wymaga modelu środowiska, w którym działa agent, a zamiast tego uczy się wartości akcji (tzw. Q-wartości) bezpośrednio z doświadczeń agenta interagującego ze środowiskiem.