KNO

Co to jest hiperparametr?

To wartość ustawiana przed treningiem modelu, która nie jest modyfikowana w procesie uczenia (np... liczba warstw, liczba neuronów, współczynnik uczenia)

Mamy pojedynczy sztuczny neuron z pięcioma wejściami, biasem i funkcją aktywacji ReLU. Ile parametrów będziemy modyfikowali w procesie uczenia?

6 (5 wag + 1 bias)

Mamy pojedynczy sztuczny neuron z pięcioma wejściami, bez biasu i funkcją aktywacji Sigmoid. Ile parametrów będziemy modyfikowali w procesie uczenia?

5 (tylko 5 wag)

Co to jest warstwa w pełni połączona?

To warstwa, w której każdy neuron jest połączony z każdym neuronem w poprzedniej warstwie.

Mamy taką sieć: tf. keras. Sequential([tf. keras. layers. Dense(3, use_bias=False, input_shape=(4,)), tf. keras. layers. Dense(1, use_bias=False)]). Ile parametrów będzie modyfikowanych w procesie uczenia?

12+3

Mamy taką sieć: tf. keras. Sequential([tf. keras. layers. Dense(3, use_bias=True, input_shape=(4,)), tf. keras. layers. Dense(1, use_bias=True)]). Ile parametrów będzie modyfikowanych w procesie uczenia?

15+4 = (12+3) + (3+1)

Czy sigmoidalna funkcja aktywacji jest funkcją ciągłą?

Tak, jest funkcją ciągłą

Czy funkcja ReLU jest funkcją ciągłą?

Tak, ale nie jest różniczkowalna w punkcie 0.

Czy sigmoidalna funkcja aktywacji jest funkcją różniczkowalną?

Tak, jest różniczkowalna w całej swojej dziedzinie.

Czy funkcja ReLU jest funkcją różniczkowalną?

Tak, ale nie w punkcie 0 (pochodna jest nieskończona lub nieokreślona w tym punkcie).

Jak jest różnica między regresją a klasyfikacją?

Regresja przewiduje wartości ciągłe, a klasyfikacja przypisuje dane do kategorii.

Jaką funkcję straty można użyć do regresji?

mean_absolute_percentage_error

Jaką funkcję straty można użyć do klasyfikacji, gdy mamy wiele etykiet?

categorical_crossentropy

Co to jest funkcja kosztu?

To funkcja, która mierzy różnicę między przewidywaniami modelu a rzeczywistymi wartościami, pomagając w jego optymalizacji.

Co to jest zbiór treningowy?

ten na którym uczymy model

Co to jest zbiór walidacyjny?

ten który wykorzystujemy do sprawdzenia po każdej epoce jak dobrze sprawdza się model

Co to jest zbiór testowy?

ten który używamy dopiero na sam koniec, aby pokazać/sprawdzić jak wytrenowany model działa na nowych danych

Co to jest TensorBoard?

To narzędzie do wizualizacji i monitorowania procesu uczenia modelu, w TensorFlow, np. poprzez wykresy strat czy dokładności.

Co to jest tensor? Nie musi to być formalna definicja - chodzi o zrozumienie teamtu.

To wielowymiarowa tablica danych, która przechowuje liczby i jest podstawową strukturą danych w sieciach neuronowych.

Czy tensor może przechowywać jednocześnie różne typy wartości?

Nie, tensor w ramach jednego zbioru danych przechowuje tylko jeden typ wartości (np. float, int).

Podczas uczenia sieci neuronowej za pomocą metody fit pojawiają się wartości poprzedzone 'val_'. Co one oznaczają?

To wartości obliczane na zbiorze walidacyjnym, które pokazują, jak model działa na danych, które nie są używane do treningu.

Jak działa warstwa konwolucyjna?

Stosuje filtry (kernels) do danych wejściowych, przekształcając je w mapy cech, które wyłapują wzorce lokalne, takie jak krawędzie czy tekstury.

Czy zastosowanie warstwy konwolucyjnej poprawia rozpoznawanie obrazów?

Tak, ponieważ pozwala wyodrębnić istotne cechy obrazu, redukując liczbę parametrów i uwzględniając lokalne zależności.

Jakiego rodzaju sieci lub ich elementy są naturalnie przystosowane do analizy szeregów czasowych?

Sieci rekurencyjne (RNN) i ich warianty, np. LSTM lub GRU, które uwzględniają zależności czasowe.

Powiedzmy że nauczyliśmy sieć neuronową na danych typu (x, y,z). Mamy gotowy model. Czy ten model będzie działał jeśli podamy mu dane (z, y,x)? Dlaczego?

Nie, ponieważ kolejność i struktura danych wejściowych musi odpowiadać tej, na której był trenowany.

Czym się różni warstwa splotowa od konwolucyjnej?

haczyk: niczym 😊

Rozwiń skrót LSTM, co to jest?

Long Short-Term Memory to wariant sieci rekurencyjnej (RNN), który lepiej radzi sobie z długoterminowymi zależnościami dzięki mechanizmom pamięci.

Jakie warstwy sieci najprawdopodobniej pojawią się w DNN do rozpoznawania obrazu?

Warstwy splotowe, maksymalizujące (pooling) i w pełni połączone

Czy zmieniająć kształt wejścia do warstwy splotowej zmieni się liczba parametrów które będą ulegały modyfikacji podczas uczenia?

Nie, ponieważ liczba parametrów zależy od liczby filtrów (kernels) i ich rozmiaru, a nie od wymiarów danych wejściowych.

Ile parametrów będzie uczone, jeśli warstwa splotowa ma 3 kanały, a kernel jest rozmiaru 3x3 i nie ma bias-u?

27, rozmiar kernela*liczba kanałów

Na czym polega uczenie sieci neuronowej?

Na modyfikowaniu wag i biasów w celu minimalizacji funkcji straty za pomocą algorytmu optymalizacji, np. gradientu prostego (SGD).

Jaka jest różnica między uczeniem nadzorowanym a nienadzorowanym?

W uczeniu nadzorowanym model uczy się na danych z etykietwami, a w nienadzorowanym stara się znaleźć wzorce w danych bez etykiet.

Co to jest kodowanie z gorącą jedynką?

Reprezentacja kategorii jako wektorów binarnych, gdzie tylko jedna wartość wynosi 1, a reszta 0.

Co to jest one-hot encoding?

To samo, co kodowanie z gorącą jedynką. Technika reprezentowania kategorii jako wektorów, w których każda kategoria odpowiada pozycji z wartością 1, a pozostałe pozycje mają wartość 0.

Co może być przyczyną 'NaN' jako wartość funkcji straty podczas używania metody fit?

Zbyt wysoka wartość współczynnika uczenia (learning rate), brak normalizacji danych wejściowych lub dzielenie przez zero w obliczeniach.

Co to jest funkcja straty?

Funkcja mierząca różnicę między przewidywaniami modelu a rzeczywistymi wartościami, jej minimalizacja jest celem uczenia modelu.

Czy taka lista wartości może być rozkładem prawdopodobieństwa: [1, 0, 0]?

Tak (protip by zapamiętać, wszystkie wartości muszą być sumą równą 1).

Czy taka lista wartości może być rozkładem prawdopodobieństwa: [1, 0, 1]?

Nie (protip by zapamiętać, wszystkie wartości muszą być sumą równą 1).

Czy taka lista wartości może być rozkładem prawdopodobieństwa: [0.1, 0.2, 0.3]?

Nie (protip by zapamiętać, wszystkie wartości muszą być sumą równą 1).

Czy taka lista wartości może być rozkładem prawdopodobieństwa: [0.1, 0.2, 0.7]?

Tak (protip by zapamiętać, wszystkie wartości muszą być sumą równą 1).

Jakie funkcje straty można wykorzystać do obsługi klasyfikacji binarnej?

Na przykład binary_crossentropy.

Jaką funkcję straty wykorzystasz do obsługi klasyfikacji wieloklasowej (multiclass classification)?

Na przykład categorical_crossentropy.

Jaka powinna być funkcja aktywacji na ostatniej warstwie modelu do klasyfikacji wieloklasowej jeśli korzystamy z categorical_crossentropy?

Softmax, bo potrzebny jest rozkład prawdopodobieństwa.

Co to jest funkcja aktywacji, w którym momencie jest stosowana?

Funkcja aktywacji to operacja matematyczna stosowana po obliczeniu sumy ważonej wejść w neuronie, która wprowadza nieliniowość do modelu, umożliwiając rozwiązywanie złożonych problemów.

Co to jest dropout?

Dropout to technika regularizacji, która losowo wyłącza część neuronów podczas treningu, aby zapobiegać nadmiernemu dopasowaniu modelu do danych treningowych.

Dlaczego warto czasami stosować dropout?

Aby zmniejszyć ryzyko przetrenowania (overfitting) i zwiększyć zdolność modelu do generalizacji na nowych danych.

Co to jest przetrenowanie (overfit)?

To sytuacja, w której model uczy się zbyt dokładnie danych treningowych, tracąc zdolność do poprawnego działania na danych testowych lub rzeczywistych.

Jak można wykorzystać zbiór walidacyjny do zapobiegania przetrenowaniu?

Zastosować wczesne zatrzymanie. Można to zrobić albo jako callback w metodzie fit, albo ręcznie obserwując, kiedy model zacznie mieć coraz gorsze wyniki na zbiorze walidacyjnym.

Co to znaczy, że dane treningowe są niezrównoważone?

Niektóre etykiety występują znacznie częściej niż pozostałe.

Co może być przyczyną tego, że wytrenowany model zawsze zwraca jedną wartość, a wartość funkcji straty jest bardzo mała i wygląda jakby model się nauczył?

Dane są niezrównoważone i przez to model zawsze zwraca etykietę, która występuje najczęściej w zbiorze danych.

Jak można sobie poradzić z danymi niezrównoważonymi?

Zastosować wagi.

Jakie znasz wskaźniki klasyfikacji binarnej (podaj co najmniej 2)?

Dokładność, precyzja, czułość, specyficzność, odsetek fałszywie pozytywnych, odsetek fałszywie negatywnych.

Co oznacza wynik prawdziwie pozytywny?

Model poprawnie przewidział pozytywną klasę, która rzeczywiście była pozytywna.

Co oznacza wynik prawdziwie negatywny?

Model poprawnie przewidział negatywną klasę, która rzeczywiście była negatywna.

Co oznacza wynik fałszywie pozytywny?

Model przewidział pozytywną klasę, ale rzeczywista klasa była negatywna.

Co oznacza wynik fałszywie negatywny?

Model przewidział negatywną klasę, ale rzeczywista klasa była pozytywna.

Co to jest true positive?

Prawdziwie pozytywny wynik (TP), gdzie przewidywana klasa pozytywna zgadza się z rzeczywistą klasą pozytywną.

Co to jest false positive?

Fałszywie pozytywny wynik (FP), gdzie model przewidział klasę pozytywną, choć rzeczywista klasa była negatywna.

Co to jest true negative?

Prawdziwie negatywny wynik (TN), gdzie przewidywana klasa negatywna zgadza się z rzeczywistą klasą negatywną.

Co to jest false negative?

Fałszywie negatywny wynik (FN), gdzie model przewidział klasę negatywną, choć rzeczywista klasa była pozytywna.

Jakie jest znaczenie słów predykcja oraz etykieta?

Predykcja to przewidywana przez model wartość lub klasa, a etykieta to rzeczywista wartość lub klasa w danych treningowych/testowych.

Co to jest optymalizacja hiperparametrów?

Proces doboru najlepszych wartości hiperparametrów, takich jak współczynnik uczenia czy liczba neuronów, w celu poprawy wydajności modelu.

Co to jest jądro splotowe?

Macierz wag w warstwie splotowej, przesuwająca się po wejściu w celu wyodrębnienia cech, takich jak krawędzie na obrazie.

Co to jest convolution kernel?

To samo co jądro splotowe – macierz filtrów stosowana w warstwie splotowej do analizy lokalnych wzorców w danych.

* Czy jeśli chcemy przeuczyć sieć neuronową, to czy wykorzystamy dropout?

Nie, ponieważ dropout służy do redukcji przeuczenia

Co to jest rozszerzanie (augmentacja) danych? Do czego to?

Sztuczne zwiększanie zbioru treningowego przez modyfikacje, np. obrót czy skalowanie, aby poprawić uogólnianie modelu.