Lekcja 2.2
Sztuczny neuron
Najmniejsza cegiełka sieci neuronowej to bardzo prosty kalkulator z pokrętłami.
2.2Sztuczny neuron
Dane już mamy. Teraz zajrzyjmy do środka modelu, który się na nich uczy. Zaczniemy od najmniejszej cegiełki: sztucznego neuronu. Brzmi groźnie, ale za chwilę okaże się, że to bardzo prosty rachunek — taki, który zrobiłbyś na kartce.
Każdy rozdział zaczyna się prosto. Chcesz więcej? Otwórz Zaawansowany, a w nim Ekspert.
Decyzja o pikniku
Wyobraź sobie, że decydujesz, czy iść na piknik. Słońce przemawia za wyjściem, deszcz przeciw, a wolny dzień — mocno za. Każda wskazówka ma dla Ciebie inną ważność. Sumujesz je w głowie i podejmujesz decyzję.
Sztuczny neuron robi dokładnie to samo, tylko na liczbach: zbiera sygnały, każdemu nadaje ważność, sumuje i oblicza wynik.
Wyobraź to sobie tak
„Neuron przypomina prosty punktator: każdej wskazówce daje inną liczbę punktów, sumuje je i sprawdza, czy przekroczył próg.”
Neuron przyjmuje wejścia liczbowe i mnoży każde przez wagę, która określa jego wpływ. Do sumy dodaje bias, czyli przesunięcie — to parametr matematyczny, a nie uprzedzenie w sensie społecznym.
Na koniec funkcja aktywacji przekształca wynik. Najprostsza mówi „tak”, gdy suma przekroczy próg, i „nie” w przeciwnym razie. Popularna dziś funkcja ReLU przepuszcza wartości dodatnie, a ujemne zamienia na zero.
- 1Podaj liczby na wejściu
- 2Pomnóż je przez wagi
- 3Dodaj przesunięcie (bias)
- 4Zastosuj funkcję aktywacji
Formalnie neuron oblicza y = φ(Σ wᵢxᵢ + b), gdzie w to wagi, b — przesunięcie, a φ — funkcja aktywacji. Oprócz ReLU, czyli max(0, z), stosuje się sigmoidę, tangens hiperboliczny i gładką GELU (Hendrycks i Gimpel, 2016), używaną między innymi w Transformerach.
Wybór aktywacji wpływa na trening: nasycenie sigmoidy przy dużych wartościach osłabia sygnał uczenia (tzw. zanikający gradient), co było jednym z powodów popularności ReLU w głębokich sieciach.
Zapis formalny
y = φ(Σᵢ wᵢxᵢ + b)
Jak neuron się uczy
Na początku neuron nie wie, które wskazówki są ważne — jego wagi są przypadkowe. Gdy się pomyli, poprawia je odrobinę, tak żeby następnym razem pomylić się mniej.
Po wielu takich poprawkach wagi ustawiają się tak, że neuron coraz częściej trafia. Możesz to zobaczyć na żywo w grze „Naucz neuron” w Laboratorium.
Podczas uczenia algorytm sprawdza, jak zmiana każdej wagi wpłynęłaby na błąd, i przesuwa wagi małymi krokami w stronę mniejszego błędu. Wielkość kroku to tempo uczenia: za mały — nauka trwa wieki, za duży — model „przeskakuje” dobre ustawienia.
W najprostszej wersji, czyli perceptronie, reguła jest jeszcze prostsza: gdy neuron się pomyli, wagi przesuwa się w stronę poprawnej odpowiedzi. Gdy trafi — nic się nie zmienia.
Częsty błąd
Sztuczny neuron działa tak samo jak komórka mózgowa.
Jak jest naprawdę
To silnie uproszczony element matematyczny, inspirowany biologią, ale nie jej wierna kopia.
Perceptron Rosenblatta (1958) klasyfikuje punkty liniową granicą decyzyjną i aktualizuje wagi tylko przy błędzie. Dla danych liniowo separowalnych algorytm gwarantuje znalezienie rozdzielającej granicy w skończonej liczbie kroków.
W neuronach różniczkowalnych zamiast reguły perceptronu stosuje się spadek gradientu: oblicza się pochodną straty względem każdej wagi i przesuwa wagę w przeciwnym kierunku. To ta sama idea, którą w następnej lekcji rozszerzymy na całe sieci.
Granice pojedynczego neuronu
Pojedynczy neuron potrafi rozdzielić przykłady jedną prostą linią — na przykład oddzielić kółka od kwadratów leżących po dwóch stronach kartki. Ale gdy kółka otaczają kwadraty, jedna linia nie wystarczy.
Dlatego neurony łączy się w zespoły. Razem potrafią rysować granice dowolnie skomplikowane — i właśnie to sprawia, że AI radzi sobie z twarzami, głosem czy tekstem.
Słynnym przykładem jest problem XOR („albo jedno, albo drugie, ale nie oba”). Punktów XOR nie da się rozdzielić jedną prostą, więc pojedynczy perceptron nigdy go nie rozwiąże, choćby uczył się w nieskończoność.
Rozwiązaniem jest warstwa ukryta: kilka neuronów, które najpierw przekształcają dane, oraz neuron na końcu, który z tych przekształceń korzysta. To pierwszy krok w stronę sieci neuronowych.
Minsky i Papert w książce „Perceptrons” (1969) formalnie opisali ograniczenia jednowarstwowych perceptronów, co przyczyniło się do spadku zainteresowania sieciami neuronowymi. Ograniczenie dotyczy reprezentacji w surowej przestrzeni wejść: odpowiednia warstwa ukryta z nieliniową aktywacją je usuwa.
Brakowało jednak skutecznej metody trenowania wielu warstw naraz. Dała ją dopiero propagacja wsteczna, spopularyzowana w 1986 roku — i o niej opowie następna lekcja.
W Laboratorium
W Laboratorium: Naucz neuron
W grze „Naucz neuron” sam zbudujesz zadanie dla sztucznego neuronu. Klikasz na planszy i stawiasz dwa rodzaje punktów: koła i kwadraty. Potem naciskasz „Trenuj” i patrzysz, jak linia na planszy przesuwa się, aż oddzieli koła od kwadratów.
Punkty, które neuron na razie klasyfikuje źle, mają czerwoną obwódkę. Spróbuj też ułożyć koła po obu stronach kwadratów — zobaczysz, że jeden neuron nie da rady, dokładnie tak, jak opisaliśmy w rozdziale o jego granicach.
Linia na planszy to granica decyzyjna neuronu: po jednej stronie neuron mówi „koło”, po drugiej „kwadrat”. O jej położeniu decydują trzy liczby — dwie wagi i przesunięcie — widoczne pod planszą.
Każda „epoka” treningu to jedno przejście przez wszystkie punkty. Gdy neuron pomyli się przy punkcie, wagi przesuwają się odrobinę w stronę poprawnej odpowiedzi; przy trafieniu nic się nie zmienia. Trening zatrzymuje się, gdy wszystkie punkty są dobrze sklasyfikowane albo po 200 epokach. Licznik pokazuje numer epoki, trafność i liczbę błędów.
- 1Postaw koła i kwadraty
- 2Neuron liczy w₁·x + w₂·y + b
- 3Wynik ≥ 0 to „koło”, < 0 to „kwadrat”
- 4Przy błędzie przesuń wagi w stronę poprawnej odpowiedzi
- 5Powtarzaj epoki aż do zera błędów
Gra implementuje klasyczną regułę perceptronu Rosenblatta. Punkty mają współrzędne z przedziału [−1, 1] i etykiety y = +1 (koła) lub −1 (kwadraty). Przy błędnej klasyfikacji aktualizacja ma postać w ← w + η·y·x i b ← b + η·y, z tempem uczenia η = 0,08.
Dla danych liniowo separowalnych twierdzenie o zbieżności perceptronu gwarantuje znalezienie rozdzielającej prostej w skończonej liczbie kroków. Dla danych nieseparowalnych (np. układ XOR) algorytm nigdy nie osiągnie zera błędów i wagi będą oscylować — stąd limit 200 epok.
Zapis formalny
jeśli y·(w·x + b) ≤ 0: w ← w + η·y·x, b ← b + η·y (η = 0,08)
Zapamiętaj
- Neuron = suma ważona + decyzja.
- Uczenie = dopasowywanie wag, by zmniejszyć błąd.
- Jedna warstwa rysuje prostą linię; wiele warstw — dowolne kształty.
Neuron: czy iść na rower?
przełączaj wejścia, kręć wagami
suma ważona
1·0.6 + 0·0.8 − 0.5 = 0.10
aktywacja
65%
Ujemna waga (czerwona linia) oznacza, że dany czynnik zniechęca. Trening sieci to automatyczne dobieranie takich wag dla milionów neuronów.
Ciekawostka
Perceptron Franka Rosenblatta był maszyną fizyczną: Mark I Perceptron miał 400 fotokomórek i wagi zapisane w potencjometrach, które przekręcały silniczki elektryczne.
W liczbach
1958
rok zaprezentowania perceptronu
Źródło: F. Rosenblatt, Cornell
Ewaluacja · 3 pytania
Sprawdź się
Co trenujemy w sztucznym neuronie?
Twoja opinia · anonimowo
Jak Ci się czytało tę lekcję?
Dokąd dalej
Następny przystanek: Sieci neuronowe i głębokie uczenie
Sztuczny neuron to prosty rachunek: ważona suma, przesunięcie i aktywacja. Uczy się, poprawiając wagi po błędach — ale sam rysuje tylko proste granice.
Co się stanie, gdy połączymy tysiące, a potem miliardy takich neuronów w warstwy? O tym w następnej lekcji: sieci neuronowe i głębokie uczenie.