Lekcja 2.4
Jak działa model językowy?
Chatbot nie szuka odpowiedzi w bazie. On przewiduje kolejne słowo — w kółko, bardzo szybko.
2.4Jak działa model językowy?
Doszliśmy do serca dzisiejszych chatbotów. Wiesz już, jak uczą się sieci neuronowe. Teraz zobaczysz, jak duży model językowy — taki jak ten w ChatGPT — układa odpowiedź. Spoiler: nie szuka jej w bazie danych. Przewiduje kolejny kawałek tekstu, w kółko, bardzo szybko.
Każdy rozdział zaczyna się prosto. Chcesz więcej? Otwórz Zaawansowany, a w nim Ekspert.
Tekst w kawałkach
Model językowy nie czyta tekstu tak jak Ty. Najpierw tnie go na kawałki zwane tokenami. Token może być całym słowem, fragmentem słowa albo znakiem interpunkcyjnym.
Długie lub rzadkie słowa, na przykład „konstantynopolitańczykowianeczka”, rozpadają się na kilka tokenów, a krótkie i częste — jak „dom” — bywają jednym. Możesz to sprawdzić w widgecie z tej lekcji.
Wyobraź to sobie tak
„Model przypomina autora, który dopisuje opowieść po małych kawałkach, patrząc na to, co już napisał. Nie ma przy tym automatycznego sprawdzacza faktów.”
Tokenizacja dzieli tekst według słownika modelu. Granice tokenów zależą od tokenizatora, więc liczba tokenów nie jest stałą wielokrotnością liczby słów — w języku polskim, bogatym w końcówki, słowo często zajmuje kilka tokenów.
Każdy token zamienia się na wektor, czyli listę liczb opisującą jego znaczenie w kontekście. Na tych wektorach pracuje sieć — tekst jako taki model widzi tylko na wejściu i na wyjściu.
Częsty błąd
Jeden token to jedno słowo.
Jak jest naprawdę
Tokenizacja zależy od słownika; jedno słowo może obejmować kilka tokenów.
Większość dużych modeli używa tokenizacji podsłowowej (np. BPE): najczęstsze sekwencje znaków łączy się w tokeny słownika liczącego zwykle dziesiątki lub setki tysięcy pozycji. Dobór słownika wpływa na koszt — ten sam tekst w różnych językach może wymagać wyraźnie różnej liczby tokenów.
Ponieważ sama uwaga nie rozróżnia kolejności, do reprezentacji tokenów dodaje się informację o pozycji. Bez niej zdanie „pies gryzie człowieka” byłoby dla modelu nieodróżnialne od „człowiek gryzie psa”.
Przewidywanie kolejnego tokenu
Gdy piszesz wiadomość, telefon proponuje następne słowo. Model językowy robi to samo na ogromną skalę: patrzy na cały dotychczasowy tekst i ocenia, który token najlepiej pasuje dalej.
Dopisuje go, znowu patrzy na całość i wybiera kolejny. Tak, kawałek po kawałku, powstaje cała odpowiedź. Płynny tekst nie musi jednak być prawdziwy — przekonująca opowieść nie musi być reportażem.
W Transformerze mechanizm uwagi pozwala każdemu tokenowi „spojrzeć” na wszystkie wcześniejsze i wziąć z nich potrzebne informacje. Na końcu model wyznacza rozkład prawdopodobieństwa: dla każdego tokenu w słowniku — jak bardzo pasuje jako następny.
Trening polega na tym, by ten rozkład przypisywał jak największe prawdopodobieństwo tokenom, które naprawdę pojawiły się w tekstach. Okno kontekstowe ogranicza, ile tekstu model widzi naraz — to nie jest trwała pamięć ani gwarancja, że każdy fragment zostanie wykorzystany.
- 1Podziel tekst na tokeny
- 2Zamień je na wektory
- 3Połącz kontekst uwagą
- 4Wyznacz rozkład prawdopodobieństwa
- 5Wybierz kolejny token
W dekoderowym Transformerze maska przyczynowa blokuje dostęp do przyszłych pozycji. Uwaga oblicza softmax(QKᵀ/√dₖ)V, gdzie Q, K i V to projekcje reprezentacji tokenów. Funkcja celu sumuje ujemne logarytmy prawdopodobieństwa właściwych tokenów.
GPT-3 (Brown i in., 2020) miał 175 miliardów parametrów — to liczba wag, a nie liczba zapamiętanych faktów. Prawa skalowania (Kaplan, 2020; Chinchilla, 2022) opisują związek straty z danymi, parametrami i obliczeniami, a nie bezpośrednią miarę prawdomówności.
Zapis formalny
Attention(Q,K,V) = softmax(QKᵀ/√dₖ)·V
Odrobina losowości
Model nie zawsze wybiera najbardziej prawdopodobny token. Czasem sięga po trochę mniej oczywisty — dzięki temu tekst jest ciekawszy i mniej powtarzalny. Dlatego to samo pytanie może dać różne odpowiedzi.
Pokrętło, które ustawia tę losowość, nazywa się temperaturą. Niska temperatura daje odpowiedzi przewidywalne, wysoka — bardziej zaskakujące. Pobawisz się nią w grze „Przewiduj słowo”.
Po treningu na tekstach model przechodzi jeszcze dostrajanie: uczy się odpowiadać na polecenia i zachowywać zgodnie z oczekiwaniami ludzi. Jedną z metod jest uczenie ze wzmocnieniem na podstawie ocen ludzi (RLHF) — ludzie porównują odpowiedzi, a model uczy się tych lepiej ocenianych.
Ważne: ani niska temperatura, ani dostrajanie nie gwarantują prawdy. Model może konsekwentnie i bardzo pewnie powtarzać ten sam błąd. O tym zjawisku — halucynacjach — opowie osobna lekcja na poziomie 5.
Temperatura T dzieli logity przed softmaxem: T < 1 wyostrza rozkład, T > 1 go spłaszcza. Próbkowanie top-p ogranicza losowanie do najmniejszego zbioru tokenów o łącznym prawdopodobieństwie p. Niższa losowość zmniejsza zmienność, ale nie usuwa systematycznych błędów.
InstructGPT (Ouyang i in., 2022) pokazał, że RLHF znacząco poprawia użyteczność ocenianą przez ludzi — model 1,3 mld parametrów po RLHF był preferowany nad 175-miliardowym GPT-3. Preferowana odpowiedź nadal jednak może być nieprawdziwa.
W Laboratorium
W Laboratorium: Przewiduj słowo
W grze „Przewiduj słowo” stajesz się modelem językowym. Widzisz początek zdania, na przykład „Wlazł kotek na…”, i wybierasz, które słowo pasuje dalej. Dostajesz tyle punktów, ile wynosi prawdopodobieństwo Twojego wyboru — popularne zakończenie daje dużo, rzadkie mało.
Suwakiem temperatury możesz zmieniać „odwagę” modelu, a przyciskiem losowania sprawdzić, jakie słowa model wybrałby przy danej temperaturze.
W każdej rundzie są cztery kandydaty z przypisanymi prawdopodobieństwami — tak jak rozkład, który model językowy oblicza dla kolejnego tokenu. Przy zdaniach o faktach („Stolicą Polski jest…”) jedno słowo dominuje, a przy zdaniach otwartych („Mój ulubiony kolor to…”) szanse rozkładają się równiej.
Temperatura zmienia ten rozkład. Niska wzmacnia faworyta, więc losowanie prawie zawsze daje to samo słowo. Wysoka wyrównuje szanse, więc częściej pojawiają się słowa zaskakujące. Rozkłady w grze są przygotowane ręcznie, żeby dobrze pokazywały zjawisko — prawdziwy model wybiera spośród dziesiątek tysięcy tokenów.
Częsty błąd
Najbardziej prawdopodobne słowo jest zawsze prawdziwe.
Jak jest naprawdę
Model wybiera to, co najczęściej pojawiało się w podobnych tekstach. Przy faktach zwykle to działa — ale „najczęstsze” nie znaczy „prawdziwe”.
Gra przelicza prawdopodobieństwa przez temperaturę dokładnie tak jak model: logity to ln p, dzielone przez T (z dolnym ograniczeniem 0,05), a następnie normalizowane funkcją softmax. Losowanie to próbkowanie z otrzymanego rozkładu — suma skumulowana porównana z liczbą losową z przedziału [0, 1).
Wynik rundy to 100·p wybranego słowa w rozkładzie bazowym (T = 1), a maksimum gry to 600 punktów. To ilustracja funkcji celu modelu: trening nagradza przypisywanie wysokiego prawdopodobieństwa tokenom, które rzeczywiście występują w danych.
Zapis formalny
q_i = exp(ln pᵢ / T) / Σⱼ exp(ln pⱼ / T)
Zapamiętaj
- LLM przewiduje kolejny token na podstawie poprzednich.
- Temperatura zmienia, jak „odważnie” model wybiera słowa.
- Płynność to nie to samo co prawdziwość.
Tokenizer
wpisz dowolne zdanie
Przestrzeń embeddingów
6
słowa
15
tokeny
2.50
tok./słowo
To samo zdanie, dwa języki
Polskie końcówki rozbijają słowa na więcej kawałków — model „płaci” za polszczyznę więcej tokenów.
Uproszczona symulacja. Prawdziwe tokenizery (BPE) uczą się podziału ze statystyki tekstu, a każdy token to wektor setek lub tysięcy liczb.
Ciekawostka
Po polsku to samo zdanie zajmuje zwykle więcej tokenów niż po angielsku — model „płaci” więcej za nasze końcówki fleksyjne. Polskie modele, takie jak Bielik czy PLLuM, mają tokenizery lepiej dopasowane do polszczyzny.
W liczbach
~0,75
tyle słów angielskich przypada średnio na jeden token
Źródło: Dokumentacja OpenAI
Ewaluacja · 4 pytania
Sprawdź się
Co robi model językowy, gdy pisze odpowiedź?
Twoja opinia · anonimowo
Jak Ci się czytało tę lekcję?
Dokąd dalej
Następny przystanek: Chatboty i asystenci
Model językowy tnie tekst na tokeny, za pomocą uwagi łączy kontekst i przewiduje kolejny token — z odrobiną kontrolowanej losowości. Nie sprawdza faktów w bazie; układa tekst, który pasuje statystycznie. Ukończyłeś poziom 2!
Na poziomie 3 zobaczysz, co z tej technologii wyrosło: chatboty i asystenci, generatory obrazów i muzyki, agenci wykonujący zadania i AI, która widzi i słyszy. Zaczniemy od chatbotów — co łączy ChatGPT, Gemini, Claude'a i polskiego Bielika?