Lekcja 2.1
Dane: paliwo AI
Bez danych nie ma AI. Ale nie chodzi tylko o ilość — liczy się jakość.
2.1Dane: paliwo AI
Witaj na drugim poziomie wyprawy. Pierwszy pokazał Ci, gdzie spotykasz AI. Teraz zajrzymy pod maskę i zaczniemy od tego, bez czego żadna AI nie ruszy z miejsca: od danych.
Jeśli AI to silnik, dane są jej paliwem. Zobaczymy, jakie paliwo jest dobre, jak sprawdzić, czy model naprawdę się nauczył, i dlaczego „więcej” nie zawsze znaczy „lepiej”.
Każdy rozdział zaczyna się prosto. Chcesz więcej? Otwórz Zaawansowany, a w nim Ekspert.
Dobre paliwo
Gdybyś uczył się rozpoznawać psy tylko ze zdjęć jamników, pierwszy owczarek mógłby Cię zaskoczyć. AI ma tak samo: potrzebuje różnorodnych przykładów, a nie tysięcy kopii tego samego zdjęcia.
Liczy się też to, czy przykłady są dobrze podpisane. Jeśli ktoś pomyłkowo opisze kota jako psa, AI nauczy się złego skojarzenia.
Wyobraź to sobie tak
„Zbiór danych jest jak zestaw ćwiczeń przed klasówką: im bardziej różnorodne zadania, tym lepiej poradzisz sobie z tym, co Cię zaskoczy.”
Dane treningowe służą do dopasowania parametrów modelu. Podpis przy przykładzie, czyli oczekiwaną odpowiedź, nazywamy etykietą — na przykład „pies” przy zdjęciu psa.
Etykiety nie zawsze muszą pochodzić od ludzi. W uczeniu samonadzorowanym zadanie tworzy się z samych danych: model językowy dostaje tekst z ukrytym fragmentem i uczy się go odgadywać. Dzięki temu można uczyć się na ogromnych zbiorach bez ręcznego opisywania każdego przykładu — tak powstają dzisiejsze modele językowe.
Częsty błąd
Więcej danych zawsze daje lepszy model.
Jak jest naprawdę
Liczą się także jakość, różnorodność, zgodność z zadaniem i brak duplikatów — śmieci na wejściu dają śmieci na wyjściu.
ImageNet (Deng i in., 2009) upowszechnił ocenę rozpoznawania obrazów na dużą skalę i to na nim w 2012 roku zabłysnął AlexNet. „Datasheets for Datasets” (Gebru i in., 2021) proponuje dokumentowanie pochodzenia, składu i ograniczeń zbiorów danych — tak jak elektronika ma karty katalogowe.
Dokumentacja ułatwia audyt, ale nie zastępuje pomiaru jakości etykiet ani sprawdzenia zgodności z prawem, na przykład z prawami autorskimi i ochroną danych osobowych.
Uczciwy sprawdzian
Skąd wiadomo, że AI się nauczyła, a nie tylko zapamiętała odpowiedzi? Część przykładów chowa się przed nią na później — jak klasówkę, której uczeń nie widział wcześniej.
Jeśli AI dobrze radzi sobie z tymi ukrytymi przykładami, naprawdę się czegoś nauczyła. Jeśli nie — tylko wykuła ćwiczenia na pamięć.
Dane dzieli się zwykle na trzy części. Zbiór treningowy służy do nauki, walidacyjny — do wybierania ustawień treningu, a testowy — do końcowej, uczciwej oceny. Wyciek danych to sytuacja, gdy informacja z testu przedostaje się do treningu i sztucznie poprawia wynik.
Przeuczenie oznacza dopasowanie do szczegółów ćwiczeń kosztem nowych przypadków: model jest świetny na treningu i słaby na teście. Przeciwdziała mu się między innymi regularyzacją, czyli hamowaniem nadmiernej złożoności modelu, i lepszym doborem danych.
- 1Zbierz różnorodne dane
- 2Sprawdź etykiety
- 3Rozdziel zbiory
- 4Oceń na nowych przypadkach
Średni błąd na próbie przybliża błąd na całej populacji tylko przy odpowiednich założeniach o losowaniu próby. W danych czasowych losowy podział może „podglądać przyszłość”, a w medycynie zdjęcia jednego pacjenta nie powinny trafić jednocześnie do treningu i testu. Niezależność jednostek oceny jest ważniejsza niż sam procent podziału.
Regularyzację zapisuje się często jako dodatkowy składnik funkcji celu, który karze model za wybrane właściwości, na przykład za zbyt duże wagi.
Zapis formalny
L_całk = L_dane + λ·R(θ)
Ile danych potrzeba?
Duże modele językowe uczyły się na ogromnej części tekstów z internetu, książek i innych źródeł — na ilości, której człowiek nie przeczytałby przez tysiące lat.
Ale liczy się nie tylko ilość. Dane z powtórzeniami, błędami czy treściami szkodliwymi mogą model popsuć. Dlatego twórcy AI dużo pracy wkładają w czyszczenie i wybieranie danych.
Ilość danych mierzy się w tokenach — kawałkach tekstu, o których więcej powiemy w lekcji o modelach językowych. Duplikaty zawyżają znaczenie niektórych treści, a zadania testowe, które przypadkiem trafią do danych treningowych, sprawiają, że model „zna odpowiedzi” i wynik testu przestaje być wiarygodny.
Dlatego przygotowanie danych to osobny, duży etap pracy: usuwanie duplikatów, filtrowanie jakości i treści szkodliwych, sprawdzanie licencji i równowagi między językami czy tematami.
Chinchilla (Hoffmann i in., 2022) była modelem o 70 miliardach parametrów trenowanym na około 1,4 biliona tokenów. Wynik ilustrował kompromis obliczeniowy między rozmiarem modelu a liczbą tokenów — a nie zasadę, że każde dodatkowe dane są wartościowe.
Skażenie benchmarków (gdy zadania testowe znajdują się w danych treningowych) i duplikaty mogą zniekształcać ocenę skalowania. Rzetelne raporty opisują, jak sprawdzano dane pod tym kątem.
W Laboratorium
W Laboratorium: Wytrenuj własne AI
Teraz Twoja kolej, żeby zostać trenerem AI. W grze „Wytrenuj własne AI” rysujesz przykłady dwóch rodzajów — na przykład kółka i krzyżyki — i mówisz modelowi, co jest czym. Potem rysujesz coś nowego, a model zgaduje, co to jest.
Gdy się pomyli, możesz go poprawić: dodajesz rysunek z prawidłowym podpisem i model od razu staje się mądrzejszy. To dokładnie to, o czym była ta lekcja — AI uczy się z przykładów, a różnorodne przykłady dają lepszy wynik.
Wyobraź to sobie tak
„To jak uczenie młodszego rodzeństwa rozpoznawania liter: pokazujesz kilka przykładów, sprawdzasz, poprawiasz pomyłki — i z każdym przykładem idzie lepiej.”
Model w tej grze nie widzi Twojego rysunku tak jak Ty. Najpierw przycina go do samego rysunku (bez pustego tła), a potem zmniejsza do siatki 16 na 16 pól — każde pole to liczba mówiąca, ile jest w nim tuszu. Tę siatkę zobaczysz w grze jako podgląd „Tak widzi to AI”. Dzięki przycięciu nie ma znaczenia, czy narysujesz kółko duże czy małe, w rogu czy na środku.
Kiedy pytasz „Co to jest?”, model porównuje nową siatkę ze wszystkimi zapamiętanymi przykładami i szuka trzech najbardziej podobnych. Wygrywa ta klasa, do której należą najbliżsi „sąsiedzi”. Właśnie dlatego potrzebujesz przynajmniej trzech przykładów każdego rodzaju, a różne style rysowania tak bardzo pomagają.
- 1Narysuj przykłady obu klas (min. 3 + 3)
- 2Przytnij i zmniejsz rysunek do siatki 16×16
- 3Porównaj z zapamiętanymi przykładami
- 4Wybierz klasę 3 najbliższych sąsiadów
- 5Przy pomyłce dodaj rysunek z poprawną etykietą
Częsty błąd
Model w grze rozumie, czym jest kółko.
Jak jest naprawdę
Model porównuje tylko 256 liczb z zapamiętanymi przykładami. Jeśli wszystkie Twoje kółka były grube, cienkie kółko może go zmylić — to uprzedzenie w danych w miniaturze.
Gra implementuje klasyfikator k najbliższych sąsiadów (k-NN, k = 3) działający w całości w przeglądarce. Wektor cech ma 256 wymiarów: dla każdego pola siatki średnie pokrycie tuszem, wzmocnione i obcięte do 1. Odległość to euklidesowa, a głosy sąsiadów są ważone odwrotnością odległości (1 / (d + 0,5)). Pewność pokazana w grze to udział wag zwycięskiej klasy.
k-NN to uczenie „leniwe”: nie ma fazy dopasowywania parametrów, a cała wiedza modelu to zapamiętane przykłady. Dlatego „douczanie” po pomyłce działa natychmiast — nowy przykład od razu zmienia sąsiedztwo. Ta prostota ma koszty: przy dużych zbiorach porównywanie z każdym przykładem jest wolne, a w wysokich wymiarach odległości stają się mniej informatywne (przekleństwo wymiarowości). Rysunki nie opuszczają przeglądarki.
Zapis formalny
ŷ = argmax_c Σ_{i ∈ kNN(x)} [yᵢ = c] / (‖x − xᵢ‖ + 0,5)
Zapamiętaj
- Trzy sposoby uczenia: nadzorowane, nienadzorowane, ze wzmocnieniem.
- Model ocenia się na danych, których wcześniej nie widział.
- Jakość danych jest równie ważna jak ich ilość.
Dane: paliwo dla modelu
0 przykładów
Model jest pusty. Wlej pierwsze dane i patrz, jak uczy się granicy między klasami.
Dokładność na nowych danych
—%
Mało danych → granica „skacze”. Dużo danych → stabilizuje się. Brudne etykiety → model uczy się szumu. Tak samo działa to w modelach z miliardami przykładów: jakość danych to jakość AI.
Ciekawostka
Zbiór ImageNet, który napędził rewolucję w rozpoznawaniu obrazów, zawierał ponad 14 milionów zdjęć opisanych ręcznie przez ludzi — głównie pracowników platformy Amazon Mechanical Turk.
W liczbach
15+ bln
tokenów tekstu użyto do trenowania niektórych otwartych modeli (np. Llama 3)
Źródło: Meta, 2024
Ewaluacja · 3 pytania
Sprawdź się
Co oznacza „śmieci na wejściu, śmieci na wyjściu”?
Twoja opinia · anonimowo
Jak Ci się czytało tę lekcję?
Dokąd dalej
Następny przystanek: Sztuczny neuron
Wiesz już, że dane muszą być różnorodne i dobrze opisane, że uczciwy sprawdzian wymaga ukrytych przykładów i że ilość bez jakości nie wystarczy. Ale co właściwie dzieje się z danymi w środku modelu?
W następnej lekcji poznasz najmniejszą cegiełkę sieci neuronowej — sztuczny neuron, czyli bardzo prosty kalkulator z pokrętłami.