Lekcja 3.4
AI, która widzi i słyszy
Modele multimodalne łączą tekst, obraz, dźwięk i wideo w jednym „mózgu”.
3.4AI, która widzi i słyszy
Do tej pory AI pracowała głównie z jednym rodzajem treści naraz: tekstem albo obrazem. Dzisiejsze modele potrafią łączyć wiele zmysłów — możesz pokazać im zdjęcie i zapytać o nie głosem. Zobaczmy, jak to działa i gdzie AI wciąż „widzi” gorzej, niż myślimy.
Każdy rozdział zaczyna się prosto. Chcesz więcej? Otwórz Zaawansowany, a w nim Ekspert.
Wiele zmysłów naraz
Możesz pokazać asystentowi zdjęcie rośliny i zapytać głosem, jak się nazywa. Albo sfotografować zadanie z matematyki i poprosić o wskazówkę. AI, która łączy tekst, obraz i dźwięk, nazywamy multimodalną.
To trochę jak rozmowa przy wspólnym stole, gdzie oprócz słów pokazujecie sobie zdjęcia i rysunki.
Wyobraź to sobie tak
„Model multimodalny przypomina tłumacza, który łączy słowa z obrazami i dźwiękami — ale może pomylić się w każdym z tych „języków”.”
Modalność to rodzaj sygnału: tekst, obraz, dźwięk czy wideo. Model multimodalny zamienia każdy z nich na liczby, które może ze sobą porównywać i łączyć.
Nie każda aplikacja obsługująca obraz i głos ma w środku jeden wspólny model. Czasem to kilka modeli połączonych w łańcuch: jeden zamienia mowę na tekst, drugi odpowiada, trzeci czyta odpowiedź na głos.
GPT-4o zaprezentowano w 2024 roku jako model trenowany całościowo na tekście, obrazie i dźwięku, co skraca opóźnienia w rozmowie głosowej w porównaniu z łańcuchem osobnych modeli.
Łańcuchy modeli są prostsze w budowie, ale tracą informacje po drodze — na przykład ton głosu czy emocje, które nie przechodzą przez zapis tekstowy.
Wspólny język obrazów i słów
Żeby połączyć obraz ze słowami, AI uczy się na milionach zdjęć z podpisami. Z czasem wie, że zdjęcie psa na plaży pasuje do zdania „pies na plaży”, a nie do „kot w kuchni”.
Dzięki temu można szukać zdjęć opisem, a asystent potrafi opowiedzieć, co jest na obrazku.
Enkodery zamieniają obraz i tekst na wektory. Trening na parach „obraz — podpis” sprawia, że wektory pasujących par są do siebie podobne, a niepasujących — różne. W ten sposób powstaje wspólna przestrzeń, w której obrazy i słowa można porównywać.
Na tej podstawie buduje się modele, które rozmawiają o obrazach: obraz zamieniony na wektory trafia do modelu językowego razem z pytaniem, a model pisze odpowiedź.
- 1Zamień obraz na wektory
- 2Zamień tekst na wektory
- 3Zbliż pasujące pary
- 4Połącz z modelem językowym
CLIP (Radford i in., 2021) uczył zgodności obrazów i tekstów metodą kontrastową na około 400 milionach par. Flamingo (Alayrac i in., 2022) łączył zamrożone komponenty warstwami uwagi krzyżowej, a LLaVA (Liu i in., 2023) pokazała znaczenie dostrajania instrukcyjnego na danych wizualno-językowych.
Uczenie kontrastowe zwiększa podobieństwo pasujących reprezentacji względem niepasujących, zamiast bezpośrednio uczyć swobodnej rozmowy o obrazie — tę umiejętność dodaje się w kolejnych etapach.
Zapis formalny
s(obraz, tekst) = cos(v_obrazu, v_tekstu)
Gdzie AI widzi gorzej
AI może źle odczytać mały napis, pomylić podobne rośliny albo źle policzyć przedmioty na zdjęciu. Zdjęcie nie mówi też nic o tym, co jest poza kadrem.
Dlatego przy ważnych sprawach — na przykład gdy chodzi o zdrowie albo bezpieczeństwo — wynik AI trzeba sprawdzić u specjalisty.
Typowe słabości to drobny tekst (OCR), dokładne położenie przedmiotów, liczenie i relacje przestrzenne („co jest na lewo od czego”). Modele bywają też podatne na sugestię w pytaniu: zapytane „gdzie na zdjęciu jest pies?”, potrafią „znaleźć” psa, którego nie ma.
Pomaga czytelne zdjęcie, konkretne pytanie i prośba, by model opisał, co widzi, zanim wyciągnie wnioski.
Częsty błąd
Skoro AI widzi zdjęcie, wie wszystko o scenie.
Jak jest naprawdę
Model ma ograniczony sygnał i może błędnie zinterpretować jego treść — albo ulec sugestii pytania.
Ewaluacja multimodalna musi osobno mierzyć OCR, lokalizację, rozumowanie przestrzenne, rozumienie czasu w wideo i podatność na sugestie. Rozpoznanie obiektu nie jest równoznaczne z niezawodnym rozumowaniem o scenie.
Zgodna odpowiedź oparta na kilku modalnościach nie daje niezależnego potwierdzenia — wszystkie przechodzą przez ten sam model, więc mogą dzielić te same błędy.
Zapamiętaj
- Multimodalność = tekst + obraz + dźwięk + wideo naraz.
- Pomaga w dostępności, np. opisując otoczenie niewidomym.
- Klonowanie głosu to nowe ryzyko oszustw.
Jeden model, wiele zmysłów
włączaj i wyłączaj wejścia
2 / 4 zmysły
Co możesz zrobić
- Streść rozdział lektury
- Przetłumacz list
- Napisz quiz
- Rozwiąż zadanie ze zdjęcia zeszytu
- Opisz wykres
- Przeczytaj etykietę leku
Ciekawostka
Aplikacja Be My Eyes łączy osoby niewidome z wolontariuszami, a od 2023 roku także z asystentem AI, który opisuje zdjęcia — od etykiet leków po rozkład jazdy.
W liczbach
3 s
nagrania wystarczy niektórym systemom do sklonowania głosu
Źródło: Raporty branżowe, m.in. McAfee 2023
Ewaluacja · 3 pytania
Sprawdź się
Model multimodalny potrafi…
Twoja opinia · anonimowo
Jak Ci się czytało tę lekcję?
Dokąd dalej
Następny przystanek: Sztuka zadawania pytań
AI multimodalna łączy tekst, obraz i dźwięk dzięki wspólnej przestrzeni wektorów. Potrafi wiele, ale wciąż myli drobne napisy, liczenie i położenie przedmiotów. Ukończyłeś poziom 3!
Znasz już narzędzia — teraz nauczysz się z nich mądrze korzystać. Poziom 4 zaczyna się od umiejętności, która daje najwięcej za najmniej: od sztuki zadawania pytań, czyli dobrych promptów.