Sieć neuronowa uczy się, kiedy nie należy jej zaufać

Coraz częściej systemy sztucznej inteligencji znane jako sieci neuronowe głębokiego uczenia są wykorzystywane do podejmowania decyzji istotnych dla zdrowia i bezpieczeństwa ludzi, takich jak autonomiczna jazda lub diagnostyka medyczna. Sieci te są dobre w rozpoznawaniu wzorców w dużych, złożonych zestawach danych, aby pomóc w podejmowaniu decyzji. Ale skąd wiemy, że mają rację? Alexander Amini i jego koledzy z MIT i Harvard University chcieli się dowiedzieć.

Opracowali szybki sposób, dzięki któremu sieć neuronowa może przetwarzać dane i generować nie tylko prognozę, ale także poziom zaufania modelu w oparciu o jakość dostępnych danych. Postęp może uratować życie, ponieważ uczenie głębokie jest już obecnie wdrażane w prawdziwym świecie. Poziom pewności sieci może być decydujący w kierowaniu autonomicznym pojazdem, który określa, czy „można przejechać przez skrzyżowanie” lub “ prawdopodobnie nikogo nie ma na skrzyżowaniu, więc zatrzyma się na wszelki wypadek ”.

Obecne metody szacowania niepewności dla sieci neuronowych są zazwyczaj kosztowne obliczeniowo i stosunkowo powolne przy podejmowaniu decyzji w ułamku sekundy. Jednak podejście Aminiego, nazwane „głęboką regresją dowodową”, przyspiesza ten proces i może prowadzić do bezpieczniejszych wyników. „Potrzebujemy umiejętności nie tylko posiadania wysokowydajnych modeli, ale także zrozumienia, kiedy nie możemy im ufać” – mówi Amini, doktorant z grupy profesor Daniela Rus w Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL) .

„Pomysł ten jest ważny i ma szerokie zastosowanie. Można go wykorzystać do oceny produktów, które opierają się na wyuczonych modelach. Szacując niepewność wyuczonego modelu, dowiadujemy się również, jakiego błędu można oczekiwać od modelu i jakich brakujących danych może poprawić model ”, mówi Rus.

Amini zaprezentuje wyniki badań na konferencji NeurIPS w grudniu, wraz z Rusem, który jest profesorem elektrotechniki i informatyki Andrew i Erna Viterbi, dyrektorem CSAIL i zastępcą dziekana ds. Badań w MIT Stephen A. Schwarzman College of Computing; oraz doktoranci Wilko Schwarting z MIT i Ava Soleimany z MIT i Harvardu.

Skuteczna niepewność

Po długiej historii, głębokie uczenie się wykazało niezwykłą wydajność w różnych zadaniach, w niektórych przypadkach nawet przewyższającą ludzką dokładność. W dzisiejszych czasach głębokie uczenie się wydaje się odbywać wszędzie tam, gdzie są komputery. Zasila wyniki wyszukiwarek, kanały mediów społecznościowych i rozpoznawanie twarzy. „Odnieśliśmy ogromne sukcesy, stosując głębokie uczenie się” – mówi Amini. „Sieci neuronowe naprawdę dobrze znają prawidłową odpowiedź w 99% przypadków”. Ale 99 procent nie zrobi tego, gdy ludzie są zagrożeni.

„Jedną rzeczą, która umyka badaczom, jest zdolność tych modeli do poznania i poinformowania nas, kiedy mogą się mylić” – mówi Amini. „Naprawdę zależy nam na tym 1 procencie przypadków i na tym, jak możemy niezawodnie i skutecznie wykrywać takie sytuacje”.

Sieci neuronowe mogą być ogromne, czasem przepełnione miliardami parametrów. Zatem uzyskanie odpowiedzi, nie mówiąc już o poziomie pewności, może być dużym obciążeniem obliczeniowym. Analiza niepewności w sieciach neuronowych nie jest nowa. Jednak poprzednie podejścia, wywodzące się z głębokiego uczenia bayesowskiego, polegały wielokrotnie na uruchamianiu lub próbkowaniu sieci neuronowej w celu zrozumienia jej pewności. Ten proces wymaga czasu i pamięci, co jest luksusem, którego nie ma w szybkim ruchu ulicznym.

Naukowcy opracowali sposób szacowania niepewności na podstawie tylko jednego przebiegu sieci neuronowej. Zaprojektowali sieć ze zwiększoną wydajnością, tworząc nie tylko decyzję, ale także nową dystrybucję probabilistyczną, przechwytującą dowody na poparcie tej decyzji. Te rozkłady, nazywane rozkładami dowodowymi, bezpośrednio oddają zaufanie modelu do jego przewidywań. Obejmuje one wszelką niepewność obecną w bazowych danych wejściowych, a także w ostateczną decyzje modelu. To rozróżnienie może sygnalizować, czy niepewność można zmniejszyć poprzez ulepszenie samej sieci neuronowej, czy też dane wejściowe są po prostu zaszumione.

Weryfikacja zaufania

Aby przetestować swoje podejście, naukowcy rozpoczęli od trudnego zadania widzenia komputerowego. Nauczyli swoją sieć neuronową analizować jednookularowy kolorowy obraz i oszacować wartość głębi (Odległość od obiektywu kamery) dla każdego piksela. Pojazd autonomiczny może korzystać z podobnych obliczeń w celu oszacowania odległości od pieszego lub innego pojazdu, co nie jest prostym zadaniem.

Wydajność ich sieci była porównywalna z poprzednimi najnowocześniejszymi modelami, ale zyskała również zdolność szacowania własnej niepewności. Zgodnie z oczekiwaniami naukowców sieć przewidywała wysoką niepewność dla pikseli, w przypadku których przewidziała niewłaściwą głębokość. „Był bardzo skalibrowany pod kątem błędów popełnianych przez sieć, co naszym zdaniem było jedną z najważniejszych rzeczy przy ocenie jakości nowego estymatora niepewności” – mówi Amini.

Aby przetestować kalibrację w warunkach skrajnych, zespół wykazał również, że sieć przewidywała większą niepewność dla danych „poza dystrybucją” – zupełnie nowe typy obrazów, których nigdy nie napotkano podczas szkolenia. Po przeszkoleniu sieci w zakresie scen domowych w pomieszczeniach, nakarmili ją serią scen z jazdy na zewnątrz. Sieć stale ostrzegała, że jej reakcje na nowe sceny plenerowe są niepewne. Test podkreślił zdolność sieci do oznaczania, kiedy użytkownicy nie powinni w pełni ufać jej decyzjom. W takich przypadkach „jeśli jest to aplikacja zdrowotna, być może nie ufamy diagnozie, jaką daje model, a zamiast tego szukamy drugiej opinii” – mówi Amini.

Sieć wiedziała nawet, kiedy zdjęcia zostały sfałszowane, potencjalnie zabezpieczając się przed atakami polegającymi na manipulacji danymi. W innej próbie naukowcy zwiększyli przeciwne poziomy szumów w serii obrazów, które przesłali do sieci. Efekt był subtelny – ledwo dostrzegalny dla ludzkiego oka – ale sieć wywęszyła te obrazy, oznaczając ich wyjście wysokim stopniem niepewności. Ta umiejętność alarmowania o sfałszowanych danych może pomóc wykryć i powstrzymać ataki kontradyktoryjne, które są coraz większym problemem w erze podróbek głębinowych.

Głęboka regresja dowodowa to „proste i eleganckie podejście, które posuwa naprzód w dziedzinie szacowania niepewności, co jest ważne dla robotyki i innych systemów sterowania w świecie rzeczywistym” – mówi Raia Hadsell, badacz sztucznej inteligencji w DeepMind, który nie był zaangażowany w te prace. „Odbywa się to w nowatorski sposób, który pozwala uniknąć niektórych niechlujnych aspektów innych podejść – np. Próbkowania lub tworzenia zespołów – co sprawia, że jest to nie tylko eleganckie, ale także bardziej wydajne obliczeniowo – zwycięska kombinacja”.

Głęboki regres dowodowy mógłby zwiększyć bezpieczeństwo podejmowania decyzji przy wsparciu sztucznej inteligencji. „Zaczynamy widzieć znacznie więcej takich modeli [sieci neuronowych], które przedostają się z laboratorium badawczego do świata rzeczywistego, do sytuacji dotykających ludzi i potencjalnie zagrażających życiu” – mówi Amini. „Każdy użytkownik metody, bez względu na to, czy jest to lekarz, czy osoba siedząca na miejscu pasażera pojazdu, musi zdawać sobie sprawę z ryzyka lub niepewności związanej z tą decyzją”. Przewiduje, że system nie tylko szybko sygnalizuje niepewność, ale także wykorzystuje go do podejmowania bardziej konserwatywnych decyzji w ryzykownych scenariuszach, takich jak pojazd autonomiczny zbliżający się do skrzyżowania.

„Każda dziedzina, która ma mieć wdrożone uczenie maszynowe, musi ostatecznie mieć niezawodną świadomość niepewności” – mówi.

Prace te były częściowo wspierane przez National Science Foundation i Toyota Research Institute za pośrednictwem Wspólnego Centrum Badawczego Toyota-CSAIL.