Zbinaryzowane sieci neuronowe dają nadzieję na szybkie i dokładne uczenie maszynowe
Jak wie każdy dbający o swoje rośliny, przycinanie może sprzyjać kwitnieniu roślinności. Cięcie tutaj, tam cięcie i wzrost można kontrolować i ukierunkować na silniejszą roślinę.
Tę samą zasadę można zastosować do algorytmów uczenia maszynowego. Usuwanie bitów i fragmentów wzdłuż gałęzi kodujących w tych algorytmach może zmniejszyć złożoność drzew decyzyjnych i zwiększyć wydajność predykcyjną.
Naukowcy z Pacific Northwest National Laboratory (PNNL) Departamentu Energii USA właśnie tego dokonali. Badając binaryzowane sieci neuronowe (BNN), zastosowali zasady przycinania, aby znacznie zmniejszyć złożoność obliczeń i wymagania dotyczące pamięci. BNN są bliskimi kuzynami głębokich sieci neuronowych, które wymagają dużej ilości obliczeń. Ale BNN różnią się w znaczący sposób: używają pojedynczych bitów do kodowania każdego neuronu i parametru, zużywając znacznie mniej energii i mocy do obliczeń.
Przycinanie dla szybszego wzrostu
Badacze dostrzegli potencjalną wartość BNN dla uczenia maszynowego od około 2016 roku. Jeśli skonstruowane – lub przycięte – we właściwy sposób, zużywają mniej energii obliczeniowej i są prawie tak dokładne jak głębokie sieci neuronowe. Oznacza to, że sieci BNN mają większy potencjał, aby przynieść korzyści środowiskom o ograniczonych zasobach, takim jak telefony komórkowe, urządzenia inteligentne i cały ekosystem Internetu rzeczy.
Tu właśnie wkracza przycinanie. Ponieważ badania nad sieciami neuronowymi rozwinęły się w ostatnich latach, przycinanie zyskało większe zainteresowanie wśród badaczy komputerów.
„Przycinanie to obecnie gorący temat w uczeniu maszynowym” – powiedział informatyk z PNNL Ang Li. „Możemy dodać oprogramowanie i kodowanie architektury, aby przesunąć przycinanie w kierunku, który przyniesie większe korzyści dla wydajności urządzeń komputerowych. Korzyści te obejmują mniejsze zapotrzebowanie na energię i niższe koszty obliczeniowe”.
Przycinanie dla precyzji
Li należał do grupy naukowców PNNL, którzy niedawno opublikowali wyniki w Instytucie Inżynierów Elektryków i Elektroników dotyczące systemów równoległych i rozproszonych, pokazujące korzyści wynikające z selektywnego przycinania. Badania wykazały, że przycinanie nadmiarowych bitów architektury BNN doprowadziło do zbudowania niestandardowego BNN poza kolejnością, zwanego O3BNN-R. Ich praca pokazuje, że wysoko skondensowany model BNN – który już może wykazywać wysoką wydajność obliczeniową superkomputerów – może zostać znacznie bardziej zmniejszony bez utraty dokładności.
„Zbinaryzowane sieci neuronowe mogą skracać czas przetwarzania sieci neuronowych do około mikrosekund” – powiedział Tong „Tony” Geng, doktorant Uniwersytetu Bostońskiego, który jako stażysta PNNL pomagał Li w projekcie O3BNN-R.
„Badania BNN zmierzają w obiecującym kierunku, aby uczynić sieci neuronowymi naprawdę użytecznymi i łatwo wprowadzonymi do świata rzeczywistego” – powiedział Geng, który w styczniu dołączy do zespołu PNNL jako pracownik naukowy z tytułem doktora. „Nasze odkrycie jest ważnym krokiem do wykorzystania tego potencjału”.
Ich badania pokazują, że ten niesprawny BNN może przyciąć średnio 30 procent operacji bez utraty dokładności. Dzięki jeszcze dokładniejszemu dostrojeniu – w kroku zwanym „regularyzacją podczas treningu” – wydajność można poprawić o dodatkowe 15 procent.
Przycinanie mocy
Oprócz tego niedziałającego wkładu BNN w Internet rzeczy, Li wskazał również na potencjalne korzyści dla sieci energetycznej. Wdrożenie zmodyfikowanego BNN może również wzmocnić istniejące oprogramowanie.
Oprogramowanie te ochroni przed cyberatakami po wdrożeniu w sieci energetycznej.
Takie rozwiązanie pomoże istniejącym czujnikom wykryć atak i zareagować na niego, powiedział Li.
„Zasadniczo” – powiedział Li – „przyspieszamy przetwarzanie w sprzęcie”.
