22 Priedas: giliojo mokymosi matematika

Brent Werness (Amazon), Rachel Hu (Amazon) ir šios knygos autoriai

Vienas nuostabiausių šiuolaikinio giliojo mokymosi bruožų – tai, kad didelę jo dalį galima suprasti ir naudoti iki galo nesuvokiant po juo slypinčios matematikos. Tai požymis, kad sritis bręsta. Kaip dauguma programinės įrangos kūrėjų nebeturi rūpintis skaičiuojamųjų funkcijų teorija, taip ir giliojo mokymosi praktikams nebereikia rūpintis didžiausio tikėtinumo mokymosi teoriniais pagrindais.

Tačiau dar nesame to pasiekę.

Praktikoje kartais reikės suprasti, kaip architektūros sprendimai veikia gradientų sklidimą arba kokias numanomas prielaidas darome mokydami su tam tikra nuostolių funkcija. Gali prireikti žinoti, ką iš tiesų matuoja entropija ir kaip ji gali padėti tiksliai suprasti, ką jūsų modelyje reiškia bitai vienam simboliui. Visa tai reikalauja gilesnio matematinio supratimo.

Šiuo priedu siekiama suteikti matematinį pagrindą, reikalingą šiuolaikinio giliojo mokymosi pagrindinei teorijai suprasti, tačiau jis nėra išsamus. Pradėsime nuo gilesnės tiesinės algebros analizės. Išugdysime geometrinį supratimą apie visus įprastus tiesinės algebros objektus ir operacijas, kuris leis pavaizduoti įvairių transformacijų poveikį mūsų duomenims. Svarbus elementas – tikrinių skaidų pagrindai.

Toliau išplėtosime diferencialinio skaičiavimo teoriją tiek, kad galėtume visiškai suprasti, kodėl gradientas rodo stačiausio nusileidimo kryptį ir kodėl atgalinis sklidimas yra būtent tokios formos. Integralinis skaičiavimas aptariamas tiek, kiek reikia kitai temai – tikimybių teorijai – paremti.

Praktikoje sutinkamos problemos dažnai nėra tikros, todėl mums reikia kalbos, kuria galėtume kalbėti apie neapibrėžtus dalykus. Apžvelgsime atsitiktinių dydžių teoriją ir dažniausiai sutinkamus skirstinius, kad galėtume aptarti modelius tikimybiniu požiūriu. Tai sudaro pagrindą naiviajam Bajeso klasifikatoriui – tikimybiniam klasifikavimo metodui.

Su tikimybių teorija glaudžiai susijusi statistika. Nors statistika yra per didelė sritis, kad ją būtų galima deramai apžvelgti trumpame skyriuje, pristatysime pagrindines sąvokas, kurias turėtų žinoti visi mašininio mokymosi praktikai, ypač: įvertinių vertinimą ir palyginimą, hipotezių tikrinimą ir pasikliautinųjų intervalų sudarymą.

Galiausiai pereisime prie informacijos teorijos – matematinio informacijos saugojimo ir perdavimo tyrimo. Ji suteikia pagrindinę kalbą, kuria galime kiekybiškai aptarti, kiek informacijos modelis turi apie nagrinėjamą sritį.

Kartu paėmus, tai sudaro pagrindinių matematinių sąvokų, reikalingų žengiant giluminio giliojo mokymosi supratimo keliu, branduolį.