Federated learning

Hvad er federated learning?

Federated learning (føderal læring på dansk) er en maskinlæringsteknik hvor en model trænes på data der er spredt over mange enheder, uden at rå data nogensinde samles ét sted. I stedet for at sende data til en central server, sendes modellen ud til dataene.

Tænk på det som en undersøgelse hvor du spørger 1000 hospitaler om deres patientdata. Traditionel maskinlæring ville kræve at alle hospitalerne sendte deres data til ét centralt sted. Federated learning lader hvert hospital træne modellen lokalt og kun sende de lærte forbedringer (model-opdateringer) tilbage. Aldrig selve patientdataene.

Google introducerede begrebet i 2016, og det bruges i dag bredt i industrien. Når din iPhone forbedrer sit tastatur-autofuldførelse, bruger den federated learning. Din telefon træner lokalt på dine beskeder og sender kun de anonymiserede modelopdateringer til Apple.

Hvordan fungerer federated learning?

Processen kører i runder:

1. Distribution. Den centrale server sender den aktuelle model til alle deltagende enheder (telefoner, hospitaler, virksomheder).
2. Lokal træning. Hver enhed træner modellen på sine egne lokale data. Din telefon bruger dine beskeder, hospitalet bruger sine patientjournaler.
3. Opdateringer. Hver enhed sender sine modelopdateringer (gradient-opdateringer eller nye parametre) tilbage til serveren. Ikke de rå data.
4. Aggregering. Serveren kombinerer opdateringerne fra alle enheder til en forbedret global model. Den mest brugte metode hedder FedAvg (Federated Averaging) og beregner et vægtet gennemsnit.
5. Gentag. Den forbedrede model sendes ud til enhederne, og processen gentages. Over mange runder konvergerer modellen mod en god løsning.

Hvorfor er federated learning vigtigt?

1. Privatliv. Data forbliver på enheden. Ingen central server har adgang til rå patientjournaler, personlige beskeder eller finansielle transaktioner. Det er den primære motivation bag teknologien.
2. Regulering. GDPR og andre datalovgivninger begrænser overførsel og centralisering af persondata. Federated learning overholder disse regler ved design fordi data aldrig forlader kilden.
3. Sikkerhed. Ingen central database der kan hackes. Selvom serveren kompromitteres, har angriberen kun modelopdateringer. Ikke rå data.
4. Skalerbarhed. Data behøver ikke kopieres og overføres centralt. Det er kritisk for applikationer med milliarder af enheder (smartphones) eller følsomme data (hospitaler).

Federated learning i praksis

1. Apple. Bruger federated learning til at forbedre Siri, tastatur-autofuldførelse og QuickType. Din iPhone lærer fra dine beskeder uden at Apple ser dem.
2. Google. Gboard (Googles tastatur) bruger federated learning til at forbedre forslag og autokorrektion på tværs af millioner af Android-telefoner.
3. Sundhed. Hospitaler kan træne diagnostikmodeller i fællesskab uden at dele patientdata. Projekter som NVIDIA Clara gør det muligt at træne modeller på tværs af hospitaler med federated learning.
4. Finans. Banker kan samarbejde om svindeldetektering uden at dele kundernes transaktionsdata med hinanden.
5. IoT og edge. Sensorer og industrielt udstyr kan forbedre deres modeller lokalt uden at sende store datamængder til skyen.

Begrænsninger

1. Ikke-identisk data. Forskellige enheder har forskellige data. Din telefon har dine beskeder, en andens har deres. Denne “non-IID” data gør træning vanskeligere end med ensartet, centraliseret data.
2. Kommunikation. Modelopdateringer mellem enheder og server kræver båndbredde. Med millioner af enheder kan dette være en flaskehals.
3. Privacy-lækage. Selvom rå data ikke deles, kan modelopdateringer i visse tilfælde afsløre information om de underliggende data. Differential privacy bruges til at beskytte mod dette.
4. Heterogene enheder. Enheder har forskellig beregningskraft. En ny iPhone og en gammel Android har vidt forskellige kapaciteter, hvilket komplicerer træningen.