Det er nødvendigt at åbne "black box" af kunstig intelligens, indtil det er for sent

I flere år i 1980'erne, blev de studerende i Medical School of St. George Hospital i London taget ved hjælp af en højteknologisk metode. Et computerprogram, en af ​​de første af sin art, se CV, vælge fra alle krav omkring 2.000 kandidater om året. Programmet analyserede registreringer af kvitteringer studerer de særlige kendetegn ved succesfulde ansøgere, og korrigeret så længe sine løsninger ikke falder sammen med udtalelsen fra udvælgelseskomitéen.

Det er nødvendigt at åbne

Imidlertid har programmet lært at finde mere end gode karakterer og tegn på akademisk præstation. Fire år efter gennemførelsen af ​​programmet, to læger på hospitalet fandt, at programmet, som regel afvise kvindelige kandidater og dem med ikke-europæiske navne, uanset deres akademiske meritter. Læger har fundet, at omkring 60 kandidater hvert år simpelthen nægtede at samtale på grund af deres køn eller race. Programmet omfattede køn og race skævhed i de anvendte data for sin træning - faktisk lært, at læger og udlændinge er ikke de bedste kandidater til en læge.

Tredive år senere, står vi over for et lignende problem, men programmer med intern bias er nu mere almindeligt og træffe beslutninger med endnu højere stakes. Kunstig intelligens algoritmer baseret på machine learning anvendes overalt, begyndende med de statslige institutioner og slutter med sundhedssektoren, træffe beslutninger og gøre forudsigelser baseret på historiske data. Ved at studere de mønstre i dataene, de også absorbere og fordomme i dem. Google, for eksempel, viser mere reklame lavtlønnet arbejde til kvinder end mænd; Amazon-dag levering omgår de Negro kvartaler, og digitale kameraer med næsten ikke genkende personen ikke er hvid. Det er svært at forstå, om algoritmen er forudindtaget eller en fair, og så overveje selv computer eksperter. En af grundene ligger i det faktum, at detaljerne i oprettelsen af ​​en algoritme ofte betragtes beskyttede oplysninger, så de er omhyggeligt bevogtet af ejerne. I mere komplekse tilfælde, algoritmerne er så komplekse, at selv skaberne ikke ved præcist, hvordan de arbejder. Dette er problemet med såkaldt "black box" AI - vores manglende evne til at se indersiden af ​​algoritmen og at forstå, hvordan det kommer til en beslutning. Hvis du lader den låst op, kan vores samfund blive alvorligt påvirket: i det digitale miljø er realiseret historisk diskrimination, som vi har kæmpet for i mange år, fra slaveri og trældom til diskrimination af kvinder.

Disse bekymringer er udtryk i små samfund informatik tidligere, er nu vinder alvorlig. I løbet af de seneste to år i dette område var der en hel del af publikationer om gennemsigtigheden af ​​kunstig intelligens. Med denne voksende bevidsthed og ansvarsfølelse. "Kan der være nogle ting, som vi ikke skal bygge det?" Spørger Kate Crawford, en forsker ved Microsoft og medstifter af AI Nu Insitute i New York.

"Maskine læring er endelig kommet i forgrunden. Nu forsøger vi at bruge det til hundredvis af forskellige opgaver i den virkelige verden, "siger Rich Caruana, Microsofts seniorforsker. "Det er muligt, at folk vil være i stand til at implementere ondsindede algoritmer, der væsentligt påvirker samfundet i det lange løb. Nu ser det ud, at lige pludselig indså, at det er et vigtigt kapitel i vores region. "

uautoriseret algoritme

Det er nødvendigt at åbne

Vi har brugt en algoritme, men den sorte boks problemet er uden fortilfælde. De første algoritmer er enkle og gennemsigtig. Mange af dem, vi bruger stadig - for eksempel for at vurdere kreditværdigheden. Med hver ny anvendelse i tilfælde indtræder regulering.

"Folk har brugt algoritmer til at vurdere kreditværdighed i årtier, men i disse områder var temmelig stærk løsning, der voksede i takt med brugen af ​​prædiktive algoritmer," siger Caruana. kontrolregler sikrer, at forudsigelsesalgoritmer give en forklaring på hver score: du er blevet nægtet, fordi du har for meget kredit eller lav indkomst.

På andre områder, såsom retssystemet og reklame, er der ingen regler, der forbyder brugen af ​​algoritmer kendte neproschityvaemyh. Du kan ikke vide, hvorfor du er blevet nægtet et lån eller ikke behøver at arbejde, fordi ingen tvinger ejeren til at forklare den algoritme, hvordan det fungerer. "Men vi ved, at da algoritmerne er uddannet på data fra den virkelige verden, skal de være forudindtaget - fordi den virkelige verden er forudindtaget," siger Caruana.

Tag for eksempel, sproget - en af ​​de mest oplagte kilder til bias. Når algoritmer er uddannet på den skrevne tekst, de dannede nogle associationer mellem de ord, der vises sammen oftere. For eksempel, de lærer, at "for en mand at være en computer programmør - det er det samme for en kvinde at være en husmor." Når denne algoritme vil opkræve for at finde den rigtige CV for programmøren, mest sandsynligt, at han vil vælge blandt kandidater af mænd. Sådanne problemer er relativt let at rette, men mange virksomheder vil det bare ikke gå. I stedet vil de gemme sig bag skjoldet sådanne uoverensstemmelser beskyttede oplysninger. Uden adgang til detaljerne i algoritmen, vil eksperterne i mange tilfælde ikke være i stand til at afgøre, om der partiskhed eller ej.

Da disse algoritmer er hemmelige og er uden for jurisdiktion myndigheder, at borgerne næsten umulige sagsøge skaberne af algoritmer. I 2016 landsretten afviste Wisconsin mandens anmodning om at overveje de indre funktioner af COMPAS. Manden, Eric Loomis, blev idømt seks års fængsel delvis fordi COMPAS anså det for "høj-risiko". Loomis siger, at hans ret til en retfærdig rettergang blev overtrådt afhængighed af dommere fra uigennemsigtig algoritme. Endelig ansøgning om undersøgelse af sagen i den amerikanske højesteret mislykkedes i juni 2017.

Men den hemmelighedsfulde selskab vil ikke bruge din frihed på ubestemt tid. I marts, vil EU vedtage en lov, der ville kræve, at selskaberne forklare muligheden for interesserede kunder, hvordan deres algoritmer arbejde og hvordan til at træffe beslutninger. USA har ikke en sådan lovgivning i værkerne.

Den sorte boks Forensics

Uanset om tilsynsorganer er involveret i alt dette, en kulturel skift i, hvordan man kan udvikle og implementere algoritmer, kan reducere forekomsten af ​​ikke-objektive algoritmer. Efterhånden som flere virksomheder og udviklere forpligter sig til at gøre deres algoritmer gennemsigtig og forklarlige, nogle håber, at virksomheder, der ikke, mister et godt ry i offentlighedens søgelys. Væksten i computerkraft har gjort det muligt at skabe algoritmer, der er både præcise og forståelige - dette tekniske problem udviklerne kunne ikke overvinde historisk. Nylige undersøgelser viser, at det er muligt at skabe forståelige modeller, der forudsiger en gentagelse af kriminelle fag så præcist som en sort boks kriminologer som COMPAS.

"Alt er klar - vi ved, hvordan man skaber modellen uden de sorte bokse," siger Cynthia Rudin, assisterende professor i datalogi og elektroteknik ved Duke University. "Men det er ikke så let at henlede folks opmærksomhed på dette arbejde. Hvis regeringsorganer ikke længere vil betale for den sorte boks model, ville det have hjulpet. Hvis dommerne nægter at bruge den sorte boks model for dommen, vil det også hjælpe. "

Andre arbejder på at komme op med måder at teste gyldigheden af ​​de algoritmer, hvilket skaber et system af checks and balances før algoritmen det vil blive frigivet til verden, ligesom bliver testet hver nyt lægemiddel.

"Lige nu er modellen lavet og indsat for hurtigt. Ikke udført tilstrækkelig kontrol før udgivelsen af ​​algoritmen i lyset, "siger Sarah Tan fra Cornell University.

Ideelt set bør udviklerne afskedige den kendte skævhed - for eksempel efter køn, alder og race - og køre interne simuleringer til at teste deres algoritmer for tilstedeværelsen af ​​andre problemer.

I mellemtiden før du når det punkt, hvor alle algoritmer er gennemtestet før frigivelse, der allerede er det muligt at afgøre, hvilke af dem vil lide af bias. I hans sidste værk, Tan, Caruana og deres kolleger beskriver en ny måde at forstå, hvad der kan ske under kølerhjelmen af ​​en sort boks algoritmer. Forskere har skabt en model, der simulerer algoritmen sorte boks, lære at vurdere risikoen for tilbagefald af COMPAS data. de også oprettet en anden model, der er uddannet i henhold til den virkelige verden, som viser, om den forventede tilbagefald forekom faktisk. Sammenligning af de to modeller har gjort det muligt for forskerne at vurdere nøjagtigheden af ​​den forudsagte score uden at analysere algoritme. Forskellene i resultaterne af de to modeller kan vise, hvordan variabler som race eller alder, kan være vigtigere i den ene eller anden måde model. Deres resultater viste, at COMPAS diskriminerer sorte mennesker.

Korrekt konstruerede algoritmer kan eliminere det mangeårige skævhed i strafferetsplejen, politiarbejde og mange andre områder i samfundet.