Foreldreveiledning: "kunstig intelligens" pleide å rangere barnevakt basert på deres sosiale medier historie
Da Jessie Battaglia begynte å lete etter en ny barnevakt for sin en år gamle sønn, ønsket hun mer informasjon enn hun kunne få fra en kriminell bakgrunnskontroll, foreldre kommentarer og et ansikt til ansikt-intervju.
Så hun snudde seg til Predictim, en online-tjeneste som bruker "avansert kunstig intelligens" for å vurdere en barnevakt personlighet, og målrettet sin skannere på en kandidat tusenvis av Facebook, Twitter og Instagram innlegg.
Systemet tilbød en automatisert "risikovurdering" av en 24-årig kandidat, og sa at hun hadde en "veldig lav risiko" for å være en stoffmisbrukere. Men det ga en litt høyere risikovurdering - en to av fem - for mobbing, trakassering, å være "respektløs" og ha en "dårlig holdning".
Systemet forklarte ikke hvorfor det hadde truffet den beslutningen. Men Battaglia, som hadde trodd sitteren, var troverdig, følte plutselig tvil om tvil.
"Sosiale medier viser personens karakter, " sa Battaglia, 29, som bor i nærheten av Los Angeles. "Så hvorfor kom hun inn på en to og ikke en?"
Predictim tilbyr foreldre samme leksebok som mange andre tekniske firmaer selger til arbeidsgivere over hele verden: kunstige intelligenssystemer som analyserer en persons tale, ansiktsuttrykk og online historie med løfter om å avsløre de skjulte aspektene i deres privatliv.
Teknologien er omforming av hvordan noen selskaper nærmer seg rekruttering, ansettelse og gjennomgang av arbeidstakere, og gir arbeidsgivere en uovertruffen titt på jobbkandidater gjennom en ny bølge av invasiv psykologisk vurdering og overvåking.
Teknikfirmaet Fama sier at det bruker AI til politiets arbeidstakeres sosiale medier for "giftig oppførsel" og varsle sine sjefer. Og rekrutteringsteknologiselskapet HireVue, som samarbeider med selskaper som Geico, Hilton og Unilever, tilbyr et system som automatisk analyserer søkeres tone, ordvalg og ansiktsbevegelser under videointervjuer for å forutsi deres ferdigheter og oppmuntring på jobben. (Kandidater oppfordres til å smile for best resultat.)
Men kritikere sier Predictim og lignende systemer presenterer sine egne farer ved å gjøre automatiserte og muligens livsendrende beslutninger nesten ukontrollerte.
Systemene er avhengige av svartboksalgoritmer som gir liten detalj om hvordan de reduserte kompleksiteten til en persons indre liv til en beregning av dyd eller skade. Og til og med som Predictims teknologi påvirker foreldrenes tenkning, forblir det helt uprøvd, stort sett uforklarlig og sårbar for stille forstyrrelser over hvordan en passende barnevakt skal dele, se og snakke.
Det er denne "gale rushen til å gripe kraften til AI for å gjøre alle slags beslutninger uten å sikre at det er ansvarlig for mennesker, " sa Jeff Chester, administrerende direktør for Center for Digital Democracy, en teknisk advokatgruppe. "Det er som om folk har drukket den digitale Kool-Aid, og tror dette er en hensiktsmessig måte å styre våre liv på."
Predictims skanner analyserer hele historien til en barnevakt sosialt media, som for mange av de yngste sitterne kan dekke mesteparten av livet. Og sitterne blir fortalt at de vil ha stor ulempe for de konkurransedyktige jobbene hvis de nekter.
Predictim sjef og medstifter Sal Parsa sa at selskapet, som ble lansert i måneden som en del av University of California i Berkeleys SkyDeck tech-inkubator, tar etiske spørsmål om bruken av teknologien på alvor. Foreldre, sa han, bør se rangeringene som en følgesvenn som "kan eller ikke reflekterer sitterens faktiske egenskaper".
Men faren for å ansette en problematisk eller voldelig barnevakt, la han til, gjør AI til et nødvendig verktøy for alle foreldre som håper å holde barnet sitt trygt.
"Hvis du søker etter voldsomme barnevakt på Google, vil du se hundrevis av resultater akkurat nå, " sa han. "Det er folk der ute som enten har psykiske lidelser eller bare er født onde. Vårt mål er å gjøre alt vi kan for å stoppe dem."
En Prediktim-skanning starter på 24, 99 dollar og krever en barnevaktens navn og e-postadresse og hennes samtykke til å dele bred tilgang til hennes sosiale medier-kontoer. Barnevakt kan avvise, men en forelder blir varslet om hennes avslag, og i en e-post blir barnevakt fortalt at "interessert foreldre vil ikke kunne ansette deg før du fullfører denne forespørselen."
Predictims ledere sier at de bruker språkbehandlingsalgoritmer og en bildegjenkjenningsprogramvare kjent som "computersyn" for å vurdere barnevakternes Facebook, Twitter og Instagram innlegg for ledetråder om deres offline liv. Foreldre er gitt utelukkende rapporten og trenger ikke å fortelle sitter resultatene.
Foreldre kan formentlig se på sitterens offentlige sosiale medier selv. Men de dataregistrerte rapportene lover en grundig inspeksjon av års onlineaktivitet, kokt ned til et enkelt siffer: en berusende enkelt løsning på en upraktisk oppgave.
Risikovurderinger er delt inn i flere kategorier, inkludert eksplisitt innhold og narkotikamisbruk. Oppstarten har også annonsert at systemet kan evaluere barnevakt på andre personlighetstrekk, for eksempel høflighet, evne til å jobbe med andre og "positivitet".
Selskapet håper å øke multibillion-dollar "foreldre outsourcing" industrien og har begynt å annonsere gjennom betalte sponsorater av foreldre og "mumie" blogger. Selskapets markedsføring fokuserer sterkt på evnen til å avsløre skjulte hemmeligheter og forhindre «hver mors mardrøm», og citerer kriminelle saker, inkludert en Kentucky barnevakt som ble belastet tidligere i år, med alvorlig skade på en åtte måneder gammel jente.
"Hadde foreldrene til den lille jenta som ble skadet av denne barnevakt vært i stand til å bruke Predictim som en del av deres vettingprosess, sier et selskaps markedsføringsdokument, " de ville aldri ha forlatt henne alene med sitt dyrebare barn. "
Men tekniske eksperter sier at systemet øker sine egne egne røde flagger, inkludert bekymringer for at det er preying på foreldrenes frykt for å selge personlighetsskanninger av uprøvd nøyaktighet.
De spørsmåler også hvordan systemene blir trent og hvor sårbare de kan være for å misforstå de uskarpe betydningen av sitters sosiale medier bruk. For alle, men høyrisikoskannene, blir foreldrene bare gitt et forslag om tvilsom oppførsel og ingen spesifikke setninger, lenker eller detaljer for å vurdere på egen hånd.
Når en barnevakt skannet ble flagget for mulig mobbing, opplevde den ubemerkede moren som ba om det, at hun ikke kunne fortelle om programvaren hadde sett et gammelt filmtekst, sangtekst eller annen frase i motsetning til faktisk mobbingspråk.
Men Predictim sier likevel at det gir seg til en landsdekkende ekspansjon. Ledere på Sittercity, en online barnevakt markedsplass besøkt av millioner av foreldre, sa at de lanserer et pilotprogram tidlig neste år som vil brette seg i Predictims automatiserte karakterer inn i nettstedets nåværende utvalg av sitter screenings og bakgrunnskontroller.
"Å finne en sitter kan komme med stor usikkerhet, " sier Sandra Dainora, Sittercitys produktleder, som mener at verktøy som disse snart kan bli "standard valuta" for å finne omsorgspersoner på nettet. "Foreldre søker alltid den beste løsningen, mest forskning, de beste fakta."
The Washington Post