Algoritmul prevenire sinuciderii Facebook AI: Facebook Suicide Algorithm Prediction: Iată cum compania folosește AI pentru a evalua sănătatea mentală din mesajele tale.

În martie 2017, Facebook a lansat un proiect ambițios pentru prevenirea sinuciderilor prin intermediul inteligenței artificiale.

După o serie de sinucideri vii pe platformă, efortul de a utiliza un algoritm pentru a detecta potențialele semne de auto-vătămare a fost menit să abordeze proactiv o problemă gravă.

Algoritmul prevenire sinuciderii Facebook AI

Dar mai bine de un an mai târziu, în urma unei serii de scandaluri privind confidențialitatea care implică utilizarea datelor, Facebook a decis să creeze și să stocheze date despre sănătatea mintală a utilizatorilor săi care pot face același lucru. subiect al unei acțiuni fără consimțământul acestuia din urmă. Această decizie i-a determinat pe mulți experți în confidențialitate să se întrebe dacă Facebook poate fi de încredere să înregistreze constatările cu privire la cele mai intime detalii ale vieții sale.

Algoritmul se referă la aproape toate postările și postările Facebook, notând fiecare conținut pe o scară de la zero la unu, cu unul care exprimă cea mai mare probabilitate de „prejudiciu iminent”, potrivit unui reprezentant Facebook.

Numai acest proces de creare a datelor provoacă îngrijorare pentru Natasha Duarte, analist de politici la Centrul pentru Democrație și Tehnologie.

„Cred că ar trebui să fie considerate informații de sănătate sensibile”, a spus ea. "Oricine colectează acest tip de informații sau face acest tip de inferențe cu privire la oameni ar trebui să-l considere ca informații sensibile pentru sănătate și să le trateze ca atare."

Legile privind protecția datelor care guvernează informațiile de sănătate din Statele Unite nu se aplică în prezent datelor create de algoritmul de idei suicid pe Facebook, potrivit Natasha Duarte. În Statele Unite, informațiile despre sănătatea unei persoane sunt protejate prin Legea privind portabilitatea și responsabilitatea asigurărilor de sănătate (HIPAA), care impune protecții private de confidențialitate, inclusiv restricții de criptare și partajare, atunci când se gestionează documentele medicale. Dar aceste reguli se aplică numai organizațiilor care furnizează servicii de asistență medicală, cum ar fi spitale și companii de asigurări.

Companii precum Facebook care obțin starea de sănătate mintală a unei persoane din surse de date non-medicale nu sunt supuse acelorași cerințe de confidențialitate. Și potrivit Facebook, ei știu la fel de mult și nu clasifică informațiile pe care le furnizează drept așa-numite informații sensibile.

Facebook nu a fost transparentă cu privire la protocoalele de confidențialitate din jurul bazelor de date despre sinucideri pe care compania le creează. Un reprezentant Facebook a declarat pentru Business Insider că rezultatele riscului de sinucidere considerate prea scăzute pentru a fi examinate sau indexate au fost stocate timp de 30 de zile înainte de a fi șterse, dar că Facebook nu-i păsa de cât timp și în ce formă au fost stocate datele privind scorurile de risc suicid mai mari și intervenții ulterioare.

Facebook nu ar spune de ce datele sunt păstrate dacă nu există nicio escaladare.

Potrivit experților în confidențialitate, riscurile stocării unor astfel de informații sensibile sunt mari, fără protecție sau anticipație reală.

Cel mai evident risc este sensibilitatea informațiilor la o scurgere de date.

Algoritmul de prevenire a sinuciderilor Facebook AI AI: „Nu este o întrebare dacă vor fi hacked, ci se știe când”, a spus Matthew Erickson, de la Grupul de protecție a confidențialității consumatorilor, Digital Privacy Alliance.

În septembrie, Facebook a dezvăluit că o scurgere de date la scară largă a avut profiluri de aproximativ 30 de milioane de oameni. Pentru 400.000 dintre ei, mesaje și fotografii au fost deschise. Facebook nu a dorit să comenteze faptul că datele algoritmului său de recunoaștere a mesajelor suicidare au făcut deja obiectul unei scurgeri de date sau nu.

După publicarea publică a datelor de la hacking-urile Ashley Madison, un site de întâlniri pentru persoanele căsătorite, riscul de a păstra astfel de informații sensibile este clar, potrivit Erickson: „Putem consulta informații despre sănătatea dvs.? ? "

Dr. Dan Reidenberg, un cunoscut expert în domeniul prevenirii sinuciderii, care a ajutat Facebook să lanseze programul său, a recunoscut riscurile menținerii și creării unor astfel de date, afirmând: „Alegeți o companie care nu a existat scurgeri de date”.

Dar Reidenberg explică că pericolul stă mai mult în stigmatizarea problemelor de sănătate mintală. Reidenberg susține că Legea americanilor cu dizabilități interzice discriminarea împotriva bolilor mintale, ceea ce ar putea duce la cele mai grave consecințe în instanță.

Cine are acces la informații de sănătate mintală pe Facebook

După ce un mesaj este identificat ca potențial risc de suicid, acesta este trimis echipei de moderatori de conținut Facebook. Facebook nu a dorit să intre în detalii despre instruirea pe care o primesc moderatorii în privința sinuciderii, dar a insistat să fie instruiți pentru a controla cu precizie publicațiile vizate de riscurile potențiale de sinucidere.

Într-un articol din Wall Street Journal despre mii de moderatori de conținut Facebook din 2017, aceștia au fost descriși ca fiind în mare parte contractanți cu cifră de afaceri mare, cu o mică pregătire în gestionarea conținutului perturbator. Facebook raportează că prima echipă de moderare este instruită cu privire la „conținutul potențial legat de sinucidere, mutilări și tulburări alimentare” și „identificarea unei potențiale amenințări de sinucidere credibilă și iminentă”. experți sinucigași.

Facebook a spus că în acest prim pas, numele nu sunt atașate publicațiilor revizuite, dar Duarte a spus că faptul că publicațiile de pe rețelele sociale nu identifică autorii mesajelor ar putea fi dificil.

„Este foarte greu să nu identificați publicațiile legate de oameni, în contextul unui mesaj postat pe rețelele de socializare poate exista mult context, cine dezvăluie cine sunt, chiar dacă numele lor nu este scris”, a declarat ea.

Dacă un mesaj a fost semnalat de un prim moderator ca conținând informații despre riscuri iminente, acesta este transmis către o echipă cu un timp de răspuns mai rapid, potrivit Facebook, care a spus că personalul specializat are un bilanț care variază de la aplicarea legii în viol și apel de sinucidere. experimente de centru.

Acești angajați cu mai multă experiență au mai mult acces la informații despre persoana al cărei mesaj îl examinează.

"Am încurajat Facebook să se uite la profilurile lor pentru a vedea dacă ar putea să-l pună în context", a spus Reidenberg, subliniind că contextualizarea a fost, deocamdată, una dintre singurele modalități de a determina cu exactitate riscul. "Singura modalitate de a obține este dacă ne uităm la o parte din istoria lor și la unele activități ale acestora."

Odată analizate, pot avea loc două acțiuni de sensibilizare. Moderatorii pot trimite utilizatorilor informații despre resursele care se ocupă de prevenirea sinuciderii sau pot contacta camera de urgență.

„În ultimul an, am ajutat specialiștii în îngrijiri de urgență să ajungă rapid la aproximativ 3.500 de persoane din întreaga lume care au nevoie de ajutor”, a declarat CEO-ul Facebook, Mark Zuckerberg. a acestei inițiative.

Potrivit Duarte, divulgarea de către Facebook a informațiilor despre utilizatori către poliție reprezintă cel mai mare risc de confidențialitate al programului.

"În opinia mea, cel mai mare risc este un potențial fals pozitiv care duce la un contact inutil cu poliția", a spus ea.

Facebook a evidențiat multe intervenții de succes din parteneriatul său de aplicare a legii, dar într-un articol recent publicat în New York Times, un incident raportat de poliție a determinat o persoană care a spus că nu se sinucide. Poliția a dus încă persoana la spital pentru a-i evalua starea de sănătate mintală. Într-un alt caz, poliția a publicat informații personale despre o persoană al cărei risc de comportament suicid a fost raportat de Facebook la New York Times.

Facebook folosește algoritmul de sinucidere pentru a analiza publicațiile în engleză, spaniolă, portugheză și arabă, dar nu și publicațiile UE.

Perspectiva utilizării algoritmului în UE a fost stopată datorită protecțiilor speciale de confidențialitate oferite de Regulamentul general privind protecția datelor (GRPD), care impune utilizatorilor să își acorde consimțământul asupra site-urilor web. cum ar fi cele legate de sănătatea lor mentală.

În Statele Unite, Facebook își vede programul ca pe o problemă de responsabilitate.

Reidenberg a descris sacrificarea vieții private ca un fenomen cu care profesioniștii din domeniul sănătății se confruntă în mod regulat.

"Profesioniștii din domeniul sănătății iau o decizie crucială în afaceri dacă utilizatorii prezintă un risc și apoi inițiază îngrijirea", a spus Reidenberg. "Companiile tehnologice, inclusiv Facebook, nu sunt diferite de cele care trebuie să decidă dacă trebuie să mobilizeze sau nu poliția pentru a salva pe cineva."

Dar Duarte a spus că există o diferență critică între profesioniștii de urgență și companiile tehnologice.

„Aceasta este una dintre marile lacune pe care le avem în ceea ce privește protecția vieții private în Statele Unite, adică sector după sector, există o mulțime de informații despre sănătate sau pseudo-sănătate care se încadrează în companiile care nu sunt acoperite de Legea HIPAA. , și există, de asemenea, informații cu privire la problemele de sănătate care sunt folosite pentru a face inferențe sau determinări asupra sănătății care nu sunt tratate în prezent cu sensibilitatea dorită de noi ”.

Experții în confidențialitate au convenit că o versiune mai bună a programului Facebook i-ar obliga pe utilizatori să adere afirmativ sau, cel puțin, să le ofere o modalitate de a renunța la program, dar niciuna dintre aceste opțiuni nu este disponibilă în prezent.

Emily Cain, reprezentant Facebook responsabil de comunicare, a declarat: „Folosind Facebook, decideți să analizați mesajele, comentariile și videoclipurile dvs. (inclusiv FB Live) pentru a determina dacă există riscul de sinucidere”.

Facebook AI Algoritmul de prevenire a sinuciderii: Experții sunt de acord că algoritmul de sinucidere este potențial pozitiv

Majoritatea experților în domeniul confidențialității și sănătății publice, despre care Business Insider a vorbit în contextul acestui articol, au convenit că algoritmul Facebook este potențial pozitiv.

Potrivit Organizației Mondiale a Sănătății, aproape 800.000 de persoane se sinucid în fiecare an, afectând în mod disproporționat adolescenții și populațiile vulnerabile, cum ar fi persoanele LGBT și popoarele indigene.

Facebook a spus că în calculele lor, riscul invaziei vieții private a meritat.

"Când vine vorba de eforturi de prevenire a sinuciderii, ne străduim să echilibrăm confidențialitatea și siguranța oamenilor", a spus compania într-un comunicat. „Deși eforturile noastre nu sunt perfecte, am decis să acordăm resurse persoanelor care au nevoie de ajutor cât mai curând posibil și înțelegem că aceasta este o problemă sensibilă, așa că am pus în aplicare o serie de protecții de confidențialitate”.

Kyle McGregor, director al Departamentului de etică pentru sănătatea mintală pediatrică, la Școala de Medicină a Universității din New York, a declarat: „Nevoia de a se sinucide, în special în rândul adolescenților, este o problemă care poate fi rezolvată și, în calitate de adulți, avem responsabilitatea de a ne asigura ca copiii să poată depăși acest calvar. Dacă avem capacitatea de a preveni unul sau două mai multe sinucideri într-un mod precis și eficient, merită ".