IA y Deepfakes: un dúo peligroso en las manos equivocadas

IA i Deepfakes: un duet perillós a les mans equivocades

15 juliol de 2024 Celia Catalán

El creixement emergent de la Intel·ligència Artificial ha permès transformar sectors clau com la medicina, l'economia, el sector energètic o el transport. Al panorama actual, la Intel·ligència Artificial té un potencial immens per construir una societat millor. No obstant això, la IA és una eina de doble tall tan poderosa que pot ser explotada per desenvolupar solucions que tanquin fins negatius o maliciosos.

En el pla de la ciberseguretat, la Intel·ligència Artificial ha permès l'evolució i la millora de tècniques d'enginyeria social, facilitant l'execució de campanyes de ciberatacs més eficaces i difícils de detectar.

En aquest context, s'han desenvolupat nous fraus impulsats per la IA, especialment pel que fa a la creació de deepfakes.

Què és el deepfake?

El terme deepfake és de la combinació del terme Deep Learning i fake. Així, aquest terme fa referència a la tècnica per la qual, emprant algoritmes d'Intel·ligència Artificial complexos com és el Deep Learning, es manipulen continguts de caràcter audiovisual i el donen d'un efecte altament realista. Aquesta característica implica que, sota la percepció convencional d'un humà, és molt complicat determinar si el contingut audiovisual que s'està consumint és veritat o fal·laç.

En aquest context, la tecnologia deepfake per a la suplantació d'identitat s'ha aconseguit expandir a totes les plataformes digitals ia l'àmbit de la comunicació personal, la indústria cinematogràfica, així com el sector corporatiu i governamental. Si bé obre oportunitats per a la creativitat i la innovació en la producció de contingut digital, també presenta riscos considerables per a la privadesa i la seguretat.

Encara que deepface i deepvoice no són termes àmpliament reconeguts dins del deepfake, podem explicar-los de manera separada per entendre les aplicacions dins del món de la ciberseguretat:

Deepfaces: Consisteixen a crear imatges amb un alt nivell de realisme des de zero, però sent completament fictícies.

Deepvoices: Aquesta tecnologia permet generar veus humanes sintètiques que sonen molt naturals a partir de text escrit. A més de generar una veu de zero, és possible falsificar la veu duna persona real entrenant la IA amb mostres de la veu real. Amb uns minuts d'àudio de la veu d'una persona, qualsevol usuari podria clonar la veu i comprometre'n la seguretat i la privadesa.

Casos reals de deepfake i atacs de IA

Alguns casos coneguts de deepfake o alteració i creació falsa d'imatges, àudios i vídeos són els següents:

Deepfake de Vladimir Putin i Donald Trump: El 2019, un vídeo deepfake que representava Vladimir Putin i Donald Trump va ser compartit en xarxes, on tots dos líders polítics semblaven discutir temes seriosos com el control d'armes i la política internacional. Aquest tipus de contingut subratlla com els deepfakes podrien ser utilitzats per desinformar i manipular opinions públiques.

Deepfake d'actors en pel·lícules pornogràfiques: Un dels usos més controvertits dels deepfakes ha estat la creació de vídeos pornogràfics falsos que mostren celebritats i persones públiques en escenes comprometedores, com va ser el cas d'Emma Watson, Rosalía o Taylor Swift. Aquest tipus de contingut ha provocat preocupacions legals i ètiques sobre la privadesa i el consentiment.

Deepfake de Barack Obama: El 2018, un vídeo deepfake de l'expresident dels Estats Units, Barack Obama, va ser creat per l'empresa Jordan Peele's Monkeypaw Productions. Al vídeo, Obama sembla estar fent declaracions inusuals i advertint sobre els perills dels deepfakes, cosa que es va fer per conscienciar sobre aquesta tecnologia i els seus possibles usos maliciosos. El vídeo està disponible a youtube al següent enllaç .

Un dels casos destacats de suplantació de veu és la del CEO d'una empresa britànica energètica el març del 2019. En aquest incident, els estafadors van utilitzar intel·ligència artificial per imitar la veu del CEO. Aquest alt directiu va rebre una trucada telefònica del seu suposat cap en què se li indicava que fes una transferència de 220.000€ a un compte bancari extern. El CEO va fer la transferència sense verificar la identitat del seu cap, atesa la credibilitat d'una trucada telefònica amb una veu tan realista.

Un pas més al deepfake…

Els avenços en la sofisticació dels deepfakes convencionals són tan substancials que, actualment, s'han aconseguit fer exercicis de deepfakes en el context d'una videotrucada, cosa que implica la capacitat d'alterar en temps real l'aparença i la veu d'un individu durant una trucada en viu.

Es planteja un problema més gran en aquesta situació, ja que la dificultat en la detecció d'aquest tipus d'estafes augmenta a gran escala. Tot i l'encara escassa conscienciació sobre aquest tipus d'exercicis de suplantació, és probable que atesos els mediàtics casos sobre deepfake en aquests darrers anys, un usuari a internet pugui desconfiar de vídeos o imatges que reflecteixin continguts inusuals, o que un alt càrrec directiu prengui una actitud més dubitativa davant d'una trucada del seu cap demanant, de nou, coses inusuals. No obstant això, els deepfakes en temps real suposen un gran repte actualment per la dificultat en la seva identificació. I tu … dubtaries de la identitat de la persona a qui estàs veient i escoltant l'altra banda de la pantalla en temps real?

Tot i això, aquesta tècnica encara compta amb petites falles relatives al moviment del cap i la perspectiva. Rotacions de cap al model de 90º o mans davant del rostre són algunes de les accions habituals d'una persona que els deepfakes encara no arriben a replicar de manera totalment realista. Per tant, mentre es desenvolupen i milloren les tècniques de detecció d'aquest tipus d'atacs, pot arribar a resultar útil per detectar deepfake demanar-li a la persona amb qui es realitza la trucada de vídeo que mou el cap o elevi el braç (encara que no és la solució més recomanable!!).

Deepfake disponible per a tothom

Un dels aspectes més preocupants del deepfake és la seva accessibilitat. Actualment hi ha multitud d'opcions de programari i aplicacions gratuïtes o amb un cost molt reduït que permeten als usuaris crear deepfakes amb relativa facilitat.

Hi ha plataformes, com https://thispersonnotexist.org/, que generen retrats de persones que, malgrat semblar imatges de persones reals, són completament falses.

Altres eines conegudes per a modificació de continguts visuals són myEdit o PowerDirector. Aquestes eines, sumades a clonadores de veus com Vidnoz, són la combinació perfecta per a ciberdelinqüents disposats a falsejar i suplantar identitats en àmbits digitals, però també governamentals.

Finalment, DeepFaceLive és una versió de deepfake en temps real del popular programari DeepFaceLab.

Mitjançant una simple cerca sobre recursos deepfake, es troben centenars de recursos en línia amb els quals crear nous muntatges i enganys fàcilment.

Una cosa més…

Dos anys enrere, una multinacional xinesa va patir un atac basat en la tecnologia deepfake en què es van defraudar 26 milions de dòlars.

Donada la repercussió mediàtica que va tenir aquest atac, i en la lluita per a la conscienciació de les amenaces digitals emergents, a Zerolynx es va tenir l'oportunitat de desenvolupar una prova de concepte sobre deepfake en videotrucades de Teams. Els linxs Javier Martín , Álvaro Caseiro i Daniel Rico , fent ús d'eines accessibles per qualsevol usuari d'internet, van fer un exercici de suplantació en un entorn segur i controlat com a campanya de conscienciació per a alts càrrecs d'una empresa executiva.

La suplantació al CEO en directe i durant una videotrucada és un esdeveniment que causa desconfiança a la plantilla davant d'esdeveniments sospitosos o inusuals com l'aprovació de noves factures, delegació de llocs de comandament o canvis en les dades de proveïdors o clients. Una junta en què s'espera la presència del CEO o no, és una bona oportunitat de posar a prova la conscienciació en seguretat dels alts càrrecs alhora que es forma tots els presents sobre els riscos que cada cop seran més habituals.

Alba Vara , analista de ciberseguretat a Zerolynx .

Tornar al bloc