RIESGOS DE LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL GENERATIVA Y EL REGLAMENTO DE INTELIGENCIA ARTIFICIAL EUROPEO

Autores/as

Palabras clave:

Inteligencia artificial generativa, riesgos, desinformación, seguridad, privacidad, ciberseguridad, transparencia, deep fakes, ultrasuplantaciones, riesgos sistémicos, ley de inteligencia artificial., Este trabajo se recibió el 11 de junio de 2024 y fue aceptado el 30 de julio.
Agencias de apoyo
Este trabajo forma parte del Proyecto de investigación “Nuevos avances en la legislación de transparencia en España: mejoras en la definición del marco regulatorio” (PID 2021-124724NB-100), del que es IP la profesora Ana de Marcos Fernández.

Resumen

La inteligencia artificial generativa permite la creación automática
de contenido “original” en diferentes formatos (texto, audio,
vídeo e imágenes). Un contenido que cada vez se acerca más
al creado por los humanos. La inteligencia artificial generativa
ofrece a la sociedad tantos beneficios como posibles riesgos.
Se analizarán algunos como la confusión, la desinformación, los
riesgos de los derechos de autor, a la seguridad, a la privacidad,
la ciberdelincuencia, al derecho al honor, la intimidad y la propia
imagen que pueden lesionarse con los deep fakes, la manipulación,
los riesgos en el mercado laboral, los psicológicos,
los sesgos… El nuevo Reglamento del Parlamento Europeo y del
Consejo por el que se establecen normas armonizadas en materia
de inteligencia artificial (Ley de Inteligencia Artificial) acoge
la inteligencia artificial generativa dentro de la inteligencia de
uso general, teniendo en cuenta la presencia, de posibles riesgos
sistémicos y la exigibilidad de la ciberseguridad. Se analizará
también la conexión de la inteligencia artificial generativa con
la prohibida y la de alto riesgo. El Reglamento muestra especial
preocupación ante las “ultrasuplantaciones”, deep fakes (donde
es difícil distinguir entre lo real y lo irreal), y el necesario conocimiento
de su origen artificial cuando las personas físicas interactúen
con ellas, con la correspondiente obligación de transparencia.
Todo ello, sin olvidar, la necesidad de hacer lo ético
jurídico y de la alfabetización.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

ABDULKABBER, T., “Funcionarios y famosos: así circuló la información

falsa en las elecciones nigerianas”, ijnet (red

internacional de periodistas), Lucha contra la desinformación,

13 de abril del 2023 ,https://ijnet.org/es/story/funcionarios-

y-famosos-as%C3%AD-circul%C3%B3-la-informaci%

C3%B3n-falsa-en-las-elecciones-nigerianas) (recuperado

el 3 de agosto del 2024).

AFP, “La fiscalía investiga si Meta vulnera la protección de datos

de sus usuarios”, El Mundo, Empresas, 4 de julio de 2024

(recuperado el 7 de julio del 2024).

ÁLVAREZ, P. y EGUILUZ, J. “El Reglamento de IA ante los deepfakes

de desnudos”, 2 de octubre del 2023, Cuatrecasas (https://

www.cuatrecasas.com/es/spain/propiedad-intelectual/art/

el-reglamento-de-ia-ante-los-deepfakes-de-desnudos) (recuperado

el 1 de mayo del 2024).

ANDRÉS, R., “La última tendencia para bordar las entrevistas de

trabajo: entrenar con ChatGPT como reclutador”, Xataca, 6

de marzo del 2024 (recuperado el 28 de julio del 2024).

ANNEMANS,R.,”Seguridad de la IA generativa: 8 riesgos que debes

conocer”. GlobalSing by GMO, 4 de diciembre del 2023

https://www.globalsign.com/es/blog/8-riesgos-de-seguridad-

de-la-inteligencia-artificial-generativa (recuperado el 10

de mayo del 2024).

BANDARA, P., “Elon Musk compartió un vídeo engañoso de inteligencia

artificial de la vicepresidenta Kamala Harris en X”, PetaPixel,

29 de julio del 2024 (https://petapixel-com.translate.

goog/2024/07/29/elon-musk-shared-misleading-ai-video-ofkamala-

harris-on-x-twitter-deepfake-election-presidentialusa/?_

x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=sc)

(recuperado el 3 de agosto del 2024).

BARRIO ANDRÉS, M., “Algunos claroscuros en el Reglamento Europeo

de Inteligencia Artificial”, Diario La Ley, nº 86. Sección

Ciberderecho, 30 de julio de 2024.

BENDITO CAÑIZARES, M.T, “Estadio intermedio de reflexión para

una futura regulación de la ética en el espacio digital europeo:

los principios de transparencia y accountability”, Revista

Aranzadi de Derecho y Nuevas Tecnologías, núm 55/2021, BIB

2021/1465.

BORRACHERO GARRO, A. “Los retos de la tecnología en la publicidad:

la campaña de Lola Flores”, coordinador: ORTEGA

BURGOS, E., Propiedad intelectual, 2022, Documento

TOL9.141.406.

CALDERÓN C.,“Elecciones México 2024: Deep fakes y fake

news ganan en las votaciones”, El financiero, 4 de junio del

2024,https://www.elfinanciero.com.mx/elecciones-mexico-

2024/2024/06/04/deep-fakes-y-fake-news-marcaron-elescenario-

electoral/ (recuperado el 3 de agosto del 2024).

CASTILLO RAMOS-BOSSINI, S.E., “Regulación europea de la inteligencia

artificial”, Nuevas fórmulas de prestación de servicios

en la era digital, dirección Juan Francisco Pérez Gálvez, Dyinson,

2023.

DAVID, DemoCreator, “Los 10 mejores generadores de música IA

gratis en 2024”, 13 de marzo de 2024 (https://dc.wondershare.

es/ai-voice/top-free-ai-music-generators.html) (recuperado

el 7 de mayo del 2024).

DEL CASTILLO, C., “Los creadores del canon AEDE quieren una

“tasa ChatGPT” para la inteligencia artificial, el Diario.es, 3

de mayo del 2023, (https://www.eldiario.es/tecnologia/creadores-

canon-aede-quieren-tasa-chatgpt-inteligencia-artificial_

1_10171676.html), (recuperado el 20 de mayo del 2024).

DURAN, I., “Taylor Swift y sus desnudos hechos con IA: CEO de

Microsoft dice “hay que actuar ya” ante los deepfakes, Infobae, 29 de enero del 2024, https://www.infobae.com/tecno/

2024/01/27/taylor-swift-y-sus-desnudos-hechos-ia-ceode-

microsoft-dice-hay-que-actuar-ya-ante-los-deepfakes/

(rescatado el 3 de agosto del 2024).

ESPUGA TORNÉ, G. “Cómo identificar contenido generado por

IA” Linkedin, junio, 2024 (recuperado el 10 de julio del 2024).

FIGUEROA, J.C., “Crear una sola imagen con inteligencia artificial

consume tanta energía como cargar tu teléfono”, Hipertextual,

Tecnología, 12 de diciembre de 2023 (https://

hipertextual.com/2023/12/crear-imagen-con-inteligencia-

artificial-consume-esta-energia) (recuperado el 20 de

abril del 2024).

FERNÁNDEZ HERNÁNDEZ, C. y EGUILUZ CASTAÑEIRA, J., “Diez

puntos críticos del Reglamento europeo de Inteligencia Artificial”,

Diario LA LEY, Sección Ciberderecho, nº 85, 28 de junio

de 2024.

FRANGANILLO, J., “La inteligencia artificial generativa y su impacto

en la creación de contenidos mediáticos”, methaodos.

revista de ciencias sociales (2023) 11(2) m231102a1010.17502/

mrcs.v11i2.710.

GAMERO CASADO, E. “El enfoque europeo de la Inteligencia Artificial”,

Revista de Derecho administrativo, nº 20, 2021, págs.268

y ss.

GARAY, J., Wired, 19 de mayo del 2023, “El G 7 promete regular

las IA generativas antes de que termine el 2023”(https://

es.wired.com/articulos/g7-promete-regular-las-ia-generativas-

antes-de-que-termine-el-2023).

GARCÍA MEXÍA, P. “Europa ante el reto de la inteligencia artificial”,-

The objective, 3 de agosto del 2024, (https://theobjective.

com/tecnologia/2024-08-03/europa-ante-el-reto-de-la-inteligencia-

artificial/) (recuperado el 5 de agosto del 2024).

GOLDMAN SACHS, Principales riesgos que entraña la inteligencia

artificial generativa: enumeración, fundspeople, (https://

fundspeople.com/es/principales-riesgos-que-entrana-la-inteligencia-

artificial-generativa/), 26 de abril de 2023 (rescatada

en 20 de abril del 2024).

HOLCOMBE, J., “Las 9 Mejores Herramientas de Detección de

Contenidos con IA que Tienes que Conocer”, Kinsta, 5 de

abril del 2023 https://kinsta.com/es/blog/deteccion-de-contenidos-

ia/ (recuperada el 6 de julio del 2024).

JARQUES, A., “El futuro Reglamento Europeo de Inteligencia Artificial”,

Actualidad Jurídica Aranzadi, nº1003, 2023, Editorial

Aranzadi, (BIB 2024/278) (rescatada en 27 de mayo del 2024).

KLEINMAN, Z., El tiempo, novedades tecnológicas, “Las seis nuevas

funciones de la última versión de ChatGPT: es capaz de coquetear

y detectar emociones” ,15 de mayo del 2024, (https://www.

eltiempo.com/tecnosfera/novedades-tecnologia/6-nuevas-

funciones-de-la-ultima-version-de-chatgpt-que-es-capaz-

de-coquetear-y-detectar-emociones-y-las-fallas-que-cometio-

3342771) (recuperado el 30 de mayo del 2024).

LALCHAND, S. et al. (Centro de Servicios Financieros de Deloitte),

“Se espera que la IA generativa aumente el riesgo de deepfakes

y otros fraudes de la banca”, Deloitte, Servicios Financieros,

29 de mayo del 2024, https://www2.deloitte.com/

us/en/insights/industry/financial-services/financial-services-

industry-predictions/2024/deepfake-banking-fraudrisk-

on-the-rise.html)) (recuperado el 2 de agosto del 2024).

LINDSAY, J. M., “Elecciones 2024: La amenaza falsa a las elecciones

del 2024”, Council on Foreign Relations, 2 de febrero, 2024,

https://www.cfr.org/blog/election-2024-deepfake-threat-

2024-election (recuperado el 3 de agosto del 2024).

LUCIO LÓPEZ, L.A., “Deep fake porn, la inteligencia artificial da

nueva cara al ciberacoso escolar”, Ciem, 2024.

MARTÍNEZ ESPÍN, P., “La propuesta de marco regulador de

los sistemas de inteligencia artificial en el mercado de la

UE”, Revista CESCO de Derecho de Consumo, nº46/2023(doi.

org/10.18239/RDC_2023.46.3322).

MCMAHON, L., BBC News, 20 de mayo de 2024, “Cuando la escuché

me quedé en shock”: por qué el programa de IA ChatGPT

dejará de usar la voz que se parece a la de Scarlett Johanson,

https://www.bbc.com/mundo/articles/cprrzn8g2wqo.) (recuperado

el 30 de mayo del 2024).

MEAKER, M., “Deepfakes en elecciones de Eslovaquia rearfiman

que IA es un peligro para la democracia”, Wired, negocios, 3

de octubre del 2023 https://es.wired.com/articulos/deepfakes-

en-elecciones-de-eslovaquia-reafirman-que-ia-es-peligro-

para-democracia) (recuperado el día 2 de agosto del 2024).

MEIJOMIL, S., Inboundcycle, “6 generadores de imágenes con IA

que no puedes perderte, 8 de noviembre del 2023, (https://

www.inboundcycle.com/blog-de-inbound-marketing/generadores-

de-imagenes-con-ia).

MICROSOFT SECURITY, IA generativa, La ventaja de los defensores,

Linkedln, Microsoft (recuperado en 6 de mayo de 2024).

MORAN, I., Photolari, 2 de mayo, 2024, “20.000 euros por la imagen

IA que engañó al jurado de los Sony Wordl Photography

Awards el año pasado” (https://www.photolari.com/20-000-

euros-por-la-imagen-ia-que-engano-al-jurado-de-los-sonyworld-

photography-awards-el-ano-pasado/) (recuperado el

20 de mayo del 2024).

MUÑOZ VELA, J. M, “Inteligencia artificial generativa. Desafíos para

la propiedad intelectual”, Revista de Derecho UNED, núm.33,

2024, Premio de artículos jurídicos “García Goyena”, 22ª convocatoria

(curso 2022-2023), Facultad de Derecho. UNED.

MUÑOZ VELA, J.M, Retos, riesgos, responsabilidad y regulación de

la inteligencia artificial. Un enfoque de seguridad física, lógica,

moral y jurídica, Thomson Reuters- Aranzadi, Pamplona, 2022.

NIGHTINGALE, S.J, y FARID, H., “Los rostros sintetizados por

IA son indistinguibles de los rostros reales y más confiables”

Proc Natl Acad Sci US A. 2022 22 de febrero; 119(8):

e2120481119. Publicado en línea el 14 de febrero de 2022.

doi: 10.1073/pnas.2120481119 (recuperado el 28 de mayo).

PASCUAL, M.G.,Meta no ofrecerá sus nuevos modelos de IA generativa

en Europa por su “impredicible entorno regulatorio”,

El Pais, Tecnología, 18 de julio de 2024 (recuperado el 19

de julio del 2024).

PLAZA PENADÉS, J., Dossier, “Las claves de la futura Ley de Inteligencia

Artificial Europea”, Aranzadi La Ley, Navarra, mayo,

2023.

PUERTO MENDOZA, A., Derecho digital. Fundamentos básicos,

Ediciones CEF.,2019.

PUFPAFF, M. “¿La tecnología como fuerza para el bien? ¿Cómo se

está utilizando la inteligencia artificial para prevenir los suicidios

en China?”, Razón y fe, Tomo 282, nº1447, 2020, págs.205

y ss.

RAA J., “Meta detiene su proyecto para entrenar a la IA con publicaciones

de Facebook e Instagram en Europa”, Tecnología, El

País, 14 de junio de 2024 (recuperado el 1 de julio del 2024).

SÁNCHEZ, L., “Escrivá advierte que la estrategia de IA necesita

de entornos seguros y anuncia una nueva ley integral de ciberseguridad”,

Economist & Jurist, 7 de junio del 2024 (recuperado

en 20 de julio del 2024).

SINCLA, A et al.“ El estado de la IA a principios de 2024: la adopción

de la IA generativa aumenta y comienza a generar valor”,

McKinsey& Company, 30 de mayo de 2024, (https://www.

mckinsey.com/locations/south-america/latam/hispanoamerica-

en-potencia/el-estado-de-la-ia-a-principios-de-2024-laadopcion-

de-la-ia-generativa-aumenta-y-comienza-a-generar-

valor/es-CL) ( recuperado el 2 de agosto de 2024).

SOTO ARAMENDARIZ, S “Primer suicidio inducido por inteligencia

artificial: algo que temer”, 4 de abril de 2023 (https://observatorioblockchain.

com/ia/primer-suicidio-inducido-por-inteligencia

-artificial-algo-que-temer) (recuperado el 28 de mayo del 2024).

SUÁREZ JAQUET, H. et HINOJAL CUADRADO, E. “El uso del deepfake

en producciones audiovisuales: consideraciones jurídicas”,

coordinador: ORTEGA BURGOS, E., Propiedad intelectual,

2022, Documento TOL9.141.396

TENBARGE, K.,“Taylor Swift, deepfakes en X describe falsamente

que apoya a Trump”, NBC NEWS, 8 de febrero del 2024,

https://www.nbcnews.com/tech/internet/taylor-swift-deepfake-

x-falsely-depict-supporting-trump-grammys-flag-rcna137620

(recuperado el 3 de agosto del 2024).

VALERO, A., “Deepfakes Porn y violencia contra las mujeres”, Fundación

Cañada Blanch, 4 de junio de 2024, https://www.fundacioncanadablanch.

org/noticias/deepfakes-porn-y-violencia-

contra-las-mujeres/ (recuperado el 2 de agosto del 2024).

VIDAL. M, en Linkedln, noticia, (Fuente: https://www.nytimes.

com/2024/05/28/technology/ai-chief-executives.html) (recuperado

el 7 de junio de 2024).

VIGARIO, D.,“Un año de libertad vigilada para los 15 jóvenes que

manipularon y difundieron imágenes con IA de menores

desnudas en Almendralejo”, El mundo, 9 de julio de 2024

(recuperado en 1 de agosto del 2024).

WIKIPEDIA, Greemlins, https://es.wikipedia.org/wiki/Gremlins (recuperado

el 1 de mayo del 2024).

“Las empresas de inteligencia artificial ofrecen ya el servicio

de recrear a seres queridos fallecidos e interactuar con

ellos”, 20 minutos, 20 bits, 3 de diciembre del 2023, (https://

www.20minutos.es/tecnologia/empresas-inteligencia-artificial-

ofrecen-servicio-recrear-seres-queridos-fallecidos-interactuar-

con-ellos-5195903/) (recuperado el 1 de junio del 2024).

“Las obras creadas “exclusivamente” con Inteligencia Artificial

no podrán ganar un Premio Nacional de Cultura” El Periódico

de España, Cultura, noticias efe, 19 de febrero de 2024

(https://www.epe.es/es/cultura/20240219/obras-creadas-exclusivamente-

inteligencia-artificial-codigo-buenas-practicas-

ministerio-cultura-98374508) (recuperado el 13 de mayo

del 2024).

“Marilyn conoce a James Bond en la película Deepfake del artista”,

El informe de Marilyn, 5 de marzo de 2024, “https://

themarilynreport-com.translate.goog/2024/03/05/marilynmeets-

james-bond-in-artists-deepfake-movie/?_x_tr_sl=en&_

x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=sc (recuperado el 2 de agosto

del 2024).

“El Comisionado de Hamburgo para la protección de Datos y

la Libertad de Información pública en documento en el que

se analiza los grandes Modelos de Lenguaje desde el punto

de vista de la protección de datos, Boletín de julio del 2024”,

Lks, noticias, (https://www.lksnext.com/es/noticias_boletin/

el-comisionado-de-hamburgo-para-la-proteccion-de-datos-

y-la-libertad-de-informacion-publica-un-documento-

en-el-que-analiza-los-grandes-modelos-de-lenguaje-desde-

el-punto-de-vista-de-la-proteccion-de-d/) (recuperado el 2

de agosto del 2024).

Descargas

Publicado

2025-02-28

Cómo citar

Jiménez Linares, M. J. (2025). RIESGOS DE LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL GENERATIVA Y EL REGLAMENTO DE INTELIGENCIA ARTIFICIAL EUROPEO. Revista De Privacidad Y Derecho Digital, 9(34), 236–315. Recuperado a partir de https://revista.proeditio.com/rpdd/article/view/7861