Risks of generative artificial intelligence systems and the European Artificial Intelligence Regulation

Authors

Keywords:

Generative artificial intelligence, risks, disinformation, security, privacy, cybersecurity, transparency, deep fakes, ultra spoofing, systemic risks, artificial intelligence law.
Supporting Agencies
Este trabajo forma parte del Proyecto de investigación “Nuevos avances en la legislación de transparencia en España: mejoras en la definición del marco regulatorio” (PID 2021-124724NB-100), del que es IP la profesora Ana de Marcos Fernández.

Abstract

Generative artificial intelligence allows the automatic creation
of “original” content in different formats (text, audio, video and
images). Content that is getting closer and closer to that created
by humans. Generative artificial intelligence offers society as
many benefits as possible risks. Some will be analysed such as
confusion, disinformation, copyright risks, security, privacy, cybercrime,
the right to honour, privacy and self-image that can be
injured by deep fakes, manipulation, risks in the labour market,
psychological risks, bias... The new Regulation of the European
Parliament and of the Council laying down harmonized rules on
artificial intelligence (Artificial Intelligence Act) welcomes generative
artificial intelligence within general purpose intelligence,
considering the presence of possible systemic risks and the enforceability
of cybersecurity. The connection of generative artificial
intelligence with prohibited and high-risk artificial intelligence
will also be analysed. The Regulation shows special concern
for “ultra-phishing”, deep fakes (where it is difficult to distinguish
between the real and the unreal), and the necessary knowledge
of their artificial origin when natural persons interact with them,
with the corresponding obligation of transparency. All this, without
forgetting the need for legal ethics and literacy.

Downloads

Download data is not yet available.

References

ABDULKABBER, T., “Funcionarios y famosos: así circuló la información

falsa en las elecciones nigerianas”, ijnet (red

internacional de periodistas), Lucha contra la desinformación,

13 de abril del 2023 ,https://ijnet.org/es/story/funcionarios-

y-famosos-as%C3%AD-circul%C3%B3-la-informaci%

C3%B3n-falsa-en-las-elecciones-nigerianas) (recuperado

el 3 de agosto del 2024).

AFP, “La fiscalía investiga si Meta vulnera la protección de datos

de sus usuarios”, El Mundo, Empresas, 4 de julio de 2024

(recuperado el 7 de julio del 2024).

ÁLVAREZ, P. y EGUILUZ, J. “El Reglamento de IA ante los deepfakes

de desnudos”, 2 de octubre del 2023, Cuatrecasas (https://

www.cuatrecasas.com/es/spain/propiedad-intelectual/art/

el-reglamento-de-ia-ante-los-deepfakes-de-desnudos) (recuperado

el 1 de mayo del 2024).

ANDRÉS, R., “La última tendencia para bordar las entrevistas de

trabajo: entrenar con ChatGPT como reclutador”, Xataca, 6

de marzo del 2024 (recuperado el 28 de julio del 2024).

ANNEMANS,R.,”Seguridad de la IA generativa: 8 riesgos que debes

conocer”. GlobalSing by GMO, 4 de diciembre del 2023

https://www.globalsign.com/es/blog/8-riesgos-de-seguridad-

de-la-inteligencia-artificial-generativa (recuperado el 10

de mayo del 2024).

BANDARA, P., “Elon Musk compartió un vídeo engañoso de inteligencia

artificial de la vicepresidenta Kamala Harris en X”, PetaPixel,

29 de julio del 2024 (https://petapixel-com.translate.

goog/2024/07/29/elon-musk-shared-misleading-ai-video-ofkamala-

harris-on-x-twitter-deepfake-election-presidentialusa/?_

x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=sc)

(recuperado el 3 de agosto del 2024).

BARRIO ANDRÉS, M., “Algunos claroscuros en el Reglamento Europeo

de Inteligencia Artificial”, Diario La Ley, nº 86. Sección

Ciberderecho, 30 de julio de 2024.

BENDITO CAÑIZARES, M.T, “Estadio intermedio de reflexión para

una futura regulación de la ética en el espacio digital europeo:

los principios de transparencia y accountability”, Revista

Aranzadi de Derecho y Nuevas Tecnologías, núm 55/2021, BIB

2021/1465.

BORRACHERO GARRO, A. “Los retos de la tecnología en la publicidad:

la campaña de Lola Flores”, coordinador: ORTEGA

BURGOS, E., Propiedad intelectual, 2022, Documento

TOL9.141.406.

CALDERÓN C.,“Elecciones México 2024: Deep fakes y fake

news ganan en las votaciones”, El financiero, 4 de junio del

2024,https://www.elfinanciero.com.mx/elecciones-mexico-

2024/2024/06/04/deep-fakes-y-fake-news-marcaron-elescenario-

electoral/ (recuperado el 3 de agosto del 2024).

CASTILLO RAMOS-BOSSINI, S.E., “Regulación europea de la inteligencia

artificial”, Nuevas fórmulas de prestación de servicios

en la era digital, dirección Juan Francisco Pérez Gálvez, Dyinson,

2023.

DAVID, DemoCreator, “Los 10 mejores generadores de música IA

gratis en 2024”, 13 de marzo de 2024 (https://dc.wondershare.

es/ai-voice/top-free-ai-music-generators.html) (recuperado

el 7 de mayo del 2024).

DEL CASTILLO, C., “Los creadores del canon AEDE quieren una

“tasa ChatGPT” para la inteligencia artificial, el Diario.es, 3

de mayo del 2023, (https://www.eldiario.es/tecnologia/creadores-

canon-aede-quieren-tasa-chatgpt-inteligencia-artificial_

1_10171676.html), (recuperado el 20 de mayo del 2024).

DURAN, I., “Taylor Swift y sus desnudos hechos con IA: CEO de

Microsoft dice “hay que actuar ya” ante los deepfakes, Infobae, 29 de enero del 2024, https://www.infobae.com/tecno/

2024/01/27/taylor-swift-y-sus-desnudos-hechos-ia-ceode-

microsoft-dice-hay-que-actuar-ya-ante-los-deepfakes/

(rescatado el 3 de agosto del 2024).

ESPUGA TORNÉ, G. “Cómo identificar contenido generado por

IA” Linkedin, junio, 2024 (recuperado el 10 de julio del 2024).

FIGUEROA, J.C., “Crear una sola imagen con inteligencia artificial

consume tanta energía como cargar tu teléfono”, Hipertextual,

Tecnología, 12 de diciembre de 2023 (https://

hipertextual.com/2023/12/crear-imagen-con-inteligencia-

artificial-consume-esta-energia) (recuperado el 20 de

abril del 2024).

FERNÁNDEZ HERNÁNDEZ, C. y EGUILUZ CASTAÑEIRA, J., “Diez

puntos críticos del Reglamento europeo de Inteligencia Artificial”,

Diario LA LEY, Sección Ciberderecho, nº 85, 28 de junio

de 2024.

FRANGANILLO, J., “La inteligencia artificial generativa y su impacto

en la creación de contenidos mediáticos”, methaodos.

revista de ciencias sociales (2023) 11(2) m231102a1010.17502/

mrcs.v11i2.710.

GAMERO CASADO, E. “El enfoque europeo de la Inteligencia Artificial”,

Revista de Derecho administrativo, nº 20, 2021, págs.268

y ss.

GARAY, J., Wired, 19 de mayo del 2023, “El G 7 promete regular

las IA generativas antes de que termine el 2023”(https://

es.wired.com/articulos/g7-promete-regular-las-ia-generativas-

antes-de-que-termine-el-2023).

GARCÍA MEXÍA, P. “Europa ante el reto de la inteligencia artificial”,-

The objective, 3 de agosto del 2024, (https://theobjective.

com/tecnologia/2024-08-03/europa-ante-el-reto-de-la-inteligencia-

artificial/) (recuperado el 5 de agosto del 2024).

GOLDMAN SACHS, Principales riesgos que entraña la inteligencia

artificial generativa: enumeración, fundspeople, (https://

fundspeople.com/es/principales-riesgos-que-entrana-la-inteligencia-

artificial-generativa/), 26 de abril de 2023 (rescatada

en 20 de abril del 2024).

HOLCOMBE, J., “Las 9 Mejores Herramientas de Detección de

Contenidos con IA que Tienes que Conocer”, Kinsta, 5 de

abril del 2023 https://kinsta.com/es/blog/deteccion-de-contenidos-

ia/ (recuperada el 6 de julio del 2024).

JARQUES, A., “El futuro Reglamento Europeo de Inteligencia Artificial”,

Actualidad Jurídica Aranzadi, nº1003, 2023, Editorial

Aranzadi, (BIB 2024/278) (rescatada en 27 de mayo del 2024).

KLEINMAN, Z., El tiempo, novedades tecnológicas, “Las seis nuevas

funciones de la última versión de ChatGPT: es capaz de coquetear

y detectar emociones” ,15 de mayo del 2024, (https://www.

eltiempo.com/tecnosfera/novedades-tecnologia/6-nuevas-

funciones-de-la-ultima-version-de-chatgpt-que-es-capaz-

de-coquetear-y-detectar-emociones-y-las-fallas-que-cometio-

3342771) (recuperado el 30 de mayo del 2024).

LALCHAND, S. et al. (Centro de Servicios Financieros de Deloitte),

“Se espera que la IA generativa aumente el riesgo de deepfakes

y otros fraudes de la banca”, Deloitte, Servicios Financieros,

29 de mayo del 2024, https://www2.deloitte.com/

us/en/insights/industry/financial-services/financial-services-

industry-predictions/2024/deepfake-banking-fraudrisk-

on-the-rise.html)) (recuperado el 2 de agosto del 2024).

LINDSAY, J. M., “Elecciones 2024: La amenaza falsa a las elecciones

del 2024”, Council on Foreign Relations, 2 de febrero, 2024,

https://www.cfr.org/blog/election-2024-deepfake-threat-

2024-election (recuperado el 3 de agosto del 2024).

LUCIO LÓPEZ, L.A., “Deep fake porn, la inteligencia artificial da

nueva cara al ciberacoso escolar”, Ciem, 2024.

MARTÍNEZ ESPÍN, P., “La propuesta de marco regulador de

los sistemas de inteligencia artificial en el mercado de la

UE”, Revista CESCO de Derecho de Consumo, nº46/2023(doi.

org/10.18239/RDC_2023.46.3322).

MCMAHON, L., BBC News, 20 de mayo de 2024, “Cuando la escuché

me quedé en shock”: por qué el programa de IA ChatGPT

dejará de usar la voz que se parece a la de Scarlett Johanson,

https://www.bbc.com/mundo/articles/cprrzn8g2wqo.) (recuperado

el 30 de mayo del 2024).

MEAKER, M., “Deepfakes en elecciones de Eslovaquia rearfiman

que IA es un peligro para la democracia”, Wired, negocios, 3

de octubre del 2023 https://es.wired.com/articulos/deepfakes-

en-elecciones-de-eslovaquia-reafirman-que-ia-es-peligro-

para-democracia) (recuperado el día 2 de agosto del 2024).

MEIJOMIL, S., Inboundcycle, “6 generadores de imágenes con IA

que no puedes perderte, 8 de noviembre del 2023, (https://

www.inboundcycle.com/blog-de-inbound-marketing/generadores-

de-imagenes-con-ia).

MICROSOFT SECURITY, IA generativa, La ventaja de los defensores,

Linkedln, Microsoft (recuperado en 6 de mayo de 2024).

MORAN, I., Photolari, 2 de mayo, 2024, “20.000 euros por la imagen

IA que engañó al jurado de los Sony Wordl Photography

Awards el año pasado” (https://www.photolari.com/20-000-

euros-por-la-imagen-ia-que-engano-al-jurado-de-los-sonyworld-

photography-awards-el-ano-pasado/) (recuperado el

20 de mayo del 2024).

MUÑOZ VELA, J. M, “Inteligencia artificial generativa. Desafíos para

la propiedad intelectual”, Revista de Derecho UNED, núm.33,

2024, Premio de artículos jurídicos “García Goyena”, 22ª convocatoria

(curso 2022-2023), Facultad de Derecho. UNED.

MUÑOZ VELA, J.M, Retos, riesgos, responsabilidad y regulación de

la inteligencia artificial. Un enfoque de seguridad física, lógica,

moral y jurídica, Thomson Reuters- Aranzadi, Pamplona, 2022.

NIGHTINGALE, S.J, y FARID, H., “Los rostros sintetizados por

IA son indistinguibles de los rostros reales y más confiables”

Proc Natl Acad Sci US A. 2022 22 de febrero; 119(8):

e2120481119. Publicado en línea el 14 de febrero de 2022.

doi: 10.1073/pnas.2120481119 (recuperado el 28 de mayo).

PASCUAL, M.G.,Meta no ofrecerá sus nuevos modelos de IA generativa

en Europa por su “impredicible entorno regulatorio”,

El Pais, Tecnología, 18 de julio de 2024 (recuperado el 19

de julio del 2024).

PLAZA PENADÉS, J., Dossier, “Las claves de la futura Ley de Inteligencia

Artificial Europea”, Aranzadi La Ley, Navarra, mayo,

2023.

PUERTO MENDOZA, A., Derecho digital. Fundamentos básicos,

Ediciones CEF.,2019.

PUFPAFF, M. “¿La tecnología como fuerza para el bien? ¿Cómo se

está utilizando la inteligencia artificial para prevenir los suicidios

en China?”, Razón y fe, Tomo 282, nº1447, 2020, págs.205

y ss.

RAA J., “Meta detiene su proyecto para entrenar a la IA con publicaciones

de Facebook e Instagram en Europa”, Tecnología, El

País, 14 de junio de 2024 (recuperado el 1 de julio del 2024).

SÁNCHEZ, L., “Escrivá advierte que la estrategia de IA necesita

de entornos seguros y anuncia una nueva ley integral de ciberseguridad”,

Economist & Jurist, 7 de junio del 2024 (recuperado

en 20 de julio del 2024).

SINCLA, A et al.“ El estado de la IA a principios de 2024: la adopción

de la IA generativa aumenta y comienza a generar valor”,

McKinsey& Company, 30 de mayo de 2024, (https://www.

mckinsey.com/locations/south-america/latam/hispanoamerica-

en-potencia/el-estado-de-la-ia-a-principios-de-2024-laadopcion-

de-la-ia-generativa-aumenta-y-comienza-a-generar-

valor/es-CL) ( recuperado el 2 de agosto de 2024).

SOTO ARAMENDARIZ, S “Primer suicidio inducido por inteligencia

artificial: algo que temer”, 4 de abril de 2023 (https://observatorioblockchain.

com/ia/primer-suicidio-inducido-por-inteligencia

-artificial-algo-que-temer) (recuperado el 28 de mayo del 2024).

SUÁREZ JAQUET, H. et HINOJAL CUADRADO, E. “El uso del deepfake

en producciones audiovisuales: consideraciones jurídicas”,

coordinador: ORTEGA BURGOS, E., Propiedad intelectual,

2022, Documento TOL9.141.396

TENBARGE, K.,“Taylor Swift, deepfakes en X describe falsamente

que apoya a Trump”, NBC NEWS, 8 de febrero del 2024,

https://www.nbcnews.com/tech/internet/taylor-swift-deepfake-

x-falsely-depict-supporting-trump-grammys-flag-rcna137620

(recuperado el 3 de agosto del 2024).

VALERO, A., “Deepfakes Porn y violencia contra las mujeres”, Fundación

Cañada Blanch, 4 de junio de 2024, https://www.fundacioncanadablanch.

org/noticias/deepfakes-porn-y-violencia-

contra-las-mujeres/ (recuperado el 2 de agosto del 2024).

VIDAL. M, en Linkedln, noticia, (Fuente: https://www.nytimes.

com/2024/05/28/technology/ai-chief-executives.html) (recuperado

el 7 de junio de 2024).

VIGARIO, D.,“Un año de libertad vigilada para los 15 jóvenes que

manipularon y difundieron imágenes con IA de menores

desnudas en Almendralejo”, El mundo, 9 de julio de 2024

(recuperado en 1 de agosto del 2024).

WIKIPEDIA, Greemlins, https://es.wikipedia.org/wiki/Gremlins (recuperado

el 1 de mayo del 2024).

“Las empresas de inteligencia artificial ofrecen ya el servicio

de recrear a seres queridos fallecidos e interactuar con

ellos”, 20 minutos, 20 bits, 3 de diciembre del 2023, (https://

www.20minutos.es/tecnologia/empresas-inteligencia-artificial-

ofrecen-servicio-recrear-seres-queridos-fallecidos-interactuar-

con-ellos-5195903/) (recuperado el 1 de junio del 2024).

“Las obras creadas “exclusivamente” con Inteligencia Artificial

no podrán ganar un Premio Nacional de Cultura” El Periódico

de España, Cultura, noticias efe, 19 de febrero de 2024

(https://www.epe.es/es/cultura/20240219/obras-creadas-exclusivamente-

inteligencia-artificial-codigo-buenas-practicas-

ministerio-cultura-98374508) (recuperado el 13 de mayo

del 2024).

“Marilyn conoce a James Bond en la película Deepfake del artista”,

El informe de Marilyn, 5 de marzo de 2024, “https://

themarilynreport-com.translate.goog/2024/03/05/marilynmeets-

james-bond-in-artists-deepfake-movie/?_x_tr_sl=en&_

x_tr_tl=es&_x_tr_hl=es&_x_tr_pto=sc (recuperado el 2 de agosto

del 2024).

“El Comisionado de Hamburgo para la protección de Datos y

la Libertad de Información pública en documento en el que

se analiza los grandes Modelos de Lenguaje desde el punto

de vista de la protección de datos, Boletín de julio del 2024”,

Lks, noticias, (https://www.lksnext.com/es/noticias_boletin/

el-comisionado-de-hamburgo-para-la-proteccion-de-datos-

y-la-libertad-de-informacion-publica-un-documento-

en-el-que-analiza-los-grandes-modelos-de-lenguaje-desde-

el-punto-de-vista-de-la-proteccion-de-d/) (recuperado el 2

de agosto del 2024).

Published

2025-02-28

How to Cite

Jiménez Linares, M. J. (2025). Risks of generative artificial intelligence systems and the European Artificial Intelligence Regulation. Revista De Privacidad Y Derecho Digital, 9(34), 236–315. Retrieved from https://revista.proeditio.com/rpdd/article/view/7861