Detección de fiabilidad en noticias en español

Abstract

Evaluar la fiabilidad del lenguaje utilizado en la redacción de noticias es cada vez más crucial en el panorama actual de los medios digitales. En este trabajo se realiza una investigación para desarrollar un sistema de clasificación automática para determinar la fiabilidad de noticias escritas en español usando

Procesamiento del Lenguaje Natural. Para ello, se ha participado en la competición FLARES: FINE- GRAINED LANGUAGE-BASED RELIABILITY DETECTION IN SPANISH NEWS del workshop IberLEF 2024, que

tiene como objetivo la detección precisa de la fiabilidad de noticias escritas en español basándose en el lenguaje usado en ellas. Para el desarrollo del sistema, se han probado las tres técnicas de ingeniería de prompts más usadas (zero-shot, few-shot y CoT), empleando modelos generativos como Gemini y ChatGPT para generar las respuestas. El rendimiento del sistema se ha evaluado exhaustivamente mediante un análisis de errores y una matriz de confusión para identificar áreas de mejora.

Assessing the reliability of the language used in news writing is increasingly crucial in today's digital media landscape. In this work a research is carried out to develop an automatic classification system to determine the reliability of news written in Spanish using Natural Language Processing. For this purpose, we have participated in the FLARES: FINE-GRAINED LANGUAGE-BASED RELIABILITY DETECTION IN SPANISH NEWS competition of the IberLEF 2024 workshop, which aims to accurately detect the reliability of news written in Spanish based on the language used in them.

For the development of the system, the three most widely used prompt engineering techniques (zero- shot, few-shot and CoT) have been tested, employing generative models such as Gemini and ChatGPT

to generate the responses. The performance of the system has been thoroughly evaluated by means of an error analysis and a confusion matrix to identify areas for improvement.