Opinion Mining para comunicación política (II)

En un primer post vimos cómo el análisis de opiniones en comunicación política puede resultar útil. Ahora vamos a plantearlo de un modo práctico:

Los problemas que se os plantean a priori son dos:

• Qué sistema de opinion mining vaís a elegir: Os recomiendo que sea uno que deje el análisis de sentimiento del comentario a un humano, y se limite a encontrar de forma eficaz los comentarios que realmente hablan de tu candidato. Explicación: los sistemas que valoran automáticamente aún no son fiables, y el ahorro de costes y la calidad está más en conseguir listas de comentarios comprehensivas pero precisas. Otros factores relacionados: que filtre idioma o región, que permita exportar los datos, qué resulte rápido y fácil de emplear…
• Qué metodología emplear: Como es un humano quién puntúa los comentarios, para evitar que lo haga de forma arbitraria debeís decidir bajo qué pautas debe decidir si son negativos o positivos. Estas instrucciones deben estar justificadas y abarcar todos los medios que os interesen (texto, fotografías, vídeo). Podemos emplear muchos criterios: léxico (que estén presentes determinadas palabras como “honrado”, “inteligente”), semántico (importantísimo en discursos complejos como la ironía), según el tema (economía, corrupción, etc.). Ejemplo: A mí me gusta puntuar con los tres criterios: primero filtro menciones que no son relevantes porque no dicen nada (o no lo suficiente) del candidato, luego aplico un criterio semántico general, puntúo muy negativo o muy positivo si se dan moduladores (“muy, poco, bastante”) o determinadas palabras (“mentiroso”). Por último modulo el resultado teniendo en cuenta si el tema del que habla beneficia o perjudica al candidato.

Algunos resultados en Smmart

Ya teneís un sistema de análisis y una metodología. Antes de nada es importante ponerlos a prueba: coger a un par de evaluadores y hacer una pequeña prueba (es lo que llamamos un pretest, o estudio exploratorio).

Los problemas que se os plantean a posteriori son:

• Comentarios irrelevantes o en otros idiomas: Debeís ajustar los criterios de búsqueda para que sean más restrictivos (pero no demasiado!) y otras opciones del sistema. Si no lo haceís cargareís de trabajao a los evaluadores y pueden cometer más errores.
• Discordancias entre la puntuación y vuestro criterio: Puede que vuestra metodología produzca resultados que creeís no se ajustan bien a la realidad: demasiados votos neutrales o negativos. Quizás debaís hacerla algo más sofisticada.
• Duración o complejidad: Puede ocurrir todo lo contrario: que vuestros criterios sean demasiados complejos o lentos de aplicar. Deberás encontrar un equilibrio entre una metodología operativa y  precisa.

Ahora lo más probables es que toque hacer algunos cambios. Recordad que si quereís resultados comparables a lo largo del tiempo  deberán ser cuantos menos, mejor.

Si habeís llegado hasta aquí (increible!) os diré algo más. Estos poblemas son sólo prácticos y con algo de esfuerzo se superan. Los problemas más importantes (e interesantes) llegan cuando nos planteamos:

• Qué repercusión real tienen las conversaciones en el voto final.
• Cómo usamos los resultados en la estrategia electoral.

Pero eso ya se escapa de la reputación online, que es de lo que trata Collabtopia.