• Qué valor numérico (positivo o negativo) le atribuimos a esas experiencias.
• Cómo estimamos el impacto que tiene cada comentario en el resto de usuarios.
• Cómo tratamos comentarios concatenados y contradictorios (común en los foros).
• Si ponderamos el valor numérico de cada comentario por algún factor que consideramos relevante.

En el último de los casos (la ponderación) están presentes los dos ‘fenómenos’ de los que voy a hablar hoy: Polarización y la Saturación. Ambos pertenecen (en mi opinión) a un estudio sofisticado de la reputación de marca.

Polarización

Qué es: La concentración de un mismo tipo de comentarios (positivo o negativo) en una fuente de información determinada.

Cómo nos afecta: Quizás deberíamos otorgar menos valor a esos comentarios, ponderarlos a la baja.

La polarización es un fenómeno que escuché a Antonio García Morte en FICOD 2009. En la medida en que están enfocando su herramienta al sector público, les surgió la cuestión de cómo valorar comentarios políticos en foros dónde la mayoría de comentarios sobre una persona o partido son del mismo signo (positivo o negativo).

Cuestión de fondo: Si a un foro político sólo acceden activistas, que además están ya convencidos de la información que se vierte ahí, ¿debemos contabilizar esos comentarios de una forma general?, ¿de verdad impactan en la reputación del candidato o marca electoral?

Solución: Hay dos tipos de soluciones para tratar fuentes polarizadas:

• Eliminar estas fuentes en nuestra búsqueda.
• Ponderar sus comentarios a la baja, de forma que el valor numérico positivo o negativo que normalmente tendrían, quede escorado hacia 0.

Saturación

Qué es: La repetición de un mismo comentario varias veces, por varios usuarios o  en distintos medios.

Cómo nos afecta: A partir de cierta repeticion de un mismo mensaje, quizás deberíamos otorgar menos valor a los siguientes comentarios.

Cuestión de fondo: La saturación es algo con lo que me he encontrado a menudo. Se trata de ver cómo un mismo comentario (por ejemplo, una crítica sobre atención al cliente) se repite una y otra vez, a veces en el mismo canal. Es algo muy común, por ejemplo, en Twitter. La duda surge cuando entendemos que un mismo usuario puede recibir ese mensaje varias veces, sin que necesariamente perjudique su impresión sobre la marca de igual modo cada vez que lo ve.

Imaginaros que veís un comentario sobre un SAT que ha hecho al cliente esperar durante 50 minutos al teléfono, antes de ser atendido. Es posible que la primera vez os proporcione una mala impresión (que podemos medir en -5). Ahora imaginad, que en el mismo canal lo volveís a ver. Parece razonable entender que puede reforzar vuestra impresión negativa previa, pero no de igual manera (-2). Ahora imaginad que volveís a verlo varias veces más, en distintos medios.

Representación Gráfica

Representar gráficamente estos dos efectos es muy sencillo. En el primer caso (Polarización) imaginad que tenemos identicos comentarios sobre una marca, en dos fuentes distintas (una polarizada y la otra no). A los comentarios de la primera le atribuiremos los valores normales (-5,-3,1…).  A la polarizada esos mismos valores ponderados tal y como nosotros deseemos (en mi caso, un 20 de su valor positivo o negativo normal).

Como observaís, la línea azul (fuente no polarizada) tiene un efecto más importante en la reputación de la marca que la fuente polarizada, que hemos penalizado un 80%.

La Saturación se representa como una curva decreciente que mide el impacto marginal acumulado de un mismo comentario, repetido varias veces, sobre un mismo usuario. Si utilizamos un comentario negativo con valor ‘-5′, la repetición del comentario podría impactar así:

]]> http://www.collabtopia.com/polarizacion-saturacion-reputacion-onlin/feed/ 3 http://www.collabtopia.com/opinion-mining-para-comunicacion-politica-ii/ http://www.collabtopia.com/opinion-mining-para-comunicacion-politica-ii/#comments Fri, 22 May 2009 12:08:10 +0000 Pedro Maiquez http://www.collabtopia.com/?p=521 Aviso: parte de esta información está un poco desfasada o incompleta porque forma parte de mi trabajo con Cierzo Development en análisis político en la red.

————-

Ya hemos hablado de por qué el análisis de opiniones en comunicación política puede resultar útil. Ahora vamos a planterlo de un modo más práctico, sin anglicismos ni paja.

Imaginad que sois un consultor de nuevas tecnologías para uno de los candidatos a las elecciones europeas. Hacer política en internet supone algo más que trasladar antiguas técnicas a blogs, Facebooks y otras herramientas de moda. Vosotros sabeís que el factor clave son los votantes conectados y el modo en que éstos influyen (0 no) a otros conversando por internet.  Pensaís además que lo importante para diseñar una estrategia de verdad es una medición precisa de estas conversaciones.

Los problemas que se os plantean a priori son dos:

• Qué sistema de opinion mining vaís a elegir: Os recomiendo que sea uno que deje el análisis  de sentimiento del comentario a un humano, y se limite a encontrar de forma eficaz los comentarios que realmente hablan de tu candidato. Explicación: los sistemas que valoran automáticamente aún no son fiables, y el ahorro de costes y la calidad está más en conseguir listas de comentarios comprehensivas pero precisas. Otros factores relacionados: que filtre idioma o región, que permita exportar los datos, qué resulte rápido y fácil de emplear…
• Qué metodología emplear: Como es un humano quién puntúa los comentarios, para evitar que lo haga de forma arbitraria debeís decidir bajo qué pautas debe decidir si son negativos o positivos. Estas instrucciones deben estar justificadas y abarcar todos los medios que os interesen (texto, fotografías, vídeo). Podemos emplear muchos criterios: léxico (que estén presentes determinadas palabras como “honrado”, “inteligente”), semántico (importantísimo en discursos complejos como la ironía), según el tema (economía, corrupción, etc.). Ejemplo: A mí me gusta puntuar con los tres criterios: primero filtro menciones que no son relevantes porque no dicen nada (o no lo suficiente) del candidato, luego aplico un criterio semántico general, puntúo muy negativo o muy positivo si se dan moduladores (“muy, poco, bastante”) o determinadas palabras (“mentiroso”). Por último modulo el resultado teniendo en cuenta si el tema del que habla beneficia o perjudica al candidato.

Algunos resultados en Smmart

Ya teneís un sistema de análisis y una metodología. Antes de nada es importante ponerlos a prueba: coger a un par de evaluadores y hacer una pequeña prueba (es lo que llamamos un pretest, o estudio exploratorio).

Los problemas que se os plantean a posteriori son:

• Comentarios irrelevantes o en otros idiomas: Debeís ajustar los criterios de búsqueda para que sean más restrictivos (pero no demasiado!) y otras opciones del sistema. Si no lo haceís cargareís de trabajao a los evaluadores y pueden cometer más errores.
• Discordancias entre la puntuación y vuestro criterio: Puede que vuestra metodología produzca resultados que creeís no se ajustan bien a la realidad: demasiados votos neutrales o negativos. Quizás debaís hacerla algo más sofisticada.
• Duración o complejidad: Puede ocurrir todo lo contrario: que vuestros criterios sean demasiados complejos o lentos de aplicar. Deberás encontrar un equilibrio entre una metodología operativa y  precisa.

Ahora lo más probables es que toque hacer algunos cambios. Recordad que si quereís resultados comparables a lo largo del tiempo  deberán ser cuantos menos, mejor.

Si habeís llegado hasta aquí (increible!) os diré algo más. Estos poblemas son sólo prácticos y con algo de esfuerzo se superan. Los problemas más importantes (e interesantes) llegan cuando nos planteamos:

• Qué repercusión real tienen las conversaciones en el voto final.
• Cómo usamos los resultados en la estrategia electoral.

Pero eso ya se escapa de la reputación online, que es de lo que trata Collabtopia.

Opinion Mining es de esos conceptos que a mí me fascinan y a cualquier terrícola aburrirían hasta el suicidio, más si lo aplicamos a una profesión tal maltrecha como la política. Pero es que este palabrejo esconde oportunidades comerciales tan grandes en el ámbito de producto, marca, y ¡campañas electorales!, que dificilmente cabe ignorarlo.

Aplicado a las comunicación política e institucional supone conseguir índices de popularidad (o reputación) en internet de candidatos, averiguar los temas que perjudican o benefician a un partido concreto, controlar cómo funciona tu pandilla de “activistas políticos” y un largo etcétera. A nivel de diseño de estrategia serviría por ejemplo para evaluar la aceptación de posturas políticas sobre determinados temas o proyectos de ley (para adaptar el programa y la campaña), características que agradan o desagradan del candidato o conatos de crisis de reputación.

También tiene aplicaciones en la siempre rentable comunicación institucional, es decir, esa partida presupuestaria dirigida a que conozcas todo lo bueno que hacen tus representantes. En este ámbito el Opinion Mining puede desvelar el nivel de satisfacción de los ciudadanos para determinados servicios públicos, políticas públicas o el rendimiento de instituciones como un ayuntamiento.

Algunas de estas áreas ya están cubiertas por el sistema de encuesta, que aunque no lo creaís son muy eficaces si tienen un buen presupuesto y metodología. El análisis de opiniones no compite con la encuesta porque es una mezcla entre el clipping (otro anglicismo) de medios tradicionales y ésta: del primero recoge que se trata de un análisis de medios, de la comunicación y no tanto de la realidad social. En definitiva no le interesa si a una muestra de españoles les agrada la corbata de Rajoy, sino si le agrada a los personajes influyentes que comunican en internet. En la encuesta se parece en que estos medios estudiados son precisamente los ciudadanos, aunque sólo sea una parte de ellos.

Insisto por tanto en que el análisis de opiniones no compite con la  encuesta, no va a descubrir si los españoles prefieren un presupuesto mayor o menor para la educación pública, por ejemplo, pero sí va a analizar las corrientes de opinión que se generan en internet sobre este asunto.

Mañana os hablo de formas de aplicarlo en la práctica.

————

En un post anterior trataba cómo podemos realizar un análisis de sentimientos básico para estimar la reputación online de una marca o persona. Entonces ya contemplábamos dos tipos (manual y automático) y diferentes grados de complejidad.

El análisis de sentimientos (sentiment analysis u opinion mining, por sus términos más corrientes en inglés) es una variante del análisis de texto centrado en “detectar, separar y extraer información de carácter actitudinal”, en forma de opiniones o valoraciones. En palabras llanas, se trata de analizar un texto para extraer las opiniones que nos interesen sobre una determinada marca o persona, y decidir si son positivas o negativas.

Algo que parece tan interesante (comercialmente) resulta también muy complejo, tanto si lo abordemos desde el análisis automático como desde el manual. El primero de ellos tiene barreras tecnológicas y de investigación importantes: hay que decidir en primer lugar, que tipo de enfoque empleamos, si un análisis léxico (donde palabras como rápido, eficaz o barato serían consideradas positivas por la máquina), un análisis estadístico o alguna mezcla entre ambos (como incluir valoraciones numéricas donde existan). El manual por contra requiere emplear a un grupo de personas (a veces ingente y muy costoso) para que busquen y clasifiquen información  y dotarlos con determinados criterios y pautas para que puedan decidir cómo valoran cada pieza de texto que encuentrenun post, imagen o vídeo respecto a la marca o persona que nos interesa. Además del coste, un análisis manual tendría que lidiar con problemas de redundancia (un mismo texto detectado varias veces) y tiempo (tardan en búscar y lo hacen en una franja de horario delimitada.

El análisis mixto automático-manual

Entre el análisis automático (poco fiable por ahora) y el manual (muy costoso) existe una fase intermedia: emplear una herramienta que detecte, extraiga y clasifique los textos y dejar a un humano que se encargue de valorarlos y devolverlos otra vez a la máquina. De este modo hacemos tiempo hasta que el análisis automático esté lo suficientemente maduro y ahorramos mano de obra sin renunciar a la fiabilidad que nos proporciona tener a una persona real valorando lo que lee.

Bien, digamos que ya tenemos una aplicación capaz de realizar un análisis de los contenidos publicados en internet, de clasificar aquellos que mencionan la marco o persona que nos interesa y de pasárselos a nuestro trabajador para que los valore y se los devuelva. ¿Y cómo sabe nuestro trabajador qué carga de valor le asigna a cada frase o texto completo? Al contrario de lo que ocurre con las máquinas, las personas tenemos criterios subjetivos y cambiantes. Pero si queremos un análisis de la reputación fiable no nos podemos permitir que nuestros resultados se basen en diferentes criterios de valoración y que no estén fundamentados en otra cosa que en la simple apreciación. Necesitamos crear una guía o protocolo que les ayude a puntuar cada pieza de contenido idénticos, de forma idéntica.

El caso del análisis político en internet

En este caso nos encontramos en Cierzo Development (empresa para la que estoy haciendo el internship) cuando queremos abordar el análisis de medios para campañas de comunicación política e institucional. Cierzo dispone de una aplicación de monitoring llamada Smmart, que suple la parte de la detección y clasificación de menciones en foros, blogs, vídeos, etc. Aparte tiene un sistema de evaluación (como el eje ideológico de una encuesta, de cero a diez) que permite a una persona atribuir una carga positiva o negativa a las informaciones que le pasa la aplicación. Luego Smmart pondera estas evaluaciones según los medios de que provengan (blogs, medios digitales, etc.) y la fuente para crear un índice de reputación y su evolución temporal.

Su aplicación práctica en las campañas de comunicación política es triple:

1. Permite obtener un índice de reputación (no comparable al obtenido por encuesta, recordemos que hablamos de comunicación) sobre un candidato u organización.
2. Nos dice qué issues están afectando positiva o negativamente a nuestra marca y qué fuentes están marcando la agenda política en internet.
3. Nos permite detectar crisis de comunicación de forma temprana para aplicar los protocolos que ya hayamos diseñado previamente en los planes estratégicos de comunicación.

La cuestión está, volviendo a lo de antes, en cómo se le dice a quienes tengan que valorar los contenidos  si deben puntuar un texto con un “+2″ o con un “-3″. Y no me refiero tan solo a una guía de términos positivos y negativos, sino que podemos hacer la guía mucho más compleja si, en el caso de la campaña, incorporamos la agenda política y qué temas afectan de forma positiva o negativa a un candidato o marca. Un ejemplo: una noticia sin ningún tipo de carga valorativa que trate de la crisis económica y las previsiones, afectará probablemente de forma negativa al Gobierno o alguno de sus miembros en esta coyuntura. Incluso dos noticias con los mismos términos negativos,  ¿Es lo mismo una noticia “-2″ que hable de la crisis, que otra “-2″ que hable de las becas universitarias? Probablemente no, y podemos empezar a incorporar variables que maticen el indicador final.

Aquí es donde muchas veces el marketing resulta insuficiente y debemos mirar también a otras ciencias sociales y a estudios teóricos-experimentales para buscar respuestas que nos ayuden a elaborar análisis de reputación online fiables, que sirvan para crear estrategias de comunicación fundamentadas y con garantías de éxito.

Lecturas recomendadas:

• Sentiment Analysis: Opportunities and Challenges [BeyeNetwork]
• WebData Mining Book
  (un resumen del tema 11)
• The challenge is still the accuracy of sentiment prediction and solving the associated problems [textanalyticsnews.com]