Collabtopia

19 Jul, 2009

Dificultades en Opinion Mining

Publicado por: Pedro Maiquez en: Ideas

Hace una semana pasé a formar parte de IZO System como Social Media Analyst. Aparte de lo llamativo del nombre, lo que más me gusta de mi trabajo (además de un equipo bien preparado) es que me ha ofrecido la oportunidad de escalar el análisis de reputación online de particulares a grandes empresas. Este paso también desvela problemas operativos importantes, que son los que os planteo aquí.

A) Captura de menciones:

La captura de comentarios relevantes (obtener un listado de aquellas piezas texto que hablan de nuestro cliente y que pueden afectar a su reputación) es una de las partes más problemáticas. Los sistemas de rastreo de menciones (SMA tools) están aún muy verdes y no hacen su función como debieran.

Lo que podemos esperar de una apliación de este tipo son tres cosas:

  • Que capture todos los comentarios sobre la marca (en el periodo y con las palabras clave que indiquemos).
  • Que incluya el menor ruido posible (menciones no relevantes).
  • Que permita organizar, valorar y exportar los resultados de una forma ágil y personalizable.

- El primer caso resulta muy importante si el número de menciones no es grande, aunque podríamos hacer una búsqueda manual para encontrar las fuentes omitidas. Si el número de resultados es grande, el problema dependerá de qué fuentes estamos dejando de capturar y cómo afectan a la reputación, pero es posible que el error sea aleatorio y por tanto sólo dejemos de tener un censo para tener una muestra, sin un sesgo especial.

- El filtrado del ruido evita que perdamos tiempo eliminando fuentes que no deberían estar ahí. Si el ruido es muy importante puede convertir a la aplicación en inoperativa.

- El sistema debe ser intuitivo: debemos valorar a veces cientos de fuentes y una pequeña diferencia (un botón en su sitio) puede ahorrarnos horas. Además debería permitir que valoremos en la aplicación la carga de sentimiento según nuestra propia metodología, y no la suya propia (personalización).

Si la aplicación hace mal alguna de ellas (o las tres) vamos a necesitar complementar la búsqueda con otra/s herramienta/s, lo que encarece y complica cualquier análisis.

Cocinar Resultados

B) Valoración de los comentarios

Valorar significa atribuir un valor numérico a lo que (en principio) no lo tiene. Al menos que tratemos con sistemas de review de películas, libros y similar, el usuario nunca nos habla de números, sino de experiencias. Cómo traducir sus opiniones no es cuestión baladí, pues no sólo es una decisión que debemos tomar para presentar el informe, sino que es un ‘punto caliente’ de su neutralidad. Si la empresa que nos provee un informe de reputación cambia el sistema de valoración a cada cliente puede cocinar los resultados como más le interese.

En la valoración podemos incorporar:

  • El valor de sentimiento que hay en el comentario.
  • Factores (influencia, visibilidad) que ponderen ese valor para tener en cuenta su repercusión.
  • Otros factores (antigüedad) que modulen el resultado final.

Debemos decidir:

  • Cuántos posibles valores vamos a utilizar: dos (dicotómica, “bueno, malo”), tres (añadimos un neutral), cinco (muy malo, malo, neutral, bueno, muy bueno)…
  • Qué valor numérico atribuimos a cada uno, y si es simétrico o pondera un extremo. En la opción de tres podría ser: Malo (-2), Neutral (+1), Bueno (+3)… Es sólo un ejemplo.
  • Con qué criterios se elije cada uno.

El producto final va a ser una cifra absoluta con sentido positivo o negativo (depende de cómo hagamos cálculos) que se incorporará al índice de reputación.

C) Representación gráfica:

La representación es una de las partes más “bonitas” de la reputación online. Porque se puede hacer de muchas maneras, porque tiene un poder explicativo enorme pero también porque plantea retos muy importantes. Pero está parte se merece un post para ella sóla.

Posts Relacionados

5 Comentarios to "Dificultades en Opinion Mining"

1 | Rafael

July 30th, 2009 at 12:11 am

Avatar

Muy ilustrativo el dibujo del cocinero!

2 | Oscar Del Santo

September 10th, 2009 at 4:56 pm

Avatar

Ante todo Pedro felicidades por tu nuevo trabajo.

Creo que tienes razon en que las herramientas estan aun muy verdes, aunque desde luego yo he tenido la oportunidad de observar algunas en accion que realmente funcionan (con un coste prohibitivo por cierto) y que son usadas en la actualidad por bancos y empresas publicas.

Al igual que en analitica web la tarea al fial siempre resulta en como presentar la informacion de una forma amena y comprensible al cliente final.

Gracias por esta entrada tan interesante.

3 | Andrés

October 4th, 2009 at 11:32 am

Avatar

Igualmente te felicito Pedro, y estoy de acuerdo que todos vuestros comentarios , Oscar serías tan amable de indicarme los nombres de las herramientas que has visto?. Nuestra empresa trabaja para 3 grandes haciendo este servicio y hemos intentado que las empresas de desarrollo de lectores feed vean la ventaja competitiva y el nicho de mercado existente , pero no hemos conseguido nada en claro todavía, Feedreader en sus nuevas versiones es uno de ellos. Me alegro de haberos encontrado, iremos compartiendo información acerca de nuestros progresos. Un saludo.

4 | Francesc Grau

October 20th, 2009 at 2:22 pm

Avatar

Pedro, estoy de acuerdo contingo sobre el estado de inmadurez de los softwares de RSSeaje de apariciones online. Y te diré otra cosa: de momento, no he encotrado ninguno que esté pensado desde una óptica de PR, son simples recolectores de información con el único objetivo de justificar su (alta) cuota a través de un bonito gráfico (exportable).

Hay mucho por hacer! :-)

Buen post!
Francesc

5 | Collabtopia - Identidad y Reputación Online » Representacion Gráfica: Social Media Index (I)

December 10th, 2009 at 12:48 pm

Avatar

[...] de las cuestiones a tratar en opinion mining, deciamos que era la representación gráfica. La representación gráfica de las opiniones en [...]

Aquí puedes comentar:

Collabtopia

Collabtopia (pronunciado /kolabtopia/) es un blog sobre visibilidad y reputación en internet. Aquí puedes encontrar herramientas para monitorear tu marca en la red, guías éticas para gestionar tu reputación, cómo lidiar con comentarios negativos en internet o implementar la reputación de marca en grandes empresas. No dudes en dejar tus comentarios! Si además necesitas que alguien gestione tu identidad en internet, quizás pueda echarte una mano.