Measuring quality of video of internet protocol television (IPTV)

Abstract

La motivación para el desarrollo de esta tesis es la necesidad que existe de monitorizar la calidad de experiencia del vídeo que se proporciona en una red IPTV (Internet Protocol Television). Esta necesidad surge del deseo de los operadores de telecomunicaciones de proporcionar un servicio más satisfactorio a sus clientes y alcanzar mayor penetración en el mercado. Los servicios sólo pueden tener éxito si la calidad de experiencia se garantiza. Las redes IPTV (Television sobre IP) son por naturaleza susceptibles a pérdidas de paquetes de datos que afectan a la calidad del vídeo que recibe el usuario. Entre los factores que contribuyen a la existencia de pérdida de paquetes de datos se encuentran la congestión de red, una planificación de red inadecuada o el fallo de algún equipamiento de la red. La calidad de experiencia de un vídeo se ve afectada por una serie de factores como por ejemplo la resolución, la ausencia de errores en las imágenes, la calidad de la televisión, las expectativas previas del usuario y muchos otros factores que se estudian en esta tesis. Es importante recalcar que en esta tesis se considera la calidad de experiencia, que es la percepción subjetiva del usuario, en contraste con métricas tradicionales como pérdidas de paquetes, retardo y jitter. Medir la calidad de experiencia en IPTV representa una innovación respecto a las soluciones tradicionales que se basan únicamente en parámetros de red. La medida subjetiva de la calidad, utilizando personas que evalúan el contenido es la más precisa. Sin embargo, es costosa, consume mucho tiempo y no es aplicable para realizar mediciones en tiempo real. Por esta razón existe el interés de desarrollar métodos objetivos que estimen esa calidad en base a parámetros relacionados con el vídeo.El objetivo principal de la tesis es proporcionar una solución para monitorizar la calidad de experiencia en una red IPTV.La degradación de la calidad del vídeo se puede deber al proceso de compresión o a errores en la transmisión del contenido. Aunque se considerará el proceso de compresión el estudio se centra principalmente en el proceso de transmisión. El estudio se centra en el códec H.264 por ser el más utilizado actualmente para contenidos de vídeo de alta definición.Con el propósito de clarificar algunos conceptos antes de explicar los objetivos secundarios se explica aquí el significado de métrica y los tipos de métricas existentes. Una métrica objetiva de calidad de vídeo intenta aproximar la percepción subjetiva del usuario evaluando parámetros relacionados con el vídeo. Las métricas objetivas se pueden clasificar en función de la información que se necesita del vídeo original sin distorsionar. Existen tres tipos de métricas objetivas: no-reference, reduced-referencia y full-reference. Las métricas no-reference son aquellas métricas en las que solamente el vídeo distorsionado se utiliza para calcular la calidad del vídeo. En las métricas reduced-reference, el vídeo original sin distorsionar no está disponible para la métrica, pero algunos parámetros extraídos de él sí están disponibles. En las métricas full-reference tanto el vídeo original sin distorsionar como el vídeo degradado están disponibles a la métrica objetiva que calcula la calidad del vídeo.Los tests subjetivos que implican utilizar personas para evaluar la calidad del vídeo constituyen el método más preciso. Sin embargo, requieren una preparación de lascondiciones de visión, consumen mucho tiempo y no se pueden aplicar en monitorización en tiempo real de vídeo en redes IPTV. Esto ha provocado que muchos investigadores se centren en intentar desarrollar métodos objetivos. Al principio el foco de los investigadores estaba en métricas full-reference y cambió gradualmente a métricas reduced-reference y finalmente a métricas no-reference.La tesis comienza describiendo en detalle la estancia investigadora en Suecia, en RISE Research Institutes of Sweden AB en octubre de 2009, cuando aparece el interés en investigar en métricas de calidad de vídeo. A lo largo de la estancia en Suecia, que tiene lugar hasta mediados de 2011, se lleva a cabo una colaboración con el JEG (Joint Effort Group) del VQEG (Video Quality Experts Group), un grupo internacional de expertos en la temática de calidad de vídeo. Maria Kihl, directora de tesis de la Universidad de Lund, viaja frecuentemente de Lund a Estocolmo para dirigir los trabajos de investigación. Además, Kjell Brunnström, miembro del VQEG perteneciente a RISE donde se realiza la estancia proporciona consejo experto durante ese tiempo.A continuación, se describe el objetivo principal de la tesis que como hemos mencionado es proporcionar una solución para monitorizar la calidad de experiencia en una red IPTV. También se describen los objetivos secundarios que son los siguientes:- S01: Seleccionar la mejor métrica full-reference entre aquellas públicamente disponibles. Evaluar su aplicabilidad a redes IPTV en términos de rendimiento.- S02: Proporcionar una solución que combine tanto métricas full-reference como no-reference para monitorizar IPTV.- S03: Desarrollar y validar una métrica no-reference bitstream para redes IPTV.El siguiente punto en la tesis es la descripción de los conceptos básicos que se manejan en el proceso de investigar en métricas de calidad de vídeo. En concreto, tras una introducción, se explica en qué consiste una evaluación subjetiva, se detallan los diferentes tipos de métricas objetivas, se describen los diferentes tipos de degradación que pueden tener lugar en un vídeo y se explica el proceso tradicional de desarrollo de una métrica objetiva.A continuación, se realiza un repaso del estado del arte en cuanto a métricas objetivas existentes y se pasa a detallar las cuatro bases de datos subjetivas públicamente disponibles que se utilizan a lo largo de esta tesis. Las bases de datos subjetivas contienen vídeos a los que se les ha sometido a degradaciones y que han sido valorados por usuarios. En concreto se utilizan bases de datos de la Universidad de Nantes, de Ecole Polytechnique Fédérale de Lausanne y Politecnico di Milano y de Laboratory for Image and Video Engineering de la Universidad de Texas.El capítulo 3 de la tesis tiene como objetivo realizar una comparación entre las métricas full-reference existentes más utilizadas. En concreto se evalúan las siguientes métricas: Peak Signal-to-Noise Ratio (PSNR), Structural SIMilarity (SSIM), Multi-scale SSIM (MS-SSIM), Video Quality Metric (VQM), Visual Signal-to-Noise Ratio (VSNR), MOtion-based Video Integrity Evaluation (MOVIE). Mediante esta comparación se llega a la conclusión de que Video Quality Metric (VQM) es la mejor métrica full-reference entre las estudiadas.A continuación se describe una herramienta desarrollada por el autor de la tesis que sirve para reconstruir vídeos a los cuales les faltan imágenes. A menudo sucede que cuando un vídeo ha sufrido pérdidas de transmisión y se decodifica, el decoder no es capaz de reconstruir todas las imágenes. Este hecho dificulta aplicarle posteriormente al vídeo una métrica full-reference ya que ese tipo de métricas requiere que el vídeo original sin distorsión y el degradado contengan el mismo número de imágenes. Esta herramienta soluciona ese problema insertando unos números de imagen en el vídeo original sin degradar que se utilizan después para reconstruir el vídeo.En el capítulo 3.3 se describe la metodología necesaria para aplicar métricas full-reference a una red IPTV. En concreto se describen dos escenarios diferentes. El primero de ellos consiste en aplicar la métrica full-reference en el transmisor de vídeo y el segundo en aplicar la métrica full-reference en el receptor de vídeo. Se selecciona el primer escenario como el más interesante y se realiza un extenso estudio de rendimiento. Del estudio de rendimiento se desprende que no se puede a día de hoy monitorizar una red IPTV únicamente con métricas full-reference sino que es necesario combinar tanto métricas full-reference con métricas no-reference. La solución que se propone es utilizar métricas no-reference, que generalmente se pueden ejecutar con mayor rapidez aunque con menos precisión en los resultados en la mayor parte de los análisis y utilizar métricas full-reference en aquellos casos en que la aplicación de métricas no-reference dé lugar a dudas o en el caso de que exista un interés especial en tener mayor precisión.Se presenta una herramienta para visualizar mejor los resultados obtenidos en las pruebas de rendimiento realizadas, resultantes del escenario de aplicar full-reference en el transmisor de vídeo en una red IPTV.El capítulo 4 tiene varios objetivos. Por un lado se pretende desarrollar una métrica no-reference que se pueda utilizar en la solución para monitorizar una red IPTV que se propone en esta tesis. Por otro lado se propone una estrategia de desarrollo de modelos no-reference novedosa, ya que se encuentra basada en la aplicación de una métrica full-reference que sirve para crear la base de datos que se utilizará para entrenar el modelo no-reference. Este método se ha pensado para su aplicación en ámbitos reducidos en los cuales la precisión de las métricas full-reference es elevada. Suele suceder que sí se amplía mucho el ámbito de aplicación de una métrica, más allá de aquél para el cual fue desarrollada, se produce una pérdida de precisión en los resultados.El desarrollo de la métrica no-reference consta de varios pasos que se detallan en la tesis. En concreto el primer paso consiste en construir la base de datos de entrenamiento y validación. Para ello se obtiene los vídeos originales sin distorsionar de una base de datos de vídeos públicamente disponible, se codifican y se les aplican las condiciones de pérdidas de paquetes que se quieren considerar mediante un simulador de pérdidas de paquetes. Una vez generados los vídeos para generar las valoraciones de calidad se le aplica el método full-reference VQM, que es el que se ha seleccionado después de realizar la comparativa de métodos full-reference existentes. Esto es lo que constituye una novedad frente al desarrollo tradicional de modelos no-reference.Posteriormente se desarrolla el modelo con la mitad de los vídeos de la base de datosgenerada y se valida con la otra mitad. Una vez validado el modelo, finalmente con la base de datos completa se realiza una propuesta final de modelo no-reference.A continuación, en la tesis se listan todas las publicaciones del autor junto con un pequeño resumen de cada una de ellas. Entre las publicaciones del autor se encuentran las siguientes:Paper nº1: Sedano, I., Brunnström, K., Kihl, M., Aurelius, A., ¿Full-reference video quality metric assisted the development of no-reference bitstream video quality metrics for real-time network monitoring¿, EURASIP Journal on Image and Video Processing 2014 2014:4. Cited by 13.Paper nº2: Sedano, I.; Kihl, M.; Brunnstrom, K.; Aurelius, A., ¿Reconstruction of incomplete decoded videos for use in objective quality metrics¿, Systems, Signals and Image Processing (IWSSIP), 2012 19th International Conference on, pp.376,379, 11-13 April 2012. Cited by 1.Paper nº3: Sedano, I.; Kihl, M.; Brunnstrom, K.; Aurelius, A., ¿Evaluation of video quality metrics on transmission distortions in H.264 coded video¿, Broadband Multimedia Systems and Broadcasting (BMSB), 2011 IEEE International Symposium on, pp.1,5, 8-10 June 2011. Cited by 10.Paper nº4: M. Barkowsky, I. Sedano, K. Brunnström, M. Leszczuk, and N. Staelens, ¿Hybrid video quality prediction: reviewing video quality measurement for widening application scope,¿ Multimed. Tools Appl., vol. 74, no. 2, pp. 323¿343, 2015. Cited by 10.Paper nº5: Staelens, N.; Sedano, I.; Barkowsky, M.; Janowski, L.; Brunnstrom, K.; Le Callet, P, ¿Standardized toolchain and model development for video quality assessment ¿ The mission of the Joint Effort Group in VQEG¿, Quality of Multimedia Experience (QoMEX), 2011 Third International Workshop on, pp.61,66, 7-9 Sept. 2011. Cited by 19.Paper nº6: Brunnström, K., Wang, K., Sedano, I., Barkowsky, M., Kihl, M., Aurelius, A., Le Callet, P., and Sjöström, M., ¿2D no-reference video quality model development and 3D video transmission quality¿, Proc. 6th Inter. Workshop on Video Processing and Quality Metrics for Consumer Electronics, 2012. Cited by 5.Paper nº7: Geng Yu; Westholm, T.; Kihl, M.; Sedano, I.; Aurelius, A.; Lagerstedt, C.; Odling, P ¿Analysis and characterization of IPTV user behavior¿, Broadband Multimedia Systems and Broadcasting, 2009. BMSB '09. IEEE International Symposium on, pp.1,6, 13-15 May 2009. Cited by 22.Paper nº8: Barkowsky, M.; Staelens, N.; Janowski, L.; Koudota, Y.; Leszczuk M.; Urvoy, M.; Hummelbrunner, P.; Sedano, I.; Brunnström, K., ¿Subjective experiment dataset for joint development of hybrid video quality measurement algorithms¿, QoEMCS 2012 - Third Workshop on Quality of Experience for Multimedia ContentSharing, Berlin, Germany, 2012. Cited by 6.Paper nº9: Iñigo Sedano, Gorka Prieto, Kjell Brunnström, Maria Kihl, Jon Montalban, ¿Application of full-reference video quality metrics in IPTV¿, IEEE International Symposium on Broadband Multimedia Systems and Broadcasting 2017, June 2017.Las principales contribuciones de esta tesis son las siguientes:- En el capítulo 2 State of the art se ha generado mucha documentación con los conceptos fundamentales, se describen métricas objetivas, se menciona una contribución del autor de una aplicación para calcular la calidad de vídeo en base a un fichero XML generado por herramientas del VQEG (Video Quality Experts Group) y se describen las bases de datos de vídeos públicas utilizadas durante el desarrollo de la tesis.- En el capítulo 3 Selection and application of full-reference metric se han conseguido los siguientes logros: comparativa entre métricas full-reference públicamente disponibles, desarrollo de una aplicación para reconstruir videos decodificados incompletos y análisis de aplicabilidad de la recomendación ITU-R BT.1789 (replicación del escenario de la recomendación, realización de pruebas de rendimiento en distintas máquinas y desarrollo de una herramienta para visualizar los resultados gráficamente).- En el capítulo 4 Development of no-reference metric se generó una base de datos para entrenamiento y validación del modelo no-reference basándose en una métrica full-reference denominada VQM. Posteriormente con esas bases de datos se desarrolló el modelo no-reference bitstream real-time que se presenta en la tesis. Esto constituye una novedosa estrategia de desarrollo de modelos no-reference, al basarse su desarrollo en métricas full-reference.Del desarrollo de la tesis se extraen las siguientes conclusiones:- La monitorización de IPTV basada en métricas full-reference en el transmisor en presencia de pérdidas de paquetes se puede realizar solamente cuando se combina con otro tipo de evaluación (no-reference, hybrid o reduced-reference) de tal manera que solo los videos en los que exista duda o interés especial se evalúen con la métrica full-reference.- Del estudio de aplicabilidad de métricas full-reference en el receptor para monitorizar una red IPTV se deduce que esa técnica se puede utilizar hoy en día porque tiene la ventaja de procesamiento descentralizado de la calidad del vídeo (se puede hacer en los receptores). Sin embargo esta técnica tiene un inconveniente que es que requiere un ancho de banda adicional en la red y el uso de conexiones unicast dedicadas.- Una de las conclusiones es que es posible utilizar métricas full-reference para acelerar el desarrollo de métricas no-reference. En la tesis se explica como se puede realizar dicho procedimiento.- De la comparativa de métricas full-reference realizada en la tesis se extrae la conclusión de que la métrica full-reference VQM es la mejor métrica entre las estudiadas para el caso de referencia comprimida (se usa como referencia para la métrica el vídeo que se ha comprimido y descomprimido) y pérdidas de transmisión. También parece según el análisis que utilizar una referencia comprimida proporciona más precisión que utilizar una referencia que no se ha comprimido,cuando se estudian distorsiones causadas por pérdida de paquetes. Sin embargo, esta última conclusión debe ser confirmada por estudios futuros.Finalmente se mencionan las líneas futuras, que consisten fundamentalmente en el estudio de modelos híbridos no-reference donde se consideran tanto parámetros de red así como aquellos extraídos del vídeo como el propio vídeo decodificado.