Download
Download (PDF)Lizenz
Dieses Werk steht unter einer Creative Commons Namensnennung 3.0 Deutschland Lizenz .
Bachelorarbeit am Lehrstuhl für Datenverarbeitung, Technische Universität München, 2011
Despite continuing research on the development of better quality metrics, subjective tests are still indispensable for the assessment of video quality. These tests are both time-consuming and expensive and require installing a suitable laboratory that fulfills the corresponding ITU recommendations. In this thesis the use of crowdsourcing in conjunction with the internet-based performing of such tests shall be examined comparing the results of such a test and the results of conventional laboratory tests.
For performing this test the web-based software QualityCrowd was developed, which allows the simple planning and conducting of subjective tests. The software uses Amazon’s crowd-sourcing platform Mechanical Turk to assign the assessment of the videos to the crowd. Amazon provides the infrastructure for distibuting large numbers of almost any task and paying the workers afterwards.
Another aspect is the evaluation of the technical issues that arise from an internet-based video test. In particular, the problems concerning the compression, delivery and playback of the videos in the participants’ browsers are discussed. After considering the various possibilities, a decision in favour of lossless compression using H.264/AVC and playback with Adobe’s Flash Player is taken.
The gathered data show very high correlation with the data from the laboratories they are compared with. Although there are also some significant deviations, the results in general are quite promising and indicate the suitability of the use of crowdsourcing for subjective video tests. Even though the test could not be conducted publicly and the workers be paid, the costs of a test like this one are estimated. It shows that – compared to conventional laboratory tests – a clear cut in costs can be achieved.
Subjektive Tests zur Messung von Videoqualität sind – trotz intensiver Forschung zur Entwicklung besserer Metriken – nach wie vor unabdingbar. Diese Tests sind im Regelfall sowohl zeitaufwendig als auch kostenintensiv und erfordern die Einrichtung eines Testraums nach den entsprechenden ITU-Normen. Eine neue Idee ist der Einsatz von Crowdsourcing in Verbindung mit der internetbasierten Durchführung solcher Tests. In der folgenden Arbeit wird untersucht, inwiefern auf diese Weise durchgeführte Tests mit konventionellen Labortests ver- gleichbare Ergebnisse liefern können, obwohl die strenge Einhaltung der Testbedingungen und -methodiken im Internet naturgemäß nicht gewährleistet ist.
Für die Durchführung der Qualitätstests wurde die webbasierte Software QualityCrowd entwickelt, die eine einfache Planung und Abwicklung solcher Tests ermöglicht. Die Software verwendet für die Durchführung der Videotests Amazons Crowdsourcing-Plattform Mechanical Turk. Dieser Dienst stellt eine Infrastruktur zur Verfügung, die es ermöglicht, eine große Zahl von nahezu beliebigen Aufgaben von Menschen im Internet bearbeiten zu lassen. Darüber hinaus ist ein System zur Vergütung der geleisteten Arbeit angeschlossen.
Ein weiterer Aspekt ist die Evaluation der technischen Möglichkeiten für solche Tests, insbesondere im Hinblick auf Videokompression, Auslieferung und Wiedergabe der Testsequenzen im Webbrowser des Teilnehmers. Nach ausführlicher Betrachtung der möglichen Alternativen wird die Entscheidung für die verlustfreie Kompression unter der Verwendung von H.264/AVC und die Darstellung der Videos durch den Adobe Flash Player getroffen.
Die im Rahmen dieser Arbeit erhobenen Ergebnisse weisen eine sehr hohe Korrelation mit ebenfalls vorliegenden Vergleichsergebnissen aus herkömmlicher Testpraxis auf; es wurden allerdings auch einige signifikante Abweichungen festgestellt. Die trotzdem insgesamt vielversprechenden Ergebnisse lassen auf die grundsätzliche Eignung des Einsatzes von Crowdsourcing für derlei Videotests schließen. Obwohl im Rahmen dieser Arbeit auf eine öffentliche und bezahlte Durchführung des Test verzichtet werden musste, konnten die Kosten des Test abgeschätzt werden. Es zeigt sich dabei, dass die erhoffte deutliche Kosteneinsparung tatsächlich erreicht werden kann.