Performance Measurement in Opera Companies: Comparing the Subjective Quality Judgements of Experts and Non-experts

Sabine Boerner, Sabine Renz

Sabine Boerner is Management Chair at the University of Konstanz, Germany. Her research interests are organizational behaviour and management, including leadership studies, strategic management, organizational innovation and the management of cultural industries. She has published several books and journal articles on organizational behaviour and management.
Sabine Renz is a research associate in the Department of Politics and management at the university of Konstanz, Germany, specializing in strategy and leadership.

ABSTRACT 
The authors focus on operagoers’ subjective judgements of performance quality. They use two questions to measure the extent of experts’ and non-experts’ agreement on individual performance evaluations: How much agreement is there among experts and among non-experts in their subjective judgements of opera performance? How much agreement is there between experts and non-experts in their subjective judgements of opera performance? Hypotheses about similarities and differences in experts’ and non-experts’ subjective judgements are tested in a field study (N = 140). The findings of this first field study of performance evaluation in opera suggest that reliable judgements can be obtained from both experts and non-experts. However, the experts were found to have more differentiated judgements, discerning more aspects of an opera performance than the non-experts. The authors draw conclusions for further research on the evaluation of quality in opera and for opera management.
KEYWORDS
Experts, opera, performance evaluation, performance quality
RÉSUMÉ
Les auteures s’intéressent aux jugements subjectifs que porte le public des opéras sur la qualité des performances. Elles utilisent les deux questions suivantes pour mesurer jusqu’à quel point correspondent les évaluations des experts et des non-experts : Dans quelle mesure y a-t-il concordance chez les experts et chez les non-experts dans leurs jugements subjectifs de la performance d’un opéra? Dans quelle mesure y a-t-il concordance entre les experts et les non-experts dans leurs jugements subjectifs de la performance d’un opéra? Des hypothèses sur les similitudes et les différences dans les jugements subjectifs des experts et des non-experts sont testées dans une étude sur le terrain (N = 140). Selon les résultats de cette première étude de l’évaluation de la performance dans le domaine de l’opéra, il semblerait possible d’obtenir des jugements fiables à la fois des experts et des non-experts. Toutefois, l’étude a révélé que les experts posaient des jugements plus différenciés, discernant plus d’aspects de la performance d’un opéra que les non-experts. Les auteures présentent enfin des pistes de recherche future sur l’évaluation de la qualité en matière d’opéra et sur les pratiques de gestion dans ce domaine.
MOTS CLÉS 
Experts, opéra, évaluation de la performance, qualité de la performance
RESUMEN 
Los autores analizan las apreciaciones subjetivas que se forman los asistentes a la ópera respecto a la calidad de la interpretación, mediante dos interrogantes que miden el acuerdo entre expertos y no expertos sobre la evaluación de interpretaciones particulares: ¿qué grado de acuerdo existe dentro del grupo de expertos y dentro del grupo de no expertos en sus apreciaciones subjetivas de la interpretación operística? ¿Qué grado de acuerdo existe entre expertos y no expertos en sus apreciaciones subjetivas de la interpretación operística? Las hipótesis sobre las semejanzas y diferencias en las apreciaciones subjetivas de expertos y no expertos se ponen a prueba en un estudio de campo (N = 140). Los resultados de este primer estudio de campo de la evaluación de la interpretación en la ópera sugieren que es posible obtener apreciaciones fiables tanto de los expertos como de los no expertos. Aún así, se observó que los expertos se forman apreciaciones más particularizadas, pudiendo discernir más aspectos de la interpretación operística que los no expertos. Los autores extraen conclusiones con miras a investigaciones ulteriores sobre la evaluación de la calidad de la ópera y para la gestión de esta actividad.
PALABRAS CLAVE 
Expertos, ópera, evaluación de la interpretación, calidad de la interpretación