Photogrammetry and augmented reality for cultural heritage applications

Authors


Abstract

Virtual modelling and 3D reconstruction are common tools used in the field of cultural heritage to recreate, analyse and visualise large objects (for example, archaeological sites and architectural buildings) and small objects such as sculptures, ceramic tiles or silver, marble and wooden artefacts. At present, it is possible to apply different technologies to achieve accurate photo-realistic 3D models. On the one hand, the precise modelling of existing 3D data is usually difficult and expensive as “reality” is complex per se; the more complex the object, the more complex the model. On the other hand, models are often achieved with the purpose of visualising the past state of monuments that nowadays are no longer fully conserved. In this sense, “augmented reality” (AR) technology can play an important role in cultural heritage. First, it permits the simultaneous viewing of both virtual and real 3D data. Second, the modelling of the entire object is no longer necessary. Third, it is possible to have full “immersion” of the viewer. This paper overviews the new technology of AR, as used in the world of cultural heritage to display past (now partially or totally lost) and present scenes together. It goes on to describe some practical experience of applying AR to the re-creation of two features, a Baroque vault and a Renaissance reredos, formerly present above the high altar of Valencia Cathedral in Spain.

Résumé

La modélisation virtuelle et la reconstruction 3D sont des outils couramment utilisés dans le domaine du patrimoine culturel pour recréer, analyser et visualiser de grands objets (par exemple des sites archéologiques et des édifices architecturaux), et des objets plus petits comme des sculptures, des carreaux de céramique et de l’artisanat en argent, en marbre ou en bois. A présent, il est possible d’appliquer différentes technologies pour réaliser des modèles 3D précis et visuellement réalistes. D’un côté, la modélisation précise d’objets 3D existants est généralement difficile et coûteuse car la «réalité» est complexe en elle-même; plus l’objet est complexe, plus le modèle est complexe. D’un autre côté, les modèles sont souvent réalisés afin de visualiser l’état passé de monuments qui ne sont plus entièrement conservés. C’est pourquoi la technologie de la «réalité augmentée» (RA) peut jouer un rôle important pour le patrimoine culturel. Tout d’abord, elle permet la visualisation simultanée des données virtuelles et réelles. Ensuite, il n’est plus nécessaire de modéliser l’objet entier. Enfin, elle permet une totale «immersion» de l’observateur. Cet article fait le point sur la nouvelle technologie de la RA et sur son usage dans le monde du patrimoine culturel pour la visualisation simultanée de scènes passées (partiellement ou entièrement disparues) et présentes. Par ailleurs, il montre et commente des expériences ayant utilisé la RA pour la restauration de deux objets qui ont jadis fait partie de l’autel principal de la cathédrale de Valence (Espagne), une voûte baroque et un retable renaissance.

Zusammenfassung

Virtuelle Modellierung und 3D Rekonstruktion werden sehr oft als Werkzeuge für die Denkmalspflege eingesetzt, um Objekte nachzubilden, sie zu analysieren oder zu visualisieren. Die Objekte können groß sein, wie archäologische Stätten oder architektonische wertvolle Gebäude, oder aber auch klein wie Skulpturen, oder Artefakte aus Silber, Marmor oder Holz. Gegenwärtig gibt es verschiedene Technologien um genaue, fotorealistische 3D Modelle solcher Objekte zu erhalten. Einerseits ist die genaue Modellierung existierender 3D Daten üblicherweise schwierig und teuer, da die “Realität” per se komplex ist, und je komplexer das Objekt ist, um so komplexer wird das Modell. Andererseits werden Modelle oft erfasst, um einen früheren Zustand von Denkmälern zu visualisieren, die heutzutage nicht mehr voll erhalten sind. In diesem Sinne kann “Augmented Reality” (AR) eine wichtige Rolle in der Denkmalspflege spielen. Erstens erlaubt es die simultane Visualisierung von virtuellen und realen 3D Daten. Zweitens ist hierzu eine Modellierung des kompletten Objektes nicht mehr erforderlich. Drittens ist eine volle Integration des Betrachters möglich. In diesem Beitrag wird ein Überblick über die neue Technologie AR in der Welt der Denkmalspflege gegeben, um frühere, jetzt teilweise oder vollständig verschwundene Ansichten und aktuelle Ansichten gemeinsam zu visualisieren. Am Beispiel der Anwendung von AR zur Restaurierung eines barocken Gewölbes und eines Altarbildes aus der Renaissance, die früher Bestandteile des Hauptaltars der Kathedrale von Valencia waren, werden Erfahrungen reflektiert und diskutiert.

Resumen

El modelado virtual y la reconstrucción 3D son herramientas comunes utilizadas en el campo del patrimonio cultural para recrear, analizar y visualizar objetos de pequeña escala (por ejemplo, sitios arqueológicos y edificios arquitectónicos) y de gran escala, como esculturas, baldosas de cerámica, o piezas de plata, mármol o madera. Actualmente, es posible aplicar diferentes tecnologías para adquirir modelos 3D fotorrealísticos precisos. Por una parte, el modelado preciso de datos existentes 3D es normalmente costoso y caro, ya que la “realidad” es compleja per se; a mayor complejidad del objeto, mayor complejidad del modelo. Por otra parte los modelos normalmente se adquieren con el objeto de visualizar un estado pasado de los monumentos que actualmente no se siguen conservando. En este sentido, la tecnología de realidad aumentada (RA) puede tener un rol importante al patrimonio cultural. En primer lugar, permite la visualización simultánea de ambos datos virtuales y reales. En segundo lugar, el modelado completo del objeto ya no es necesario. En tercer lugar, es posible experimentar una completa inmersión. Este artículo revisa la nueva tecnología de RA dentro del mundo del patrimonio cultural para visualizar de forma conjunta el pasado (parcialmente o totalmente inexistente) y el presente. Más aún, refleja y discute algunas experiencias después de aplicar la RA para recuperar dos elementos antiguamente presentes en el altar principal de la Catedral de Valencia, una bóveda barroca y un retablo renacentista.

Ancillary