Eberhard Höll

Virtuell studio.

De samlade resurserna i Konsthögskolans video- och dataavdelningarna är betydande. Vi förfogar över studios för: bildbehandling, 3D animation (3D scanner), tecknad film, inspelning, kamerabaserad animation, ljud, redigering och mycket avancerad postproduction.

Projektets syfte är att med nuvarande resurser som plattform, etablera ett experimentellt medialab, som utforskar gränsmarkerna för den rörliga bilden och utveckla ett nytt berättarspråk. Ändå upplever vi att vår kompetens inte är nog, vilket föranledde oss att söka allianser. Således knöt vi kontakter till olika institutioner:
1) Inom landet: KTH, DI
2) I Tyskland: GMD
3) På den industriella sektorn förväntar vi oss ett livligt meningsutbyte med de ledande TV-stationerna SVT och TV4, samt med kommunikationsexperter hos Eriksson, Telia och Teracom

Virtual Sets: Här bör påpekas att det idag inte finns ett enda system i Sverige, vare sig i ett forskningslab, eller hos TV-stationerna. Vi bedömer detta som allvarligt, då man frånhänder sig, bland mycket annat, möjligheten att växa in i ett helt nytt bild- och berättarspråk.
Tekniskt sett finns här ett brett spektrum av forskningsinsatser, ämnat att vidareutveckla tekniken: Motiontracking, bättre algoritmer för texturemapping, bättre kompressionsalgoritmer för bredbandsöverföring och lösning av audio - video fördröjningsproblemen.

Just möjligheten att importera bildmaterial, öppnar vägen till en distribuerad miljö. Vår partner i Tyskland, som också förfogar över en studio, är ivrig att komma igång med forskning kring distribuerad produktion och i dess förlängning arbete med helt nya koncept för distance learning och distance teaching. Dessa aktiviteter passar särskilt väl in i ett antal svenska forskningsprojekt hos KTH och där framförallt i den befintliga Stockholm - Silicon Valley Länken och det Wallenberg initierade Global Learning projektet.

Eberhard Höll, Kungliga Konsthögskolan, Stockholm

Kungliga Konsthögskolan tvingades 1978 bort från sin huvudman, Akademien för de fria konsterna och in i den statliga högskoleorganisationen. I efterhand kan man tacksamt notera, att detta var startskottet för en grundläggande omdaning av skolan i riktning mot samtida kunskaper. Under drygt ett decennium befann sig skolan i en intensiv pedagogisk utvecklingsfas, som konsoliderade gamla tekniker, främjade teoribildningen och införde ny teknik.

För oss som konstnärer och nykomlingar i dessa sammanhang, var detta en lärorik period. Vi fick tillgång till ett nätverk av kompetenta människor i olika discipliner, som alla verkade ha olika behov av vår expertis. Detta, i samband med den ständigt pågående förändringen i konsten, gav oss anledning att ompröva våra positioner i synnerhet i digitala , tidsbaserade medier.

I andra hälften av 90-talet började vi således planera för en forskningsplattform tack vare ett utredningsanslag från Riksbankens Jubileumsfond. Det verkade synnerligen intressant att utöka våra redan omfattande kunskaper i digitala medier med virtuella scenografier, som inte bara gav löfte om en ny konstnärligt potential, utan erbjöd tillfällen till samarbeten med ett flertal aktörer. Samtidigt var och är området en spetsteknologi med hög status.

Samarbetet med KTH bland annat inom ramen för "Global Learning" projektet drog ut på tiden, pga. att KTH missade att ansluta oss till det erforderliga höghastighetsnätet. SVT frös helt plötsligt våra kontakter, samtidigt som de tillsammans med KTH och Chalmers planerade en egen Virtuellstudiolösning. TV4 ville gärna samarbeta, men på ett mycket lägre plan. För dem räckte det med TV-grafik.

Vi undrade naturligtvis, om allt detta var utslag av forskningspolitik, om vi som nykomlingar helt enkelt hade varit för naiva, eller om vi över huvud taget skulle lämna konstens elfenbenstorn och beblanda oss med andra.

Som tur, så fungerade vårt samarbete med GMD i Tyskland klanderfritt, även om det fanns störningsmoment i, att de under samarbetstiden uppgick i Fraunhofer Instituten och därmed blev delvis affärsdrivande. Under samarbetstiden skiftade också nättrafikstandarden från ATM till IP, vilket gjorde det mycket svårare att skaffa tillräckligt bandbredd för våra större produktioner.

Situationen med GMD var följande: Man hade utvecklat ett trackingsystem och på kort tid tagit över den kommersiella marknaden och nu ville man även konkurrera med sin programvara. Vårt samarbete blev således snabbt en testbädd för att utforska gränserna för tekniken. Det skall naturligtvis inte förtigas att vi orienterade oss prestanda- och kvalitetsmässigt mot den marknadsledande applikationen (VIZ-RT, ett programpaket, som också finns installerad i vår studio).

KKH's roll blev att initiera förändringar i riktningen mot en helt fri berättarmiljö, helst utan några som helst begränsningar. GMD's utvecklarteam å sin sida, försökte att realisera våra förslag och implementerade en hel del i deras programpaket: 3DK.

Rent praktiskt inledde vi samarbetet med, att skicka vår studiooperator på en 3 månaders skolning till Tyskland. Under tiden byggde vi studion, installerade alla system med hjälp av tyska tekniker, som i omgångar besökte oss. Nästa steg var att ha deras chefsutvecklare hos oss under 3 månader, just för att lära känna varandras sätt att arbeta och komma igång.

Vi var mycket mån om att ha kompatibla system i Stockholm och i Bonn, dels för att ha perfekta förutsättningar för distribuerade produktioner, samt dels för att underlätta det tekniska underhållet av vår studio över nätet. Just nätet var livlinan i vårt samarbete. Här utbytte vi idéer, testade applikationer, chattade och övervakade systemen. På så sätt kunde vi minimera behovet av att träffas i person, till en överkomlig nivå, dvs. i olika konstellationer ca 2 gånger om året.

Ett uttryck för våra olika kulturer är naturligtvis skillnaden i att redovisa resultat. För GMD's del är det publikationer av olika slag, medan vi redovisar konstnärliga verk. I bägge fallen redovisar man en eller fler författare, men alltid från samma håll, fastän vi under 3 års tid har aktivt deltagit i varandras arbeten. Därför översänder vi både en tysk publikationslista och en svensk DVD med en kompilering av olika konstprojekt. Här kan nämnas, att vi även samarbetade med Dramatiska Institutet.

Slutet av projektet blev något abrupt: Trots löften av den ansvariga ministern att garantera en fortsatt existens av plattformen, fick vi inga extra anslag. Än en gång kom Riksbankens Jubileumsfond till vår undsättning med medel, att trygga en övergångsperiod.

Idag har vi skalat bort all icke konstnärlig aktivitet och (fortfarande med hjälp av GMD) renodlat den virtuella studion till våra syften:
Vi arbetar inte längre i realtid. Då vi inte har tillgång till en sändare, är realtid bara en onödig kvalitetssänkande teknik. I stället har vi utarbetat procedurer och arbetsflöden mellan studion och våra postproduktions faciliteter, vilket ger oss betydligt bättre bildkvalité, ett flexibelt verktyg att snabbt spela in och ett drastiskt minskad behov av tekniska kunskaper. Man kan säga, att vi har lyckats med övergången från forskning till undervisning och produktion.

SAMMANSTÄLLNING AV PRODUKTIONER SOM HAR GJORTS PÅ VIRTUELLA STUDION

2000
1. utdrag ur virtuell studio-version av Anton Tjechovs "Måsen" ref: anders molander. beställt av KKH/video-VS för invigning.
2."Dit bubblorna far" av Helene Berg. KKH-projekt.
 3. "Interstellar" av Andre Sinnemark/Robert Hennings.KKH-projekt

 2001:
"Mobile Internet" av Image Research, ref: Jim Gartz
"Musikvideo" av Mange& matilda Alborn ( DI:s TV& Produktionslinje )
"Hjärnjakten" av Matilda Alborn& Mange ( DI:s TV& Produktionslinje )
"En plats du behöver" av Ditte Feuk ( DI:s TV& produktionslinje )
Jan Hietala/Hinden Filmproduktion

2002:
"Kung Fu" av Theo Gedda & crew,  Graphic Studio i samarbete med Ola Lundin/3D World Development
"Malte" av Mia Askelund& crew  ( Graphic Studio )
"Narva-projektet" crew från Graphic Studio
"the Love Lounge" av Andreas Meschke/Graphic Studio
"The Virtualizer" av Michel Voss
”Return of the monster” Adam Valkare

Papper som publicerades  under samarbetstiden av GMD, numera IMK, Fraunhofer Institut

2004
Interactive Virtual Set Applications for Post Production
Jens Herder, Wolfgang Vonolfen, Arnfried Griesert, Stefan Heuer, Ansgar Hoffmann, and Bern Höppner
Proceedings of the Figth International Conference on Human and Computer, HC-2004, pp 59-65

2003
Real-time Tracking of Moving Objects for Virtual Studios in TV and  Cinema Production Sets
Florica Mindru, Wolfgang Vonolfen, Ulrich Nuetten
Ercim News no. 55, 2003, pp 28-29, Sophia-Antipolis Cedex, ISSN  0926-4981

2002
Virtuelle Studios im interaktiven digitalen Fernsehen, 31.1.2002, H1.1, 18:00
Das medienFORUM der Fachhochschule Düsseldorf

*Abstract*
Seit den Anfängen des Fernsehens hat es immer wieder Sendungen gegeben, die Interaktionen mit den Zuschauern enthielten. Sie weisen allerdings zwei
grundlegende Probleme auf. Zum einen muss man für den Räckkanal auf ein anderes Medium (z.B. Telefon) ausweichen, da analoges Fernsehen per se
monodirektional ausgelegt ist. Zum anderen ist nur eine Interaktion ohne direkte Synchronisation mit den gerade ausgestrahlten Bildern möglich. Dadurch
werden die interaktiven Möglichkeiten eingeschränkt. Mit der Einführung des digitalen Fernsehens sind diese Probleme lösbar. Insbesondere in Kombination
mit Virtuellen Fernsehstudios auf der Produktionsseite eröffnen sich neue Formen für interaktive Formate, da selbst einzelne Bildbestandteile mit
Interaktionen verknüpft werden können und da die Reaktionen der Zuschauer auch direkt wieder in das Bild einfliessen können. Der Vortrag erläutert die
Verwendung von Virtuellen Studios für interaktives digitales TV. Er beschreibt eine Implementierung, die auf der Multimedia Home Platform
MHP-Set-Top-Box zusammen mit einem Virtuellen Studiosystem beruht. Verschiedene Interaktionsbeispiele werden vorgestellt und erörtert.

2001
Using Virtual Studios for Interactive Digital TV
Invited Speaker at Human and Computer '2001, AIZU/Tokyo Japan
The Journal of Three Dimensional Images, Vol  15 No.4 (2001.12)(Part I)

*Abstract*
Since the early days of TV broadcast there have also been forms of interactive TV shows. However, they all show two basic problems. First, for the feed-back one must rely on media other than the analog TV (e.g. phone) which hampers the viewer's participation. Second, interaction takes place separated from the image currently broadcast. These problems are no more significant when moving from analog to digital TV. Especially in combination with the usage of Virtual Studios a variety of new interactive formats are possible because even parts of the image can be associated with interactive features and because feed-back can directly affect the image again. This paper shows solutions of how to use Virtual Studio for interactive digital TV. It describes an implementation that relies on the Multimedia Home Platform MHP-Set-Top-Box and a Virtual Studio system. Various examples for interaction are introduced and discussed.

Vollständig interaktive Anwendungen für das digitale Fernsehen
Tikwinski, Thomas; Vonolfen, Wolfgang
Fernseh und Kinotechnik/ FKT, Bd. 55, Nr, 8-9, (2001), S. 522-526

2000
Kollision zweier Welten - Virtuelle Studios der GMD am Beispiel
Autor(en): Griesert, A.; Nütten, U.; Vonolfen, W.
Digital production 4, Nr, 3 (2000) ISSN 1433-2620