HILLA & AR

Download the free Arilyn-app from the app store and scan the book’s cover. While scanned, the inside part of the cover reveals another tree with which it’s possible to play with sounds!

WHAT IS AR AND WHY?

Cooperation with Aalto and Turku Universities, begun in 2017, has been a multidisciplinary effort researching interactive technologies with the aim of enhancing children’s experience and education in art. The aim has been to research and develop the borderline between traditional children’s culture and new technology. Adding the discourse and co-operation between artists and scientists by bringing the interactive technology to Hilla-works has enabled a cooperation project with Aalto University and Turku University.

The first result of the cooperation was Iivari, an interactive, virtual character created for Taikaa vai teknologiaa (Magic or Technology) concert in Espoo in 2017. Hilla And The Mysterious Ash Tree in 2019 followed up with more AR technology using the Finnish Arilyn App.

A new interactive app, based on the Hilla And a Mysterious Ash Tree musical story, is being developed in 2020 in cooperation with The Laser scanning unit of Aalto University.  The app is an interactive platform that encourages the user to experiment with a wide range of prerecorded acoustic sound effects and interactively create vocal and visual elements.

The rest of this page is about the development of different technologies used throughout Hilla’s world. For the time being it is only available in Finnish, however all the videos and pictures are still well worth a look! For more information please visit the contact page and ask any questions you might have.

Hilla ja salaperäinen saarni

AR- ja 3D-tuotannon kehittäminen: Aalto-yliopisto ja Suomen Akatemia (laserkeilaustutkimuksen huippuyksikkö ja STN Combat)

Sebastian Aho, 3D-artisti

Marika Ahlavuo, tiedetuottaja

Hannu Hyyppä, 3D Supervisor

Kustannusosakeyhtiö Teos

VIRTUAALIHAMO IIVARI

Virtuaalihahmo Iivari syntyi vuonna 2017 yhteistyössä Hilla-työryhmän sekä Turun yliopiston Tulevaisuuden teknologioiden laitoksen ja Aalto-yliopiston laserkeilaustutkimuksen huippuyksikön kanssa. Mukana olivat Turusta tutkijat Tuomas Mäkilä ja Kaisa Könnölä sekä Aalto-yliopistosta Hannu Handolin, Matti Kurkela, tiedetuottaja Marika Ahlavuo sekä professori Hannu Hyyppä. Iivari esiintyi ensimmäisen kerran konsertissa Taikaa vai teknologiaa Espoossa Lasten taidefestivaali Kutituksessa 6.-7.10.2017.

Iivari on mukana myös Hilla ja salaperäinen saarni -konserteissa.

IIVARIN SYNTY – Mitä, miksi ja miten

Kysymykset sinkoilivat ilmassa ensimmäisissä kohtaamisissa tieteen tutkijoiden ja taiteilijoiden tavatessa. Tapaamisissa Turun yliopiston Tulevaisuuden teknologioiden laitoksella pohdittiin ja selvitettiin, mikä teknologia toisi parhaiten uusia elementtejä ja sisältöä konserttikokonaisuuteen. Iso linjaus ja rajaus tehtiin päätettäessä, ettei yleisöllä ole mitään laitetta esillä konsertin aikana. Tällöin rajattiin pois mm. sovelluksen kehittäminen, joka olisi voinut ohjata konsertin kulkua.

VR- ja AR -teknologioista väitellyt Turun yliopiston tutkija Tuomas Mäkilä toi keskusteluun esille visuaaliset elementit oman erikoisalansa näkökulmasta. Keskustelu syveni myös vuorovaikutuksen merkitykseen elämyksellisyyden lisäksi ja päädyimme ideaan luoda hahmo, joka olisi osa konsertin esiintyjäryhmää. Hahmon tulisi kyetä olemaan vuorovaikutuksessa yleisön ja esiintyjien kanssa. Vuorovaikutteisuutta lähdettiin hakemaan aluksi liikkeet tunnistavan Kinect-kameran avulla Kaisa Könnölän ja Seppo Helteen kanssa.

Projektin etenemiseen tarvittava 3D-mallinuksen osaaminen löytyi sattumien summana avautuneesta yhteistyöstä Aalto-yliopistosta, Rakennetun ympäristön laitokselta. Laserkeilaustutkimuksen huippuyksikön huipputiimi: Hannu Hyyppä, Matti Kurkela, Hannu Handolin ja Marika Ahlavuo lähtivät ennakkoluulottomasti yhteistyöhön mallintamaan kuvittaja Sari Airolan piirtämää fiktiivistä hahmoa – jotain, mitä rakennetun ympäristön laitoksella ei oltu aiemmin tehty. Mallintamisen edetessä hahmolle syntyi persoona ja se nimeytyi Iivariksi.

Mikä hahmosta tekee inhimillisen ja sympaattisen?

Kehitystyön edetessä esille nousi voimakkaasti teknisten ratkaisujen rinnalle inhimillisyys. Koko perheelle suunnatun konsertin hahmolta odotetaan sympaattisuutta ja lämpöä. Silmien katse, kasvojen liikkeet ja liikkeiden sulavuus ovat merkittäviä kokonaisuuden kannalta. Luonnosvaiheessa ollut häntä piti myös jättää pois lopullisesta mallista, koska liikkeet tunnistava kamera tunnistaa vain ihmisen raajat.

Lopulta Iivari siirrettiin Unity-alustalle, jossa se liikkui Kinect-kameran lisäksi animoituna. Tässä vaiheessa syntyi myös päätös, että Iivari kommunikoi äänettömästi vain elein. Yhteistyö Espoon Kulttuurikeskuksen teknisen henkilökunnan kanssa mahdollisti lopulta Iivarin heijastamisen neljälle erilaiselle pinnalle, mikä mahdollisti Iivarin monipuolisemman käytön osana konserttikokonaisuutta. Esimerkiksi tyllikankaaseen heijastettu Iivari loi hologrammimaisen illuusion.

Iivari esiteltiin yleisölle ensimmäisen kerran Taikaa vai teknologiaa -konsertissa Espoossa Lasten taidefestivaali Kutituksessa syksyllä 2017. Kulttuurikeskuksen aulatilassa kävijät pääsivät tutustumaan ja leikkimään Iivarin kanssa Aalto-yliopiston Laserkeilausta 10 vuotta -näyttelyssä.

Iivari osana Hillan maailmaa

Iivarin kautta alkanut ja syntynyt yhteistyö tiede- ja taidemaailman välillä avarsi ja innoitti Hilla-työryhmää jatkamaan kehitystyötä taiteen ja tieteen tasavertaisen toiminnan eteen. Yhteistyön jatkuminen Aalto-yliopiston Laserkeilauksen huippuyksikön kanssa on mahdollistanut mm. AR-teknologian käytön myös myöhemmissä produktioissa.

Hanketta ovat tukeneet Suomen Kulttuurirahasto, Alfred Kordelinin säätiö ja Business Finland.