HILLA JA AR

Lataa ilmainen Arilyn-sovellus sovelluskaupasta ja skannaa kirjan kansi. Skannattaessa sisäkannesta aukeaa saarni, jonka kanssa voi leikkiä äänillä!

MIKÄ IHMEEN AR JA MIKSI?

Hilla-työryhmän kiinnostus kohtaamiseen ja vuorovaikutukseen monitaiteellisesti on saanut yliopistoyhteistyön kautta innoitusta myös uudesta teknologiasta. AR eli lisätty todellisuus (eng. augmented reality) on osa Hillan maailmaa. Lisätyn todellisuuden avulla Hilla-teoksiin on syntynyt täysin uusi kokemuksellinen taso, jossa perinteiset taiteen keinot ja uusi teknologia kohtaavat.

Työryhmä on tehnyt ennakkoluulotonta yhteistyötä Aalto-yliopiston ja Turun yliopiston kanssa tutkien mahdollisuuksia hyödyntää vuorovaikutteista teknologiaa osana lastentaide-elämyksiä ja taidekasvatusta. Vuodesta 2017 lähtien lähtökohtana on ollut tutkia ja kehittää rajapintaa perinteisen lastenkulttuurin ja uuden teknologian välille. Lisäämällä taiteen- ja tieteentekijöiden välistä keskustelua ja yhteistyötä sekä tuomalla vuorovaikutteinen teknologia osaksi Hilla-teoksia on avattu yhteistyö mm. Taideyliopiston ja Turun yliopiston Tulevaisuuden teknologioiden laitoksen välille.

Ensimmäisenä yhteistyön tuloksena syntyi vuorovaikutteinen virtuaalihahmo Iivari syksyllä 2017 Taikaa vai teknologiaa -konserttiin Espooseen. Vuonna 2019 ilmestyneessä Hilla ja salaperäinen saarni -kirjassa on hyödynnetty AR-teknologiaa suomalaisen Arilyn-sovelluksen kautta.

Vuoden 2020 aikana on aloitettu kehitystyö vuorovaikutteisesta sovelluksesta, joka pohjautuu Hilla ja salaperäinen saarni -musiikkisatukirjaan. Sovellus rohkaisee leikittelemään rikkaalla ääni-ilmaisulla akustisin instrumentein soitettujen efektiivisten äänten sekä oman ääni-ilmaisun kautta. Tässä yhteistyössä on ollut mukana myös Aalto-yliopiston laserkeilaustutkimuksen huippuyksikkö.

Hilla ja salaperäinen saarni

AR- ja 3D-tuotannon kehittäminen: Aalto-yliopisto ja Suomen Akatemia (laserkeilaustutkimuksen huippuyksikkö ja STN Combat)

Sebastian Aho, 3D-artisti

Marika Ahlavuo, tiedetuottaja

Hannu Hyyppä, 3D Supervisor

Kustannusosakeyhtiö Teos

VIRTUAALIHAMO IIVARI

Virtuaalihahmo Iivari syntyi vuonna 2017 yhteistyössä Hilla-työryhmän sekä Turun yliopiston Tulevaisuuden teknologioiden laitoksen ja Aalto-yliopiston laserkeilaustutkimuksen huippuyksikön kanssa. Mukana olivat Turusta tutkijat Tuomas Mäkilä ja Kaisa Könnölä sekä Aalto-yliopistosta Hannu Handolin, Matti Kurkela, tiedetuottaja Marika Ahlavuo sekä professori Hannu Hyyppä. Iivari esiintyi ensimmäisen kerran konsertissa Taikaa vai teknologiaa Espoossa Lasten taidefestivaali Kutituksessa 6.-7.10.2017.

Iivari on mukana myös Hilla ja salaperäinen saarni -konserteissa.

IIVARIN SYNTY – Mitä, miksi ja miten

Kysymykset sinkoilivat ilmassa ensimmäisissä kohtaamisissa tieteen tutkijoiden ja taiteilijoiden tavatessa. Tapaamisissa Turun yliopiston Tulevaisuuden teknologioiden laitoksella pohdittiin ja selvitettiin, mikä teknologia toisi parhaiten uusia elementtejä ja sisältöä konserttikokonaisuuteen. Iso linjaus ja rajaus tehtiin päätettäessä, ettei yleisöllä ole mitään laitetta esillä konsertin aikana. Tällöin rajattiin pois mm. sovelluksen kehittäminen, joka olisi voinut ohjata konsertin kulkua.

VR- ja AR -teknologioista väitellyt Turun yliopiston tutkija Tuomas Mäkilä toi keskusteluun esille visuaaliset elementit oman erikoisalansa näkökulmasta. Keskustelu syveni myös vuorovaikutuksen merkitykseen elämyksellisyyden lisäksi ja päädyimme ideaan luoda hahmo, joka olisi osa konsertin esiintyjäryhmää. Hahmon tulisi kyetä olemaan vuorovaikutuksessa yleisön ja esiintyjien kanssa. Vuorovaikutteisuutta lähdettiin hakemaan aluksi liikkeet tunnistavan Kinect-kameran avulla Kaisa Könnölän ja Seppo Helteen kanssa.

Projektin etenemiseen tarvittava 3D-mallinuksen osaaminen löytyi sattumien summana avautuneesta yhteistyöstä Aalto-yliopistosta, Rakennetun ympäristön laitokselta. Laserkeilaustutkimuksen huippuyksikön huipputiimi: Hannu Hyyppä, Matti Kurkela, Hannu Handolin ja Marika Ahlavuo lähtivät ennakkoluulottomasti yhteistyöhön mallintamaan kuvittaja Sari Airolan piirtämää fiktiivistä hahmoa – jotain, mitä rakennetun ympäristön laitoksella ei oltu aiemmin tehty. Mallintamisen edetessä hahmolle syntyi persoona ja se nimeytyi Iivariksi.

Mikä hahmosta tekee inhimillisen ja sympaattisen?

Kehitystyön edetessä esille nousi voimakkaasti teknisten ratkaisujen rinnalle inhimillisyys. Koko perheelle suunnatun konsertin hahmolta odotetaan sympaattisuutta ja lämpöä. Silmien katse, kasvojen liikkeet ja liikkeiden sulavuus ovat merkittäviä kokonaisuuden kannalta. Luonnosvaiheessa ollut häntä piti myös jättää pois lopullisesta mallista, koska liikkeet tunnistava kamera tunnistaa vain ihmisen raajat.

Lopulta Iivari siirrettiin Unity-alustalle, jossa se liikkui Kinect-kameran lisäksi animoituna. Tässä vaiheessa syntyi myös päätös, että Iivari kommunikoi äänettömästi vain elein. Yhteistyö Espoon Kulttuurikeskuksen teknisen henkilökunnan kanssa mahdollisti lopulta Iivarin heijastamisen neljälle erilaiselle pinnalle, mikä mahdollisti Iivarin monipuolisemman käytön osana konserttikokonaisuutta. Esimerkiksi tyllikankaaseen heijastettu Iivari loi hologrammimaisen illuusion.

Iivari esiteltiin yleisölle ensimmäisen kerran Taikaa vai teknologiaa -konsertissa Espoossa Lasten taidefestivaali Kutituksessa syksyllä 2017. Kulttuurikeskuksen aulatilassa kävijät pääsivät tutustumaan ja leikkimään Iivarin kanssa Aalto-yliopiston Laserkeilausta 10 vuotta -näyttelyssä.

Iivari osana Hillan maailmaa

Iivarin kautta alkanut ja syntynyt yhteistyö tiede- ja taidemaailman välillä avarsi ja innoitti Hilla-työryhmää jatkamaan kehitystyötä taiteen ja tieteen tasavertaisen toiminnan eteen. Yhteistyön jatkuminen Aalto-yliopiston Laserkeilauksen huippuyksikön kanssa on mahdollistanut mm. AR-teknologian käytön myös myöhemmissä produktioissa.

Hanketta ovat tukeneet Suomen Kulttuurirahasto, Alfred Kordelinin säätiö ja Business Finland.