Ihmisen ja tietokoneen vuorovaikutus on noussut päättymässä olevan vuosikymmenen aikana tärkeäksi osaksi tietojenkäsittelytieteiden tutkimusta. Alan tutkimus vaatii tietoja monilta eri tieteenaloilta. Vaikka tietokonetekniikan kehitys on ollut jo pitkään hyvin nopeaa, samaan aikaan vuorovaikutus tietokoneen kanssa on kehittynyt yllättävän vähän ja hitaasti. Useimmat tietokoneiden käyttäjät ovat tottuneet ohjaamaan konettaan näppäimistöllä, ja hiiri on mukana kaikissa nykyaikaisissa tietokonepaketeissa. Tekniikan kehittyminen on tehnyt mahdolliseksi aiempaa monipuolisemmat vuorovaikutustavat, mutta tietomme niiden sovellettavuudesta ovat vielä hyvin vähäiset. Väitöskirjani aiheena on multimodaalinen ihmisen ja tietokoneen vuorovaikutus. Multimodaalinen käyttöliittymä tarkoittaa yleensä sellaista tietokoneen käyttöliittymää, jossa käytetään rinnakkain useita erilaisia syöttötapoja saman tehtävän suorittamiseen. Yksinkertainen esimerkki näistä käyttöliittymistä on puheohjaukseen perustuva sovellus, jossa toiminnan kohde valitaan karttakuvasta osoittamalla sitä sormella. Multimodaalisen käyttöliittymän erikoistapauksena voidaan pitää käyttöliittymää, jota ohjataan samanaikaisesti molemmilla käsillä. Tällöin puhutaan kaksikätisestä käyttöliittymästä. Olen tutkinut multimodaalisia käyttöliittymiä konstruktiivisen tutkimuksen avulla. Tutkimustani edeltävästä työstä olen esittänyt tietojenkäsittelytieteiden omien tulosten lisäksi myös niitä psykologian teorioita ja empiirisiä tuloksia, joista on apua multimodaalisten järjestelmien suunnittelussa. Iteratiivista ohjelmistokehitystä käyttäen olen toteuttanut kaksi prototyyppijärjestelmää, jotka molemmat ovat käyttöliittymältään multimodaalisia. Ensimmäinen järjestelmä on piirrosohjelma, jonka uusia työkaluja ohjataan molemmilla käsillä. Toinen järjestelmä on informaatiokioski, joka tunnistaa puhetta ja näytön koskettamiseen perustuvia eleitä. Pelkkä järjestelmien rakentaminen ei kuitenkaan vielä anna tietoa niiden toimivuudesta. Tämän vuoksi tutkimuksessani on myös empiirinen näkökulma. Prototyyppijärjestelmien toimivuutta on testattu käytettävyyslaboratoriossa vapaaehtoisten koekäyttäjien avulla, ja testeistä kuvatut videonauhat on analysoitu ongelmakohtien löytämiseksi sekä esittämieni uusien vuorovaikutustapojen vertailemiseksi nykyisin tapoihin. Tutkimukseni tärkeimpänä tuloksena ovat uudet vuorovaikutustekniikat, jotka on pyritty toteuttamaan siten, että ne vastaavat paremmin sitä todellista tehtävää, jota tietokoneen käyttäjä on tekemässä. Nämä tekniikat on toteutettu osana multimodaalista prototyyppiä ja ovat toiminnaltaan multimodaalisia. Tekniikoiden toimivuutta arvioitaessa on saatu empiirisiä tuloksia kaksikätisistä käyttöliittymistä, kosketusnäytön käytöstä ja nykyisten käyttöliittymien heikkouksista. Ensimmäisen prototyypin tekniikoilla on monia käyttökohteita kaavionpiirto-ohjelmissa ja tavallisissa oliopohjaisissa piirrosohjelmissa. Tekniikat eivät vaadi käyttämään toista ohjauslaitetta, mutta hyötyvät siitä. Toisen prototyypin tekniikat soveltuvat erityisesti julkisiin informaatiokioskeihin, joista haetaan nopeasti tietoa esimerkiksi kaupungin nähtävyyksistä. Molempien järjestelmien pohjalta on kehitteillä jatkoprojekteja, joissa multimodaalisuutta ja kehittämiäni vuorovaikutustapoja sovelletaan uusiin käyttökohteisiin.
