Skip to content

Hermoverkon laitteiston merkitys ja miten hermoverkkoja ’ohjelmoidaan’

1 Laitteiden rakenteen merkitys

Tällä hetkellä keskustelu syviä hermoverkkoja simuloivista oppivista algoritmeista ( Deep Learning ) käy tosi kuumana,  ja keskusteluun osallistuu erilaisia ja eri alojen asiantuntijoita. Näyttää siltä, että suuremmalla osalla keskusteluun asiantuntijoina osallistuvista ei ole riittäviä pohjatietoja,  ja he eivät tiedä, että näin on.

Ensimmäinen ja akuutein tiedonpuutteen alue on käytettävän laitteiston merkitys lopputuloksen kannalta. Suuri osa puhujista eivät joko tiedä tai tajua sitä,  miten nykyisten tietokoneiden rakenne rajoittaa hermoverkkojen käyttömahdollisuuksia. Nykyisen tietokoneen perusrakenne on kehitetty 1940-luvulla,  ja se on säilynyt muuttumattomana tähän päivään saakka. Sen koko, komponenttien määrä ja teho ovat sitä vastoin kehittyneet hurjasti. Tämä rakenne – nimeltään keksijänsä mukaan von Neuman- arkkitehtuuri – on hyvin yksinkertainen. Se koostuu kahdesta osasta: suorittimesta ( tai laskimesta) ja muistista, jota sekaannuksen välttämiseksi kutsutaan keskusmuistiksi. Keskusmuistiin talletetaan sekä suoritusohjeet (ohjelma) että sen tarvitsemat lähtötiedot  ja suorituksen eri vaiheissa syntyneet tiedot.

Suoritin pystyy suorittamaan ohjelman yhden käskyn kerrallaan. Ohjelman suoritus etenee seuraavasti: Ohjelman käsky siirretään muistista suorittimeen. Sitten se suoritetaan. Tämä tapahtuu niin, että aluksi käsky hakee muistista tarvittavat (tyypillisesti kaksi) lähtötiedot. Sen jälkeen suoritin toteuttaa käskyn, esimerkiksi yhteenlaskun. Lopuksi käsky tallettaa lopputuloksen,  esimerkissä summan jonnekin keskusmuistiin. Suoritin osaa perulaskutoimitukset ja kahden luvun suuruusvertailun eikä sitten muuta.

Kun sitten tarkastellaan hermoverkkoa, sen toimitapa on tyystin toisenlainen. Jokainen hermosolu on periaatteessa suoritin, mutta sillä ei ole pelkästään kahta lähtötietoa,  vaan niitä voi olla jopa tuhansia samanaikaisesti. Hermosolun ’käskyjä’ ei haeta mistään, vaan ne ’sijaitsevat’ solussa itsessään,  samoin on laita lopputuloksen.

Kun tietokoneella jäljitellään hermoverkon toimintaa, se tarkoittaa sitä, että koko verkon kaikkien solujen tosin varsin yksinkertainen toiminta kirjoitetaan ohjelmaan,  ja kun tätä suoritetaan hermosolun reaktio – siis laskennan lopputulos – siirretään muistiin seuraavaa käyttöä varten. Näin siis deep learning algoritmi jäljittelee oikeaa hermoverkkoa laitteella, jossa on ainoastaan yksi hermosolu.

Oikeissa hermoverkoissa on muutamista tuhansista miljardeihin hermosoluihin. Aito hermoverkon toiminta on vahvasti rinnakkainen. Kun viesti siirtyy eteenpäin verkossa, tähän osallistuvat vähintään tuhannet hermosolut samanaikaisesti. Näin muutaman suoritusaskeleen jälkeen tähän ovat voineet osallistua kymmenet tai sadattuhannet hermosolut.

Tietokoneen suorittaessa hermoverkkosimulaatiota se toteuttaa yhdellä ’hermosolulla’ satojentuhansien solujen samanaikaisen operaation. Jokaista operaatiota varten ohjelman pitää joka suorituksen välissä hakea kyseisen solun tila, kaikki syötesignaalit keskusmuistista ja palauttaa syntynyt uusi tila takaisin keskusmuistiin ja jatkaa tätä niin kauan kuin jossain verkon solussa uusi signaali syntyy.

Neurosynaptinen kone sen sijaan toimii samalla tavalla kuin aito hermoverkko.

Näinpä Jepardy- kilpailun voittanut BM:n Watson on siis toteutettu perinteisillä tietokoneilla, joka koostui 750 kappaleesta 3.5 GHz POWER7 keskusyksikköjä, joissa on 8-ytiminen prosessori. Laitteiston keskusmuisti on 16 000 Gb. Laitteisto oli siis jättiläismäinen ja vastaa kutakuinkin noin 3000 perinteistä PC:tä. On selvää, että jos yhden kohtuullisen kapea-alaisen sovelluksen pyörittämiseen tarvitaan tällainen määrä kalustoa, ei tällainen teknologia voi tulla mitenkään yleisesti käyttöön.

Tässä vielä kuva konehuoneesta:

IBM jepardy tietokone

Vastaava neurosynaptinen kone on noin 1/100 000  tämän koosta ja energiankulutuksesta ja on noin tuhat kertaa tehokkaampi.

2 Järjestelmien toiminnat synnyttämisen luonne

Toinen sekaannusta aiheuttava asia on näiden neuroverkkojen ’ohjelmointi’. Suuri osa IT- ammattilaisista ei tiedä näistä riittävästi ja automaattisesti olettavat, että nämä ovat samanlaisia kuin tietokoneiden sovellusohjelmat, mutta todellisuus on tyystin erilainen. Kun koko tietokoneiden historian ajan ohjelmointi on ollut toiminnan pikkutarkkaa koodaamista, ja sovellus on toiminut täsmälleen aina niin kuin se on ohjelmoitu. Tästä mielikuvasta kumpuaa ilmaisut ”keinoälylle pitää ohjelmoida etiikka, että se ei ryhdy toimimaan ihmistä vastaan”. Tämä on kaunis ajatus, mutta kun sitä ei ole mitään mahdollisuutta toteuttaa.

Kun Watsonia on ’ohjelmoitu’ tuolle kuvassa näkyvälle tietokoneelle, siinä ohjelmassa ei ole kerrottu, miten Watson tietojen perusteella laatii vastauksia. Siinä ohjelmassa on kuvattu Watsonin hermoverkon toiminta. Sen ohjelmoijat tarvitsevat hyvin vähän tietoja siitä,  mitä Watson toimiessa tekee. Kun sitten hermoverkko on ohjelmoitu ja siis valmis, sitä ryhdytään opettamaan. Kun meillä on kissan hahmoja tunnistava hermoverkko, sitä opetetaan niin, että sen verkkokalvolle heijastetaan kaiken maailman kuvia,  ja sitten kun kuvassa on kissa, hermoverkon pitää reagoida  ’tässä’. Aluksi verkko ei osaa mitään, joten se arvaa väärin. Tässä vaiheessa verkolle kerrotaan, mikä kustakin kuvasta esittää kissaa,  mikä ei. Tämä opetus tallentuu hermoverkon synaptisiin painokertoimiin ja hermosolujen toiminnan ohjaukseen, kun se saa impulssin.

Näin hermoverkon oppiminen muistuttaa ihmisen oppimista. Kun kuvia käsitellään runsaasti, alkaa verkko tunnistaa  oikein aina suuremman ja suuremman määrän  kissankuvia. Se ei kuitenkaan koskaan pääse 100 %: iin,  ja se oppii aina lisää toimiessaan.

Jos nyt ajatellaan, että meillä on keinoälyinen robotti,  ja sille opetetaan ajoradan ylitys niin kuin ihmisellekin. Alkuvaiheessa se varmaankin ylittäisi kadun suojatien kohdalla varovaisesti, mutta kun siitä kehittyy kokenut tienylittäjä, saattaa olla hyvinkin, että se huomaa ja oppii tilanteita, joissa katu kannattaa ylittää suojateiden välissä, kun liikennettä ei ole.

Kun siis pyrimyksenä  on saada aikaan keinoäly, joka pystyy sopeutumaan vaihtuviin olosuhteisiin ja keksimään uusia parempia ratkaisuja, niin tämän tavoitteen varjopuoli, on  että me emme voi ennalta tietää,  miten se toimii ja toisaalta että  se tekee virheitä.

Tässä vielä tähän liittyvää ajakohtaista keskustelua: https://www.youtube.com/watch?v=f7apPVAcIZ0&list=PLAA2F7385208D3EBF&index=32

 

Mainokset

Nopea johdatus hermoverkko sovelluksiin ja älykoneisiin

Neuroverkkoihin tai toiselta nimeltään hermoverkkohin perustuva teknologia tulee suhteellisesti ottaen hyvin lyhyessä ajassa mullistamaan koko ihmiskunna kehityksen. Englanninkielinen maailma käyttää myös termiä cognitive computing Tämä muutos tulee olemaan vaikutuksiltaan merkittävämpi kuin koko tietotekniikan tähänastiset saavutukset modernein mobiiliteknologia mukaan lukien.

Ilmiöön perehdyttäessä tässä on kolme näkökulmaa, joiden kautta asiaa voi hahmottaa.

  1. Hermoverkkosovellusten teoria ja algoritmiset toteutukset perinteisillä von Neumann tietokoneilla ja tämän nykyiset Deep Learning toteutukset. Tämän teknologian innovaation ydin on itseoppivat sovellukset.
  2. Neurosynaptisen piirin keksiminen ja kehitys tähän päivää ja tämä teknologian näköalat tulevaisuuteen
  3. Kaiken edellä esitetyn sosioekonomiset vaikutukset.

Hermoverkkojen kehity

Hermoverkkojen matemaattisia malleja on ollut jo 1950- luvulta lähtien. Ensimmäisiä tietokoneella simuloituja teoreettisia hermoverkkoja on toteutettu 1980-luvulla. Suomessa näitä kehitti professori Teuvo Kohonen. Tässä vaiheessa tietokoneiden käsittelykapasiteetti ei riittänyt näiden ratkaisujen täyden voiman esittämiseen. Niinpä tämä tutkimus käynnistyi uudelleen Googlella 2006.

Tällä hetkellä näillä hermoverkoilla tehdään jo tosi näyttäviä juttuja. Tärkein kehityssuunta on itseoppivat järjestelmät ( angl. Deep Learning )

TIlanteesta saa varsin hyvä kuvan Jeremy Howard Ted Talkista:

The wonderful and terrifying implications of computers that can learn ( a TED-talk)

http://goo.gl/V6zOh4

Neurosynaptiset piirit ja koneet

Perinteisin tietokonein ja algoritmeillä on o päästy pitkälle, mutta pelipankin räjäyttää neurosynaptinen piiriteknologia. Tässä kehityksessä IBM on selkeästi edellä muita ja siis näyttää tietä. IBM perusti yhteistyökumppanien kanssa SyNAPSE -projektin ( ehkä 2008 ). Seuraavassa projetin vetäjän D Modhan esitys aiheesta vuodelta 2011:

Dr. Dharmendra S. Modha

KEYNOTE: Cognitive Computing: Neuroscience, Supercomputing, Nanotechnology

http://bit.ly/18y66z7  

Projektin nykytilaa esiteltiin IBM Deep Dive seminaarissa:

SyNAPSE Deep Dive 1 11.6.2015

https://goo.gl/zc1LFL

SyNAPSE Deep Dive 2 11.6.2015

https://goo.gl/32F2ng

SyNAPSE Deep Dive 3 11.6.2015

https://goo.gl/nat0w8

SyNAPSE Deep Dive 4 11.6.2015

https://goo.gl/6OgVQL

Tämä sosioekonomiset vaikutukset

Kaikella edellä olevalla tulee olemaan dramaattinen kiihdytysvaikutus jo tämän vuosituhannen käynnissä olevaan teknologisen työttömyyteen. Tämän keskustelun oikeastaan käynnistivät MIT-tutkija kirjallaan kilpajuoksusta konetta vastaan:

 

MIT:n professorin Erik Brynjolfsson ja tutkijan Andrew McAfee kirja:

Race Against the Machine: How the Digital Revolution is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy

http://amzn.to/15aDgjz

Näiden jatkoksi sopii hyvin seuraavat kaksi esitystä:

Chrystia Freeland: The rise of the new global super-rich

http://goo.gl/3Po0zX

Humans Need Not Apply

https://goo.gl/8piZSM

Lopuksi omia tekstejäni

https://itkritiikki.wordpress.com/

 

Itseoppivat järjestelmät

Ylivoimaisesti merkittävin kehityslinja robotiikassa ja automaatiossa tulevat olemaan hermoverkkopohjaiset ratkaisut. Vanhempana kerrostumana tässä on perintentisin (tarkemmin von-Neumann arkkitehtuurin mukaisin ) tietokonein tehdyt sovellukset. Tässä uusimpana ovat syvät hermoverkot ja Deep Learning algoritmit. Nämä toteutukset ovat viime aikoina todistaneet menetelmän tehon ja samalla viitoittaneet tietä tulevilla hermopiiritoteutuksille. Tietoteknisesti, taloudellisesti ja sosioekonomisesti erityisen merkittävä ja voimakas vaikutus tulee kuitenkin olemaan hermosynaptisten koneiden läpimurto. Tällä hetkellä tämän kehityksen kärjessä on IBM:n DARPA-projekti SyNAPSE:n yhteydessä luotu uusi piiri TrueNorth. Jo tämänhetkiset testit ovat osoittaneet, että tämä ( tai tämän kaltaiset ) piiri tulee mullistamaan täydellisesti ja lopullisesti koko tietokoneteknologia ja sen käyttötavat. Toki on selvää, että nykyisten tietokoneiden käyttö suurelta osin säilyy niiltä osin kuin ne ovat soveliaita. Uudet koneet kokonaan uudenlaiselle arkkitehtuurille. Ne jäljittelevät rakenteeltaan biologisia hermoverkkoja.  Näistä voidaan jo nyt rakentaa hyvin massiivisia hermoverkkokoneita. TrueNorth piiri sisältää 4092 neurosirua ja näissä on yhteensä 1 miljoona hermosolua ja 256 miljoonaa synapsia. IBM esitteli laitteen, jossa oli yhdistetty 16 TrueNorth piiriä. Tässä laitteessa on kunnioitettavat 16 miljoonaa hermosolua ja 4 miljardia synapsia. Tämän laitteen avulla toteutettu liikkuvan kuvan reaaliaikainen hahmontunnistus on vaikuttava suoritus. Nämä koneet tulevat vähitellen tekemään hyvin suuren osan pitkää koulutusta vaativasta henkisestä työstä. Esimerkkinä mainittakoon perinteisten tietojärjestelmien ohjelmointityö, joka ei alun alkaenkaan sopinut ihmisille ammatiksi kovin hyvin.

Tässä vielä linkkejä asian tiimoilta:

IBM TrueNorth yhteenveto:  http://goo.gl/Xr9vc3

Oma YouTube-lista aiheesta: http://www.youtube.com/playlist?list=PLAA2F7385208D3EBF ja

omaa blogitekstiä aiheesta: https://itkritiikki.wordpress.com

Lopuksi vielä linkkejä teknologista kasvavaa työttömyyttä käsitteleviin videoihin:

Chrystia Freeland: The rise of the new global super-rich

https://goo.gl/PCFDsU

Jeremy Howard

http://bit.ly/1DHw9mp

Miksi hermopiireistä rakentuvat älykoneet kuten IBM:n TrueNorth – laite on Deep Learningin ehdoton kulmakivi

Sekä YouTube että netti ovat täynnä toinen toistaan ylistävimpiä tarinoita Deep Learning algoritmien kyvykkyydestä. Näistä ehkä yksi näyttävimpiä kokonaisuuksia on IBM:n Watson – hankkeet, mutta se ei jää tähän vaan vastaavaa on Googlella esimerkiksi itseajava auto hanke sekä itseoppivat kuvan tunnistus ja verkkohaku. Kiinalainen Baidu rakensi supertietokoneen sen Deep Learning tehtävien toteutukseen. Kaikki nämä neuroverkkomenestykset on saatu aikaan perinteistä von Neumann tietokoneita käyttäen. On kuitenkin pitkään ollut selvää, että perinteinen tietokone on rakenteellisesti todella huono hermoverkkojen toteutusalusta. Esimerkiksi tuo Baidun kone Se koostuu 36-palvelimesta, joilla kullakin on 2 kuuden ytimen Intel Xeon E5-2620 prosessoria. Jokaisessa GPU:ssa on 4.29TFlopsin liukuluvun suorituskyky ja 12 Gt muistia. Yhteensä laitteistossa on 6.9TB keskusmuisti ja noin 0,6 [petaflops] teoreettinen yhden tarkkuus huipputeho

Niinpä on selvää, että ne lupaukset ja tulevaisuudenkuvat on rakenneltu väärälle argumentaatiolle. Suuri osa puhujista, jotka esittävät näiden tulevaisuuden näkymiä, puhuvat siitä, että laitteiden suorituskyvyt kasvavat, mutta jättävät sanomatta, että nämä vaativat aina massiivisempia laitekokonaisuuksia. Näin ollen ne eivät voi muodosta pohjaa tulevaisuudessa laajasti käytettäviä toteutuksia varten.

Itse asiassa D. Modha, joka on IBM:n SyNAPSE neurokonehankeen vetäjä, toteaa esityksessään, että ratkaisu suorituskykyongelmaan, ei löydy perinteisten koneiden tehoja lisäämällä vaan aivan vastakkaisesta suunnasta. Seuraavassa graafissa näkyy aivojen piirien kellotaajuus ja virrankulutus. Tästä nähdään, että nykyinen prosessorikehitys etääntyy aivojen vastaavista parametreistä.

IBM_SYNAPSE_neuropiirin_virrankulutus

Näin ollen True North piiri on suunniteltu aivan eri lähtökohdista käsin vastaamaan aivojen rakennetta. Se on hidas massiivisesti samanaikainen siinä ei ole kelloa vaan se on kokonaan tapahtumaohjattu kuten esikuvansa. Näin on saatu aikaan laite, jonka on osoitettu toimivan samalla tavalla kuin Deep Learning algoritmit, mutta laite on 1000 kertaa nopeampi kuin vastaava perinteisellä laitteella toteutettu ratkaisu ja uusi laite selviää noin 200 000 osalla energiaa! Näin ollen ei jää epäselväksi minkä laiteratkaisun on tulevaisuus.

True North -teknologia on valmis kaupalliseen valmistukseen, mutta sitä ei vielä ole. Selkeä pulma tuntuu olevan se, että IBM on kehityksessään todella pitkällä muita edellä. Voidaan jopa sanoa, että muut ovat vasta lähtökuopissa. Tämä tosiasia on erittäin merkittävä. Sitä voi verrata iPhone etulyöntiasemaan aikoinaan puhelinmarkkinoilla, mutta tämä on vielä moni kerroin merkittävämpi markkina. Jopa IBM:n sisällä tuntuu olevan ristivetoa SyNAPSE- ryhmän ja Watson-ryhmän välillä, sillä Watson perustuu auttamattoman vanhaan teknologiaa. Sitä ollaan kuitenkin työntämässä voimallisesti markkinoilla. Samalla voi toki myydä laitteistoja, jotka ovat sekä kalliita hankkia että käyttää. ( kts: http://goo.gl/AyfAwU viimeinen kappale: So, why should I care about TrueNorth? )

Robotit, itseoppivat järjestelmät ja niiden toteutustavat

Julkisuudessa ollut robotiikan uutisointi ja keskustelu on valitettavan epämääräistä. Pelkät käsitteet tuntuvat olevan hukassa. Kun sitten puhutaan robotiikan automaation ja digitalisaation kokonaisuudesta niiden eri osa-alueiden rajakin ovat täysin hämärät. Robotiikka tuntuu herättävän suurimmat intohimot, vaikka koko robotiikka on hyvin alkuvaiheessa ja heiveröistä kaiken kaikkiaan.

Jos robotilla tarkoitetaan itsenäisesti liikkuvaa fyysistä laitetta, jota ohjaa jonkinlainen tietokoneen kaltainen laite, niin silloin robotteja ovat lähinnä teollisuusrobotit, jota esimerkiksi autoteollisuus käyttää. Tällöin esimerkiksi pörssikauppaa itsenäisesti käyvä ohjelmisto ei ole robotti.

Kun sitten tarkastellaan koko ihmisten toimintaa korvaavaa laitteisto- ja ohjelmistokokonaisuuksia, niin huomataan, että raja robotin tai automaatin tai itsenäisen oppivan ohjelmiston välillä ei oikeastaan ole kovinkaan kiinnostava. Tärkeämpää on laitteisto- ja ohjelmistokokonaisuuden toiminta ja se vaikutus. Toisaalta robotin mekaniikka on huomattavasti vähemmän kiinnostavaa perinteistä hienomekaniikkaa, kun taas robotin ohjausyksikkö ja sen toiminta on robotin ydin ja määrittelee sen miten robotti voi toimia.

Ongelmanratkaisujen hermoverkkototeutukset ovat nopeasti laajentuneet ja monimutkaistuneet ja näiden vaikutus on todella merkittävä. Kaikki käynnistyi uudelleen kuvien hahmontunnistuksesta ja se on edelleenkin merkittävä sovelluskohde. Tämä kehitys on alkanut vain muutama vuosi sitten. Tänään hermoverkkototeutukset pystyvät ymmärtämään puhetta kääntämään toiselle kielelle ja puhumaan käännetyn teksti. Vastaavasti nämä toteutukset ymmärtävät mitä valokuvat esittävät ja kirjoittamaan tämä tekstinä. Ehkä kaikkein näyttävämpiä näistä on ollut IBM:n Watson toteutus, jossa ohjelmisto voitti Jeopardy.

Nämä sovellukset ovat vielä niin uusi, että hyvin pieni joukko ihmisiä on ylipäänsä kuullut niistä ja vielä pienempi joukko ymmärtää niiden merkityksen tulevaisuudessa. IBM kuitenkin markkinoi Watson -järjestelmää jo monille eri aloille. Englanninkieliset termit tälle ilmiölle ovat Deep Learning ja Congnitive Computing, Tämä kehitys on tapahtunut kuitenkin käyttäen periteisiä tietokoneita. Pitkään on tiedetty, että perinteiset tietokoneet sopivat erityisen huonosti tähän tehtävään. Tästä syystä useat ryhmät ovat etsineet uutta rakennetta hermoverkkokoneelle.

IBM:n Almaden laboratorion SyNAPSE-hanke on tehnyt tässä suhteessa 2011 tehnyt läpimurron ja toteuttanut uuden integroidun neuropiirin, jossa on 256 ohjelmoitavaa hermosolun silikonivastiketta ja näissä yhteensä 262144 ohjelmoitavaa synapsia. Vuonna 2014 valmistettiin piiri nimeltään TrueNorth, joka koostuu 4096 tuollaisesta ytimestä. Näin ollen piirissä on yksi miljoona hermosolua ja 256 miljoonaa synapsia. Samalla tämän ympärille rakennettiin ekosysteemi, jolla näin piirejä voidaan ’ohjelmoida’. Nyt 11.6. 2015 IBM tutkimus julkaisi neljä videota YuoTube:een, joissa esitellään tätä piiriä ja sen käyttöä nyt ja tulevaisuudessa. Tällä hetkellä piiristä on tehty mobiili versio, jossa siis on miljoona hermosolua. Samaan aikaan piiristä suunnitellaan kahta todella suurta superneurokonetta.

Mobiili TrueNorth-piiri tulee muuttamaan robottien ohjauksen täydellisesti. Tähän mennessä roboteissa tai Googlen itseohjautuvassa autossa hermoverkoja ei niiden koon ja virrankulutuksen takia ole voitu sijoittaa itse laitteeseen van se on täytynyt sijoittaa pilveen ja näin laite toimiakseen on vaatinut voimakkaan langattoman yhteyden ja siitä huolimatta ratkaisu on ollut sekä hidas että hyvin haavoittuva.

Onkin selvää, että jonkin ajan kuluttua kaikki Deep Learning ratkaisut tulevat rakentumaan TrueNorth-piireille tai vastaaville. Tämä vaihe on käänteentekevä koko itseoppivien järjestelmien laajamittaiselle hyödyntämiselle. Tällöin esimerkiksi Watson -tyyppiset järjestelmät tullaan toteuttamaan tällä tekniikalla.

IBM neuropiirikoneet massatuotannon kynnyksellä

IBM:n Almaden laboratorio, jossa IBM kehittää hermoverkkoa jäljittelevää uudenlaista tietokonetta, jota kutsun jatkossa älykoneeksi.

Screenshot 2015-06-12 19.20.05

Tämä kehitys on alkanut joskus 2008 ja tämän tuloksena 2011 syntyi TrueNorth – siru, jossa on 256 ohjelmoitavaa hermosolua ja 262 114 synapsia. Tätä sirua käyttäen IBM julkaistiin 2014piirin, joka koostui 16 siusta . Näin ollen piirissä on 1 miljoona hermosolua ja 4 miljardia (tuhat miljoonaa) synapsia. Tällä piirillä ajetut demot ovat jo varsin näyttäviä.

Tämä ohella IBM on kehittänyt tämän uuden koneen ’ohjelmointiympäristön’. Tämän kone on kuitenkin rakenteeltaan täysin toisenlainen kuin nykyiset tietokoneet. Näin ollen konetta ei voi ohjelmoida perinteisin ohjelmointikielin eikä ohjelmointi muutenkaan muistuta lainkaan tietokoneen ohjelmointia. Ohjelmointi tapahtuu samaan tapaan kuin hermoverkkojen ohjelmointi. Itse asiassa koko ’ohjelmointi’ termi on varsin harhaanjohtava. Pikemminkin voisi puhua – ja puhutaankin – opettamisesta.

Olen uskonut tähän kehitykseen aina vuodesta 2011 saakka, kun kuulin tästä. Nyt IBM on julkaissut neljä videota (11.6.2015) ) YouTubessa otsikolla IBM SyNAPSE Deep Dive (IBM Research Cognitive Systems Colloquium: Brain-Inspired Computing at IBM Research – Almaden in San Jose, CA.)

Nämä antavat erittäin kattavan kuvan laitteen tämänhetkisestä kehitystilanteesta. Kaikki tuntuu erityisen valmiilta ja tässä vaiheessa. Samoin koko teknologian kehitysnäkymät. IBM on kehittänyt TrueNorth:sta mobiliversion ja samalla siitä on kaavailtu superkonetta. Tällä hetkellä IBM suunnittelee 4096 ytimen kehikko 1,064 * 10 ^^12 = 1 064 000 000 000 on yksi biljoona synapsia. Seuraavassa vaiheessa tehdään 100 kertaa edellisen kokoinen ja silloin saavutetaan 4096 * 100 kone

( = 1,064 * 10 ^^14 = 106 400 000 000 000 on sata biljoona synapsia.

Tämä viimeinen laite on jo ihmisaivojen kokoinen.

Näissä kuvataan aluksi laitteen teoreettista aivoja jäljittelevää perusrakennetta ja toimintatapaa. Erityisen kiinnostava on videossa 2 esitetty yksinkertainen esimerkki, millä TrueNorth- sirun pientä osaa opetetaan tunnistamaan numerot. Tämän avulla käy selväksi, että sovellusten tuottaminen laitteelle on varsin helppoa.

Samanaikaisesti laitteen kehityksen kassa tämä tiimi on kehittänyt perinteiseen tietokoneeseen perustuvan laitekokonaisuuden, jota tiimi kutsuu Compas- järjestelmäksi. Tämä toimii ulkoisesti samalla tavalla kuin TrueNorth -siru ja toteuttaa hermoverkon, mutta tämä hermoverkko on siis toteutettu perinteiseen tietokoneen avulla ja sitä voi käyttää samalla tavalla kuin muita periteisesti ratkaistuja Deep Learning verkkoja.

Kaikkein merkittävin asia tässä on uuden laitteen suorituskyky ja virrankulutus. Kun on verrattu Compas- toteutusta ja uutta TrueNorth- toteutusta keskenään on havaittu, että uusi laite on 1000 kertaa tehokkaampi hermoverkkototeutus kuin perinteisin välinein ja uuden tehonkulutus on vain 1 / 400 000 osa perinteisestä!

Tämä tarkoittaa sitä, että kun nykyisillä laiteilla toteutettu oppivat järjestelmät ovat suorituskyvyltään polkupyöriä niin uusien laitteiden teho vastaa yliääni taisteluhävittäjää, joka toimii kynttilänvalolla!

Kun tämä kokonaisuus on lähes valmis massatuotantoon, tämä merkitsee totaalista sosioekonomista vallankumousta 5 vuoden kuluessa!

Tämä piiri teknologia tulee mahdollistamaan itseajavat autot ja älykkäät robotit.

IBM SyNAPSE Deep Dive Part 1

http://bit.ly/1e9jRsl

IBM SyNAPSE Deep Dive Part 2

http://bit.ly/1MPv3px

IBM SyNAPSE Deep Dive Part 3

http://bit.ly/1IOCoHf

IBM SyNAPSE Deep Dive Part 4

http://bit.ly/1BbPsnd

Screenshot 2015-06-12 19.25.18
Screenshot 2015-06-12 19.07.09

Miten tulevat älykoneet muuttavat elämäämme ?

1. Tosiasioita nyt ja tulevaisuudessa

Jo tänään erilaisten kokonaisuuksien digitalisaatio on muuttanut maailmaa ja muutosvauhti vain kiihtyy. Matkatoimistojen ja pankkikonttoreiden alasajo alkoi jo 2000-luvun alussa ja muutos etenee edelleen. Monen muun toiminnon kohdalla muutos on alkanut vasta 2010-luvulla esimerkkinä tästä olkoon vaikka nettikauppa. Tähän kokonaisuutteen liittyy huimasti kasvaneet tiedonsiirron määrät ja nopeudet, jotka ovat mahdollistaneet laajat ja monipuoliset tuoteluettelot ja ostajien ostokäyttäytymisen seurannan. Samalla varastot robotisoituvat ja kauppahuoneistoja ja myyjiä ei enää tarvita ja maksaminen hoituu helposti ja automaatilisesti. Teollisuusrobotteja on käytetty jo pitkään eikä muidenkaan robottien mekaanisten laitteiden valmistukseen liity ratkaisemattomia pulmia. Se joka puuttuu on robottien tehokas ohjaus. Tämä pulma on nyt ratkeamassa hermoverkkojen ja näitä toteuttavien ”älykoneiden” myötä.

2. Hermoverkot ja oppivat ohjelmat tietotekniikassa

Hermoverkkojen matemaattisia malleja on ollut jo 1950- luvulta lähtien. Ensimmäisiä tietokoneella simuloituja teoreettisia hermoverkkoja on toteutettu 1980-luvulla. Suomessa näitä kehitti professori Teuvo Kohonen. Tässä vaiheessa tietokoneiden käsittelykapasiteetti ei riittänyt näiden ratkaisujen täyden voiman esittämiseen. Niinpä tämä tutkimus käynnistyi uudelleen Googlella 2006. ( http://goo.gl/SLKpm5 )

The first thing the team did was design a massive neural net — some one billion connections distributed across 16,000 computer processors — and feed it a database of 10 million random frame grabs from YouTube. The images were unlabelled: in other words, the computer model was given an ocean of pixels and no other information. Could it learn to detect objects without human help? After three days, the researchers came back and ran a series of visualizations on the neural net to see what its strongest impressions were. Three fuzzy images emerged: a human face, a human body and a cat. ”

Tämä läpimurto tapahtui, kun työryhmä rakensi jättiläismäisen supertietokoneen ( yhteensä n. 4000 nykyistä kannettavaa tietokonetta ) ja antoi hermoverkolle syötteeksi 10 miljoonaa videoruutua YouTube:een talletetusta videoista. Näin ohjelmoitu hermoverkko löysi itsenäisesti kolme hahmoa: ihmisen kasvot ja vartalon ja kissan pään. Syynä läpimurtoon oli laitteiston massiivinen kapasiteetti. Näin siis voitiin osoittaa, että ohjelmoiduilla hermoverkoilla on kyky itsenäisesti hahmottaa kuvamerestä käsitteitä, ilman että sille annetaan mitään ohjetta tai vinkkiä.

Tällä hetkellä näitä ohjelmoituja hermoverkkoja kutsutaan anglosaksisissa maissa termillä Deep Learning. Tänään näitä itsenäisesti oppivia järjestelmiä käytetään jo laajalta. Yksi tunnetuimpia näistä ovat IBM:n Watson-järjestelmät.

(kts: Jeremy Howard: The wonderful and terrifying implications of computers that can learn http://bit.ly/1DHw9mp )

Pahinta työllisyyden kannalta tässä on se, että tämä on vasta alkua. Niin Google kuin IBM:kin joutuivat rakentamaan supertietokoneen saadakseen riittävästi käsittelykapasitettia. IBM:llä on kuitenkin jo vuodesta 2008 ollut meneillään hanke, jossa tässä tällainen perinteinen tietokone korvataan kokonaan uudella tietokonerakenteella, joka muistuttaa rakenteeltaan ja toimintatavaltaan aivoja. Tämä tutkimusryhmä on esitellyt jo tällaisia uusia ’älykoneita’ ja niiden toimintaa. ( kts: ) Nämä uudet laitteet tuovat noin 1000 000 kertaa tehokkaamman oppivan järjestelmän, kuin mitä nämä nykyisiin tietokoneihin perustuvat ovat. IBM on perustamassa jo toista tällaista ryhmää, joka kehittää hermoverkkotietokonetta. On todella vaikeata sanoa milloin nämä uudet koneet joissa on 100 – 1000 miljoonaa ’hermosolua’ siirtyvät massatuotantoon. Se on kuitenkin jo selvää, että varsin lähitulevaisuudessa tämä tapahtuu. Tällöin suurin osa ihmistyöstä voidaan korvata koneilla.

Tosin on todettava, että viimeisen vuoden aikana IBM:n sisällä näyttää syntyneen ristivetoa edetäänkö nopeasti älykoneiden kehittelyssä vai rahastetaanko perinteisellä tietokoneteknologialla ja näillä deep learning tekniikoilla. Jälkimmäinen leiri on selkeästi vahvistunut ja Watson- ratkaisuja tarjotaan jos jonkinlaiseen ympäristöön. Tämä saattanee hidastaa, mutta ei pysäyttää kehitystä.

3. Toimeentulo, työ ja tulosten jako nyt ja jatkossa

Digitalisaatio, automaatio, robotiikka ja oppivat järjestelmät ovat jo ainakin vuodesta 2000 alkaneet syödä työntekijöiden palkkatasoa ja työmäärää. Ensimmäinen arvovaltainen hyvin tunnettu raportti tästä oli MIT:n professorin Erik Brynjolfsson ja tutkijan Andrew McAfee kirja: Race Against the Machine: How the Digital Revolution is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy ( http://amzn.to/15aDgjz ). Samojen tutkijoiden seuraava aihetta käsittelevä kirja on The Second Machine Age ( http://goo.gl/jHLrfx ) (kst videot: http://goo.gl/hNLpHS ja http://goo.gl/8YvcxI )

Race Against Machine -kirjan jälkeen hyvin monet puhujat ovat aihetta käsitelleet. Valtaosan johtopäätös on sama kuin jo ensimmäisen kirjan: tietotekniikan kehitys on muuttanut ihmiskunnan kehityksen peruuttamattomasti ja kohtaamme ensimmäisen kerran historiassa teollisen vallankumouksen jälkeen tilanteen, jossa työtä ei riitä kaikille. Osa puhujista vielä ajattelee, että ilmiö ei koskettaisi pitkälle koulutettuja niin voimakkaasti kuin vähemmän koulutettuja, mutta kuin huomioidaan tulevat hermoverkkokoneet ilmiö koskettaa syvältä kaikkia. Ylimenoajan kuluttua työtä riittää vain hyvin pienelle valitulle joukolle. Jo viimeistään vuodesta 2000 lähtien tuottavuuden kehitys ja palkansaajien tulokehitys ovat irronneet toisistaan. Tämän seurauksena hyvin pieni ( alle 1 % ) väestöstä kerää kaikki kasvavat tulot ja muille ei käytännössä jää mitään.

Tässä vielä linkkejä tähän liittyen:

Chrystia Freeland: The rise of the new global super-rich

http://goo.gl/3Po0zX

Humans need not apply

https://www.youtube.com/watch?v=7Pq-S557XQU

4. Arvauksia tulevaisuudesta

Teknologian nopea ja kasva kehitys on jo synnyttänyt tilanteen, joka on täysin uusi koko ihmiskunnalle. Suuri automatisointi on pitkälti valmista teknologiaa ja eteen kiihtyvällä tahdilla. Samalla se jyrkentää koko ajan syntynyttä kuilua. On selvää, että piiriteknologiaan perustuva älykone syntyy. Kun se on valmis, älyjärjestemien käytön kustannukset romahtavat ja ne valtaavat nopeasti alaa kaikkialla liike-elämässä ja yhteiskunnassa. Kuinka moni meistä muistaa että ensimmäinen älypuhelin ( Applen iPhone) on julkaistu vasta 2007 kesällä – siis 7 vuotta sitten! Tämä antaa viitteitä siihen millainen aika kaupallisen valmistamisen aloittamisesta kuluu laajamittaiseen käyttöönottoon. Jos IBM:n neuropiirikehityksen johtajan Dharmendra S. Modha ennustus siitä, että tällainen laite on valmis 2018 pitää paikkaansa, on meillä aikaa noin 10 vuotta. Tämä tulee ajamaan maailmanlaajuisen kapitalismin kaaokseen, kun työn katoaminen johtaa suuren keskiluokan nopeaan köyhtymiseen. Tällöin kulutuskysyntä romahtaa ja sitä myötä tuotanto romahtaa. Vaikka Erik Brynjolfssonin ja Andrew McAfeen tutkimuksen lopputulokset osoittavat tämän kiistatta, niin upporikkaiden vaikutusvalta USA:ssa on niin pitkä ja vankka, että juuri kukaan julkisesti asiasta puhunut ei uskalla sanoa tätä suoraan ääneen. Niin kauan kuin näin on, mitään toivoa tämän kehityksen pysäyttämiseen tai suunnan korjaukseen ei ole.

Elämme mielenkiintoisa – ehkä myös pelottavia – aikoja!