Neurovědci učí počítače číst slova přímo z mozku lidí.
Kelly Servick, psaní pro Science, tento týden informovala o třech dokumentech zaslaných na předtiskový server bioRxiv, ve kterém tři různé týmy vědců prokázaly, že dokážou dekódovat řeč ze záznamů neuronů. V každé studii zaznamenávaly elektrody umístěné přímo na mozku nervovou aktivitu, zatímco pacienti s mozkovým chirurgickým výkonem poslouchali řeč nebo hlasitě četli slova. Poté se vědci pokusili zjistit, co pacienti slyší nebo říkají. V každém případě byli vědci schopni převést elektrickou aktivitu mozku do alespoň poněkud srozumitelných zvukových souborů.
První příspěvek, publikovaný v BioRxiv 10. října 2018, popisuje experiment, ve kterém vědci hráli nahrávky řeči pacientům s epilepsií, kteří byli uprostřed mozkové chirurgie. (Neuronové záznamy pořízené v experimentu musely být velmi podrobné, aby mohly být interpretovány. A tato úroveň podrobnosti je k dispozici pouze za vzácných okolností, kdy je mozek vystaven vzduchu a elektrody jsou na něj umístěny přímo, například při operaci mozku) .)
Jak pacienti poslouchali zvukové soubory, vědci zaznamenali neurony střílející v částech mozků pacientů, které zpracovávají zvuk. Vědci vyzkoušeli řadu různých metod, jak proměnit tato neuronální vypalovací data v řeč, a zjistili, že „hluboké učení“, při kterém se počítač snaží vyřešit problém více či méně bez dozoru, fungovalo nejlépe. Když hráli výsledky prostřednictvím vokodéru, který syntetizuje lidské hlasy, pro skupinu 11 posluchačů byli tito jednotlivci schopni správně interpretovat slova 75 procent času.
Zde si můžete poslechnout zvuk z tohoto experimentu.
Druhý příspěvek, publikovaný 27. listopadu 2018, se spoléhal na nervové záznamy od lidí podstupujících chirurgický zákrok k odstranění mozkových nádorů. Když pacienti nahlas četli jednoslabičná slova, vědci zaznamenali jak zvuky vycházející z úst účastníků, tak i neurony, které vystřelily v oblastech mozku produkujících řeč. Namísto tréninku počítačů hluboce na každého pacienta učili tito vědci umělou neuronovou síť k převodu neuronových záznamů na audio, což ukazuje, že výsledky byly přinejmenším rozumně srozumitelné a podobné záznamům vytvořeným mikrofony. (Zvuk z tohoto experimentu je zde, ale musí být stažen jako soubor zip.)
Třetí článek, publikovaný 9. srpna 2018, se spoléhal na zaznamenávání části mozku, která převádí konkrétní slova, která se člověk rozhodne mluvit do svalových pohybů. Přestože není k dispozici žádný záznam z tohoto experimentu online, vědci uvedli, že byli schopni rekonstruovat celé věty (také zaznamenané během chirurgie mozku u pacientů s epilepsií) a že lidé, kteří poslouchali věty, je dokázali správně interpretovat podle více možností test (z 10 možností) 83 procent času. Metoda tohoto experimentu se spoléhala na identifikaci vzorců, které se podílejí na vytváření jednotlivých slabik, než na celá slova.
Cílem všech těchto experimentů je jednoho dne umožnit lidem, kteří ztratili schopnost mluvit (kvůli amyotropní laterální skleróze nebo podobným podmínkám) mluvit prostřednictvím rozhraní počítač-mozek. Věda pro tuto aplikaci však dosud neexistuje.
Věda uvádí, že interpretace nervových vzorců člověka, který si jen představuje řeč, je složitější než interpretace vzorců, které někdo poslouchá nebo produkuje řeč. (Autoři druhé práce však uvedli, že interpretace mozkové činnosti někoho, kdo si představí řeč, může být možná.)
Je také důležité mít na paměti, že se jedná o malé studie. První práce se opírala o údaje získané pouze od pěti pacientů, zatímco druhá se zaměřila na šest pacientů a třetí pouze na tři. A žádná z nervových nahrávek netrvala déle než hodinu.
Přesto se věda pohybuje vpřed a zařízení pro umělou řeč připojená přímo k mozku se zdají být skutečnou možností v určitém okamžiku po silnici.
