Mówienie jest jedną z najbardziej oczywistych i naturalnych metod komunikacji. Osoby, które posługują się na co dzień mową, najczęściej nie podejrzewają, jak bardzo złożony jest to proces i że nawet nieznaczne jego zaburzenie może doprowadzić do utraty tej zdolności. Przedstawiamy trzy różne badania oryginalne, których twórcy podjęli się zadania wygenerowania dźwięków mowy na podstawie zapisów aktywności mózgu uczestników.

Niekiedy mówi się, że to milczenie jest złotem. Trudno o mniej trafne stwierdzenie w przypadku osób, które w wyniku chorób, takich jak na przykład udar mózgu, utraciły zdolność mowy. Niektórzy słyszeli pewnie o Jean-Dominique’u Bauby i jego przejmującej autobiografii Skafander i motyl.[1] Autor, w wyniku udaru mózgu, komunikował się ze światem przy pomocy mrugania powieką lewego oka. Pamiętamy także postać jednego z najznakomitszych fizyków naszych czasów, Stephena Hawkinga, którego pożegnaliśmy rok temu. Syntezator mowy umożliwiał mu wyrażanie swoich myśli w życiu codziennym oraz wykładanie dla szerokich rzesz słuchaczy.

Od odkrycia fal mózgowych do małp sterujących robotami

Próby przywrócenia mowy w sytuacjach takich, jak opisane powyżej, są podejmowane już od dawna. Obecnie pierwszoplanową rolę po udarze odgrywa rehabilitacja, którą prowadzą neurologopedzi. Naukowcy jednak nie przestają poszukiwać nowych rozwiązań i co jakiś czas dokonują w tej materii zaskakujących odkryć. Nasza historia zaczyna się na początku XX w.[2] wraz z odkryciem fal mózgowych, kiedy to okazało się, że aktywność elektryczną mózgu można zmierzyć, zapisać, a następnie doszukiwać się w niej różnych zależności. Początkowo doprowadziło to głównie do rozwoju diagnostyki neurologicznej (EEG jest badaniem wykorzystywanym m.in. w stawianiu rozpoznania padaczki). Z czasem powstawały interfejsy mózg-komputer, wykonujące proste czynności. Rozbudziło to jednak fantazje badaczy i dało podwaliny pod rozwój całkiem nowej dziedziny technologii. W maju 2008 r. naukowcy z Pittsburgha ogłosili niecodzienne odkrycie. Świat obiegły zdjęcia małp, które za pomocą fal mózgowych sterowały ramionami robotów.

Dane na wagę złota

Dane na temat aktywności elektrycznej mózgu w obecnie prowadzonych eksperymentach pozyskiwane są z dużą dokładnością - w praktyce: wprost z powierzchni tego organu. Taka sposobność nadarza się nieczęsto i zwykle jest związana z operacjami neurochirurgicznymi. U pacjentów, u których przewidziane jest usunięcie guza mózgu lub ogniska padaczki, neurochirurdzy, po otwarciu sklepienia czaszki, dokonują dokładnych odczytów, zanim rozpoczną operację. Wtedy też badacze dostają pewną, niewielką ilość czasu, by zebrać cenne dane.

Informacja dotycząca aktywności mózgu oraz tego, co dana osoba w pewnym momencie usłyszała lub powiedziała, wtłaczane są następnie do sieci neuronowych. Te struktury mają zdolność do samodzielnej analizy danych, uczenia się oraz rozwiązywania postawionych problemów.

Usłyszeć korę słuchową

Grupa naukowców z Uniwersytetu Columbia przeprowadziła badanie tego typu z udziałem pięciorga pacjentów, poddanych chirurgicznemu leczeniu epilepsji.[3] Monitorowano u nich zakręt skroniowy przedni poprzeczny (tzw. zakręty Heschl’a) lub zakręt skroniowy górny. Współtworzą one pierwotną korę słuchową i są pierwszymi obszarami w korze mózgu, które otrzymują informację słuchową ze wzgórza. Podczas gdy w mózgach pacjentów tkwiły elektrody, przez pół godziny odtwarzano im nagranie zawierające krótkie historie. Żeby mieć pewność, że uczestnicy nie błądzą myślami i słuchają uważnie, badacze w losowych momentach zatrzymywali nagranie i prosili o powtórzenie ostatniego wysłuchanego zdania. Poza historiami odtwarzano także wypowiedziane na głos nazwy cyfr. Następnie komputer, opierając się na danych płynących wprost z mózgu pacjentów, generował dźwięki - również nazwy poszczególnych cyfr. Osiągnięto spory sukces, ponieważ aż w 75% przypadków udawało się określić, co usiłowała przekazać maszyna.

Informacje z kory ruchowej mowy

Podobny eksperyment przeprowadził międzynarodowy zespół, koordynowany przez naukowców z Uniwersytetu w Bremie.[4] Do udziału zaproszono sześcioro anglojęzycznych uczestników - pacjentów, którzy mieli być poddani resekcji guza mózgu. Sieć elektrod rejestrujących pracę mózgu obejmowała brzuszną korę ruchową, korę przedruchową oraz część wieczkową zakrętu czołowego dolnego, która współtworzy ośrodek Broki, odpowiedzialny za generowanie mowy. Osoby badane zostały następnie poproszone o przeczytanie od 244 do 372 wyrazów, a materiał dźwiękowy został zarejestrowany. Były to głównie słowa jednosylabowe, o układzie głosek spółgłoska-samogłoska-spółgłoska. Czas, jaki na to poświęcano, wynosił od 8 i pół do niecałych 13 minut. Kolejny etap badania należał oczywiście do informatyków. Gdy powiązano ze sobą dwa rodzaje danych i nauczono komputer generować słowa, rezultat był również bardzo obiecujący. Zrozumiałych było aż 40% słów.

Coraz bliżej protetyki mowy

Na Uniwersytecie Kalifornijskim zespół kierowany przez neurochirurga Edwarda Changa prowadził badania z udziałem trojga pacjentów cierpiących na padaczkę. Kiedy czytali oni na głos różne zdania, naukowcy prowadzili zapis aktywności ich kory motorycznej oraz kory odpowiedzialnej za tworzenie mowy. Podobnie jak w uprzednio przedstawionych doświadczeniach, zwieńczeniem procesu zbierania i opracowywania danych było wygenerowanie przez komputer dźwięków mowy - tym razem w postaci całych zdań.

Tak powstały materiał przedstawiono 166 osobom. Przy każdym wypowiedzianym przez maszynę zdaniu, ochotnikom pokazywano 10 zdań na piśmie, spośród których musieli wybrać jedno - odpowiadające temu, które usłyszeli. W niektórych przypadkach uzyskiwano zgodność rzędu 80%.

Powiązanie pomiędzy aktywnością mózgu a dźwiękami mowy nie jest na tyle uniwersalne, żeby można było nauczyć komputer rozpoznawać fale mózgowe jednej osoby, a następnie tak stworzony model wykorzystać do pracy z kimś innym. Oznacza to, że gdyby osoba po udarze otrzymała urządzenie oparte na tej technologii, musiałaby je najpierw wytrenować w rozpoznawaniu jej własnej aktywności mózgu i dźwięków mowy. Możemy przypuszczać, że w jej stanie proces mówienia byłby już znacznie utrudniony. Dlatego zespół Changa postanowił pójść o jeszcze jeden krok naprzód i generować mowę na podstawie słów, które były jedynie wyszeptane. Zbliża nas do rozwiązań, które mogą być realnie zastosowane w przypadku osób chorych.

Spoglądając w przyszłość

W przedstawionych badaniach naukowcy pozyskiwali cenne zapisy fal mózgowych oraz tego, co powiedzieli lub usłyszeli uczestnicy. Do dalszych analiz wymagana była wysoka jakość materiału, dlatego informacje o aktywności mózgu uzyskiwano wprost z jego powierzchni. Dzięki takim rozwiązaniom informatycznym, jak sieci neuronowe czy uczenie maszynowe, na podstawie uzyskanych danych komputery były zdolne generować słowa lub nawet całe zdania. Wyniki powyższych eksperymentów na pewno zbliżyły nas do lepszej protetyki mowy u osób, które utraciły ją w wyniku różnych chorób. Jednak tak naprawdę możliwości wykorzystania fal mózgowych do sterowania urządzeniami jest znacznie więcej i trudno przewidzieć, dokąd zabierze nas ta fascynująca dziedzina nauki.

Przypisy:

[1] https://pl.wikipedia.org/wiki/Jean-Dominique_Bauby

[2] Za pierwszą osobę, która wykonała EEG u człowieka, uważa się Hansa Bergera. Był on niemieckim neurologiem i psychiatrą. Pierwsze zapisy EEG uzyskiwano jednak już pod koniec XIX w.

[3] https://www.biorxiv.org/content/10.1101/350124v2

[4] https://www.biorxiv.org/content/10.1101/478644v1