4강 · 얼굴과 목소리까지

한 줄

뇌 신호 하나를 세 가지 출력으로 동시에 바꿨습니다.

들어가며

한 여성이 뇌간에 경색을 겪은 뒤 말도 못 하고 팔도 못 쓰게 됐습니다.
18년을 말없이 지낸 뒤, 의료진이 그의 뇌 위에 전극판을 얹었습니다.
그는 아무 소리도 내지 않은 채 문장을 말하려고 시도했습니다.
거기서 화면의 글자와 말하는 목소리, 함께 움직이는 얼굴이 나왔습니다.
이 논문을 천천히 보겠습니다. 어려운 지점이 예상과 다르거든요.
음성 쪽을 가능하게 만든 앞선 연구도 함께 보겠습니다.

다루는 논문

A high-performance neuroprosthesis for speech decoding and avatar control

Nature, UCSF, 2023

• Metzger et al. · Nature 620, 1037–1046
• Anumanchipalli et al. · Nature 568, 493–498

이 강의 흐름

다루는 내용 (1)

• 논문 그림과 표 읽기

뇌 신호 하나를 세 가지 출력으로 동시에 바꿨습니다.

• The paper in one sentence

화면의 문장은 의미를 전달하고, 대개는 그것으로 충분합니다.

• Why text alone is not the whole message

뇌간에 피를 보내는 동맥이 막혔고, 그날 저녁 말을 잃었습니다.

• The person this was built for

텍스트 쪽은 말소리 39개를 예측하고, 단어 목록과 문장 모델이 영어로 바꿉니다.

• Three outputs, one recording

폐에서 밀어 올린 공기가 성대에서 입술까지 이어진 관을 지납니다.

• What speaking asks the body to do

입술이 닫히거나 둥글어지면 p, b, m 같은 소리가 납니다.

• Where the tube gets narrowed

글자를 하나씩 쓰는 건 느리고, 입이 하는 일과도 다릅니다.

• Letters, words, or phones

감각운동 피질이라고 부르고, 실제로는 나란한 두 띠입니다.

• Where the orders for the mouth come from

피질은 멀쩡합니다. 문장을 계획하고 명령을 내리는 일은 그대로 일어납니다.

• What a brainstem stroke cuts

쓰고 싶은 단어를 알고 있고, 읽기와 쓰기도 손상되지 않았습니다.

• Anarthria is not a loss of language

하나는 가는 바늘을 조직 안으로 밀어 넣어 끝이 세포 사이에 놓이게 합니다.

• Two ways to listen to speech cortex

간격은 3mm이고, 실제로 닿아 듣는 부분은 지름 1mm입니다.

다루는 내용 (2)

• The grid, in numbers

첫째는 신호의 빠른 성분에서 옵니다. 70에서 150헤르츠 대역입니다.

• What each contact reports

신경망을 학습하려면 신호의 어느 순간이 어느 소리인지 알아야 합니다.

• The label problem in silent speech

모델이 아무 때나 빈칸을 낼 수 있게 둡니다. 그 순간엔 아무것도 안 냈다는 뜻입니다.

• CTC, in one picture

소리 없는 시도가 학습 데이터가 됩니다. 이 참가자에겐 그것뿐입니다.

• What that one choice opens up

그 연구의 질문은 뇌에서 글자가 아니라 소리를 낼 수 있느냐였습니다.

• The question this work follows from

저자들은 피질이 소리가 아니라 움직임을 담고 있다고 주장합니다.

• 논문 그림과 표 읽기

소리를 낼 수 없는 사람은 그 무성 조건에 영구히 놓여 있습니다.

• Why not go straight to sound

참가자 모두 말할 수 있었고, 학습에 쓴 녹음은 움직이는 입에서 나왔습니다.

• 논문 그림과 표 읽기

안쪽 판은 두개골에 영구히 고정된 금속 단자에 연결돼 있습니다.

• Why the mimed test was the important one

가장 작은 것은 단어 119개로 만든 50문장으로, 돌봄 기기에 들어 있는 수준입니다.

• 논문 그림과 표 읽기

매 순간 신경망이 소리 39개와 침묵 각각의 확률을 냅니다.

• What that work left open

바뀌거나 빠지거나 더해진 단어를 세어 전체 단어 수로 나눈 값입니다.

다루는 내용 (3)

• 논문 그림과 표 읽기

그의 기기는 분당 14단어쯤이었고, 그게 평소 속도였습니다.

• How the signal leaves the head

문장 과제와 별도로, 코드 단어 26개와 손동작 몇 개짜리 작은 과제도 했습니다.

• 논문 그림과 표 읽기

대신 녹음된 말만으로 학습한 모델이 내놓는 단위를 예측합니다.

• The sentence sets, and one trial

해독된 소리의 모양을 기준 소리와 비교해 문장 전체로 평균 냅니다.

• Turning probabilities into a sentence

경색 전에 녹음한 짧은 목소리 하나면 목소리 모델을 만들 수 있습니다.

• 논문 그림과 표 읽기

해독기는 그림을 만들지 않습니다. 화소를 건드리는 일이 전혀 없습니다.

• What a word error rate of 25% means

같은 문장을 말해도 사람마다 속도가 다릅니다.

• 논문 그림과 표 읽기

뇌 지도는 고정된 것이 아니고, 안 쓰는 구역은 넘어갈 수 있습니다.

• How fast that actually is

기록 하나에서 출력 셋을 실시간으로, 차례가 아니라 동시에 해독했습니다.

• A model that was left alone

여기 모든 것이 한 종류의 손상을 가진 참가자 한 명에게서 나왔습니다.

• Units instead of phones

입을 움직이라는 명령은 도착하지 않게 된 뒤로도 18년을 계속 만들어졌습니다.