2강 · 손글씨를 해독하다

한 줄

몇 년간 쓰지 않은 정교한 기술도 운동 피질에 남아 있고, 빠르게 읽어낼 수 있다는 겁니다.

들어가며

1편은 손을 움직이려는 시도로 화면의 커서를 옮긴 사람 이야기로 끝났습니다.
오늘은 같은 임상 시험이 그에게 훨씬 어려운 것을 요구합니다. 글씨를 쓰는 일입니다.
그의 손은 몇 년째 아무것도 쓰지 못했고, 기껏해야 미세하게 떨릴 뿐입니다.
그래도 줄 노트에 펜을 쥐었다고 상상하며 글자를 써 보라는 요청을 받았습니다.
신경망이 그 시도를 읽어 분당 90자로 화면에 글을 찍었습니다.
그 전까지 어떤 이식형 장치도 낸 적 없는, 두 배가 넘는 속도입니다.

다루는 논문

High-performance brain-to-text communication via handwriting

Nature, BrainGate, 2021

• Willett et al. · Nature 593, 249–254
• Pandarinath et al. · eLife 6, e18554

이 강의 흐름

다루는 내용 (1)

• 논문 그림과 표 읽기

몇 년간 쓰지 않은 정교한 기술도 운동 피질에 남아 있고, 빠르게 읽어낼 수 있다는 겁니다.

• The paper in one sentence

같은 임상 시험, 같은 전극, 같은 수술, 같은 피질 부위입니다.

• Where part one left off

커서로 타자를 치면 글자 하나마다 이동 한 번과 클릭 한 번이 듭니다.

• The ceiling that point and click hit

두피 전극을 쓰는 점멸 스펠러는 분당 몇 자를 줍니다.

• 논문 그림과 표 읽기

보통은 사람도 전극도 연구실도 다른 두 연구를 비교하게 됩니다.

• All of it on one scale

65세 남성이고, 목 위쪽 척수 손상으로 그 아래가 마비됐습니다.

• The same man, measured twice

손이 전혀 마비되지 않은 것처럼 실제로 써 보라는 지시였습니다.

• Who T5 is

펜 끝 속도를 담은 차원들이 전체 신경 변동의 30%를 차지합니다.

• What he was asked to do

192채널의 스파이크 개수를 매끄럽게 만들고 20ms 칸으로 묶어 표준화합니다.

• 논문 그림과 표 읽기

이것은 신경 활동을 건드리지 않고, 글자 확률만 봅니다.

• What that figure settles

지도 학습은 어느 구간의 활동이 어느 글자인지 알아야 합니다.

• What the network has to produce

먼저 글자 하나씩을 모읍니다. 신호음 덕분에 타이밍을 대략 알 수 있습니다.

다루는 내용 (2)

• 논문 그림과 표 읽기

둘 다 뺄 수 없었고, 다른 쪽을 최적으로 두어도 마찬가지였습니다.

• What the language model actually does

게이트 순환 층 두 개이고, 위층은 아래층보다 다섯 배 느리게 돕니다.

• The problem that had to be solved first

입력은 전극별 문턱 통과 개수이고, 매끄럽게 만들어 칸으로 묶고 표준화합니다.

• The recipe, in four steps

첫 실시간 시험 전에 예비 사흘에서 모은 문장 242개가 있었습니다.

• Why the fake data and the fake noise are not optional

분당 90자, 스스로 속도를 정하며, 글자의 5.9%가 틀렸습니다.

• The network, small enough to write down

파란 막대가 단어 오류이고, 첫 쌍에서 파란 쪽이 금색을 압도합니다.

• If you wanted to build this yourself

열린 질문을 받고 답하고 싶은 것을 자유롭게 쳤습니다.

• How much writing it took

글자를 마치고 0.4초에서 0.7초 사이에 화면에 글자가 나타납니다.

• The number everyone quotes

이 연구의 기본값은 평가 전에 보정 문장 50개를 쓰는 것이었습니다.

• 논문 그림과 표 읽기

언어 모델이 해독기 출력을 고치고, 고쳐진 글이 학습 이름표가 됩니다.

• The same three rows, as a picture

저자들은 왜 쓰기가 가리키기보다 두 배 넘게 빠르게 읽히는지 묻습니다.

• Writing his own sentences, not copying

왼쪽에서 직선 이동 넷은 경로 대부분을 공유하고 끝에서만 갈라집니다.

다루는 내용 (3)

• What using it feels like

라틴 알파벳은 뇌 해독기가 구분하기 쉽도록 만들어진 적이 없습니다.

• How much calibration a day really needs

모든 것이 한 사람에게 기대고 있고, 그는 앞선 연구에서도 가장 빨랐습니다.

• 논문 그림과 표 읽기

바로 앞에는 같은 시험의 커서 타자가 있고, 분당 40 언저리에 묶여 있었습니다.

• Retraining without asking the user

첫째, 몇 년간 쓰지 않은 기술도 시도하면 온전하게 돌아옵니다.

• Why a letter is easier to read than a direction

다음에는 같은 연구진이 쓰기보다 훨씬 빠른 것에 같은 질문을 던집니다.