Глава Neuralink: чип в мозге заменит вам телефон

Я начну с того, что немного расскажу вам об истории основания компании. Итак, для этого мы отправимся на машине времени обратно в 2016 год. Это просто, чтобы дать представление о том, каким был мир в то время. Не было чат GPT, ещё даже не существовало трансформеров, а беспилотное вождение едва работало. Илон опубликовал твит орайс и затем начал общаться с экспертами в этой области, чтобы, возможно, основать компанию. И в то время я писал свою докторскую диссертацию, работая над этой штукой под названием Нейронная пыль. Я встретил Илона в октябре 2016, а спустя несколько месяцев у нас уже была компания вместе с ещё несколькими людьми, чтобы создать первый в мире массово производимый высокопроизводительный интерфейс мозгко компьютер. И мне очень нравится показывать ту фотографию в нижнем правом углу. Вот так выглядел офис. В мой первый рабочий день я поехал, кажется, в офис Макс или что-то вроде того, чтобы купить стул. Так что мы действительно начинали с нуля. Куча идей. Я собираюсь провести вас через наш путь после этого. Но прежде чем я это сделаю, что такое BCI? Это расшифровывается как brain компьютер интерфейс. Интерфейс мозг компьютера. Это набор технологий, который позволяет считывать и передавать информацию в мозг и из него с надеждой первоначально помочь миллионам людей с параличом, у которых нарушена связь между мозгом и телом. В первые 4 года компания была полностью сосредоточена на создании базовой технологии. Построение полностью имплантируемой беспроводной системы- невероятно сложная задача, а сделать её маленькой ещё сложнее. Мы начали с того, что создавали устройства, которые вы видите в верхнем ряду. Это проводные импланты с разъёмами USBC, выходящими из них. По сути, это была платформа, на основе которой мы двигались к беспроводному импланту, который вы видите ниже. А также с первого дня у нас была сильная установка. Для того, чтобы система была масштабируемой, нам нужно строить роботов. Поэтому мы начали с робота, который вы видите в левом верхнем углу, собранного из деталей, купленных на eBay. Он был в единственном экземпляре. Очевидно, это не могло работать. Так что затем мы нашли способы вывести его в производство, до уровня, на котором он выглядит так, как сейчас и используется у людей. Как я уже сказал, первые 4 года были сосредоточены на создание аппаратного обеспечения до состояния, когда мы можем тестировать его на различных животных моделях. А потом в двадцать первом году мы провели демонстрацию с одной из наших обезьян Пейджером, который играл в понглой мысли. А затем начались действительно интенсивные 3 года тестирования, сборки, повторных тестов, итераций и получения разрешения на запуск клинических испытаний в 2024 году.

Наш первый продукт называется лепаathy. Телепатия. Он позволяет людям с повреждениями спинного мозга, бас или тем, кто полностью парализован ниже шеи, управлять цифровыми устройствами, компьютерами и телефонами, простой силой мысли. Это по-настоящему меняет жизнь людей. В данном случае вы видите одного из наших участников. Мы называем его, потому что он первый участник. Он играет в цивилизацию 6, и он сказал, что уже на следующий день после того, как получил телепаты, он играл в цивилизацию 9 часов подряд. Это может выходить далеко за рамки цифрового управления, например, к роботизированным рукам. Вот один из наших участников рисует эту потрясающую картину роботизированной рукой после примерно часа тренировки. Телеопафит также работает для людей с нейродегенеративными заболеваниями, такими как бас, тем же заболеванием, которое было у Стивена Хокинга. А это один из наших пациентов на поздней стадии баз, отец троих детей. Он может двигать только глазами. Раньше он мог взаимодействовать с миром только через систему отслеживания взгляда, которая не работает на улице. У Нюролин такой проблемы нет. И вот он может выходить на улицу с семьёй, играть, а его дети впервые слышат голос папы. На сентябрь этого года мы меняем жизнь двенадцати людям. На прошлой неделе стало 13. И интересная цифра, которую я хочу привести. В среднем люди используют Ролинг около 8 часов в день. Итак, что дальше? Во-первых, масштабирование. Это число 10. 000. Я смотрю на него каждый день. Это сколько людей в листи ожидания на телепати? 12

или 13 - это здорово, но это значительно меньше 10. 000. Как вы можете представить, при масштабировании нас ждёт множество вызовов: производство устройств, их установка, сопровождение пациентов. Здесь очень много сложной работы. Вторая группа задач - расширение показаний. Сейчас мы фокусируемся на движении, управлении курсором, роботизированной рукой, но у людей пока нет тактильной чувствительности. Они не могут ощущать прикосновения. Мы также запускаем программы, которые позволят человеку, потерявшему голос, снова говорить, потерявшему слух снова слышать, а людям с потерей зрения обрести слепое зрение. И всё это направлено на создание полноценного интерфейса для всего мозга, то есть чтение и запись сигналов из любой его области. Как вы понимаете, клинические возможности здесь огромны. Не только помощь при тех состояниях, которые я перечислил, но и при тяжёлых психиатрических или неврологических нарушениях. Всё, о чём вы можете подумать - это электрические импульсы вашего мозга. И в недалёком будущем мы уверены, что сможем расширять возможности человека. В конце концов, мы создаём набор инструментов, чтобы лучше понимать нашу трёхфунтовую вселенную, которую мы называем мозгом. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из Openi, который ещё до появления CH GPT предсказал всё, что сейчас происходит с неронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. — Это короткий обзор того, что такое и зачем мы существуем как компания. Если вас вдохновляет наше видение и вы хотите участвовать в его формировании, я расскажу об инженерных задачах. И знаете, на каждом уровне нашей технологической структуры нам нужны специалисты. Работы невероятно много. И при этом мы очень маленькая компания, чуть больше 300 человек. Так что и стажёры, и сотрудники получают огромный объём ответственности, и вы можете спросить у ребят, вру я или нет. Итак, с чем мы работаем? С одной стороны, биологическая нейронная сеть, с другой компьютер.

Как получить намерение из биологического компьютера и передать его искусственному или обычному компьютеру? И вот как в общих чертах нейроны посылают импульсы. Мы измеряем частоту импульсов, отслеживаем её изменения с помощью наших устройств, а затем модель машинного обучения преобразует их в движение курсора. Есть три ключевых компонента: хирургия и робот, который устанавливает имплант. Сам имплант и нейронное декодирование. Я расскажу о каждом из них. А начнём с пользовательского опыта. Сейчас я включу клип, который показывает, как человек получает Ролинк. Есть несколько этапов. Сначала у нас есть хирург, нейрохирург-человек. Хотя в будущем робот тоже сможет выполнять эту часть. Но пока хирург делает отверстие в черепе диаметром 25 мм и обнажает мозг. Затем робот использует крошечную иглу примерно размером с красной кровяные тельца, то есть очень-очень маленькую, тоньше человеческого волоса. Он находится внутри конюли. Конюля приводится в движение точными моторами робота, чтобы подхватить маленькую петельку на конце электрода и вставить нить в мозг. Так вводят 128 нитей. На каждой по восемь электродов. Итого тысяча каналов. Всё это производится, избегая сосудов. После того, как все нити введены, имплант закрывает отверстие, кожу возвращают на место, и снаружи ничего не видно, и мы становимся киборгом. Что делает это таким сложным? На видео настоящий мозг, и видно две вещи. Он сильно двигается и он очень густо пронизан сосудами. И если вы коснётесь мозга, он по ощущениям как тофу или желе. Возникает вопрос, как безопасно вставлять нити в нечто подвижное, мягкое и заполненное сосудами. Поэтому мы создали робота, который справляется с этими трудностями. У робота множество собственных механических, электрических и оптических подсистем, которые обеспечивают движение, восприятие и, по сути, мозг того, как выполняется вставка. Все эти цветные детали - это компоненты, которые мы разработали сами. Не буду подробно разбирать всё, но выделю пару вещей. Оптическая система крайне сложная. Оптика работает на дифракционном пределе, и ни одна камера сама по себе не может дать нужную глубину резкости и разрешения. Поэтому у нас шесть микроскопов и система оптической когерентной томографии, которые наблюдают за отверстием диаметром 25 мм, за движениями мозга и всем процессом. Это невероятно интересный набор задач. Теперь, что надо улучшить? Скорость и надёжность. На левом видео наш текущий робот, использованный для операции у 13 человек. Пока он вставляет одну нить, версия справа, новый робот, который мы называем F1, вставляет уже больше десяти. Зачем нужна скорость? чтобы сократить длительность операции. Сейчас от парковки до парковки 4-5 часов, и робот работает примерно час. В долгосрочной перспективе мы хотим сделать это примерно как лазерную коррекцию зрения. Возможно, вы сможете ставить имплант в обеденный перерыв. Значит, нужно уложиться менее чем в час и, возможно, проводить операции без наркоза. Чем короче операция, тем лучше. Сейчас мы отправляем инженеров на каждую операцию следить за движениями робота. Так быть не должно. Мы хотим, чтобы это была процедура в один клик. Надёжная, предсказуемая, скучная. Мы любим скучные операции, но впереди множество задач и аппаратных, и программных. Следующее улучшение - глубина внедрения. Сейчас мы вводим нити только на 4 мм

глубь от поверхности мозга, чтобы считывать активность. Но возможность вставлять глубже даёт доступ к большему числу нейронов и к другим областям мозга. Особенно это важно для зрительных протезов. Если вставлять глубже, можно восстанавливать периферическое зрение. Оно зачастую полезнее, чем центральное, которое даёт узкое поле зрения. И, как вы понимаете, это огромные задачи, оптические, механические, программные. Совмещение дооперационных снимков с роботизированной системой. Очень интересная инженерная область. Теперь перейдём к устройству. Так выглядит имплант в увеличенном виде. Как я говорил, он примерно размером с четвертак, 25 мм в диаметре. У него есть гибкие, ультратонкие нити. Это тыся электродов, и именно они входят в мозг. Остальная часть устройства - это то, что заменяет участок черепа. Нити производятся с помощью МС технологий в нашей собственной чистой комнате во Фримонте. Мы также разрабатываем собственные низкопотребляющие аналоговые схемы, кастомные чипы. Хотя чип не совсем точное слово, это скорее полноценная система на кристалле с большим количеством цифровой обработки. Чтобы представить, с какими сигналами мы работаем, типичные сигналы от электродов от 10 мквольт до милливольта. Итак, вы генерируете примерно 200 мбит в секунду. Если задуматься по меркам современной электроники, это на самом деле не так уж и много данных, но мы пытаемся передавать их по Bluetooth, у которого доступно около 20 кбит в секунду пропускной способности. И теперь возникает вопрос: как перейти от 200 Мбит к 200 Кбит? Поэтому на этом SOC используется целый набор методов сжатия и детекции спайков прямо на чипе. Он проходит через аналоговую цепочку усиления, фильтрации и затем цифровой конечный автомат, который выявляет спайки. Потом они распределяются по пятнадцатимиллисекундным корзинам, отправляются через BLE и дальше мы отслеживаем изменение частоты спайков. И вот, собственно, результат. Мы также создаём собственные, точнее, проектируем и собираем наши PCB-платы. Это основа, на которую устанавливается чип. Там расположено множество датчиков и дополнительной электроники, которая обеспечивает работу системы. В самом импланте есть батарея, которая держит заряд около 10 часов, но её нужно заряжать. Зарядка проходит индуктивно. И потребовалось множество инновационных инженерных решений, чтобы избежать нагрева тканей во время зарядки. Аппаратная часть зарядки полностью сделана. У нас есть два компонента: зарядная база с батареей и всей электроникой, и зарядная катушка, которую нужно держать над имплантом. Большинство наших пациентов встроили катушку прямо в головной убор. Они просто надевают шляпу и заряжаются. А наша конечная цель - встроить систему в подушку, чтобы зарядка происходила во время сна. Итак, какие основные вызовы стоят перед нами в отношении самого импланта? Главная техническая метрика - количество каналов. Сейчас у нас 1. 000 каналов, но большее количество каналов означает больше нейронов, а значит, больше информации. Для программы движения это означает больше степеней свободы, для зрения больше пикселей, то есть чем больше, тем лучше. Однако всё, что вы видели в предыдущем техническом стеке, становится гораздо сложнее при увеличении числа каналов. Как герметично вывести ещё больше проводов через пластиковый корпус? Как сохранять низкое энергопотребление? Как сжимать ещё больший поток данных? Возможно, нужно увеличивать радиополосу. Значит, как спроектировать собственный радиомодуль? Как интегрировать всё это в единую систему? Список вопросов практически бесконечен, поэтому задач невероятно много на всех уровнях. То же самое касается и работотехники. Мы проводим огромное количество тестов. Перед первым имплантом человеку мы изготовили более тысячи имплантов. И причина проста. Если вы хотите понять отказоустойчивость на уровне 0,1%, нужно изготовить и протестировать как минимум 1. 000 устройств. Поэтому тестирования действительно очень-очень много. На изображение наш собственный аппарат для хардвер тестов. А серверный шкаф - это вовсе необычный серверный шкаф. Он заполнен рядами имплантов, погружённых в мозг в банки. Среду ускорено стареющую за счёт повышенной температуры. То есть испытание огромное количество. Хорошо. Последняя часть. Нейронное декодирование. Итак, как пользователь превращает всё это во что-то полезное? Участники подключаются к устройству через компьютер или телефон, на котором запущено наше приложение Telepathy App. В нём несколько этапов. Первые сопряжение устройства, почти как со стандартным Bluetooth гаджетом. Затем этап карты тела. Вы двигаете рукой, пред плечьем, сжимаете кисть, и мы смотрим на нейронные сигналы, чтобы убедиться, что электроды действительно находятся в нужных областях мозга. Обычно мы заранее знаем, куда их ставить, но это этап проверки. Затем идёт калибровка. Используя одно из движений, которое мы получили на этапе картирования, мы переводим его в движение курсора.

Постепенно это уточняется. Примерно так же, как в любой-системе, есть этап обучения и этап инференса. Задача непростая. Человеку, который никогда раньше не имел импланталин, нужно около 15-20 минут, чтобы научиться пользоваться компьютером. Также есть большое количество элементов интерфейса управления и интеграции с операционной системой. Можно обновлять прошивку, давать имя импланту, пользоваться всеми возможностями компьютера. Мы всё это построили поверх базовой системы. Работу над этим всем сделал один человек. Итак, какие направления улучшений существуют в части декодирования BCI? Первое, надёжность. Здесь вы видите, что плюсы обозначают точки, куда мы хотим попасть при декодировании в таком круговом векторном пространстве. А облака точек - это фактический вывод модели. Как вы видите, сразу после первичной калибровки облака хорошо сгруппированы в нужных чётко отделимых зонах. Но со временем всё начинает плыть. Через несколько дней картина может стать вот такой. Почему так происходит? Существует явление, которое называется нейронной нестабильностью. Нейроны постоянно меняются, и в зависимости от контекста вы можете записывать активность уже другого нейрона. Значит, модель приходится регулярно перекалибровывать. Перекалибровка - это неприятно. Как с этим справляться? Можно ли вообще обойтись без неё? Какие здесь вызовы? Мы рассматриваем разные-техники, полувизируемые методы, которые позволят модели обновляться на ходу, пока пользователь работает, без того, чтобы каждый раз сидеть перед компьютером по 10-15 минут. Некоторым людям, правда, это нравится. Для них это почти медитация, но в целом

идея калибруй свою мышь каждый день выглядит не лучшим пользовательским опытом. Так что здесь огромный набор задач на Ailстороне. Это небольшая мозаика того, как люди используют систему. Кто-то играет в Хейла, кто-то управляет роботизированной рукой и впервые самостоятельно ест. Кто-то работает в КАТ, кто-то использует для работы, кто-то для рисования. Это всё те же вещи, для которых мы используем компьютеры, телефоны и другие устройства. Но теперь нам нужно превратить все эти варианты использования в надёжные продуктовые решения, работающие поверх интерфейса. Одной из вещей, которыми мы особенно гордимся и куда будем продолжать инвестировать огромные ресурсы, является вертикальная интеграция. Почти всё, что вы видели, мы производим внутри компании, включая собственный чистый цех. У нас также есть своя строительная команда, которая возводит кастомные здания. Это в Остине. Сейчас выглядит гораздо красивее, но именно там мы строим нашу штаб-квартиру. Вот, собственно, и всё. Если вам интересно, подавайте заявку. И не обязательно быть нейрохирургом, чтобы работать в Ньюралинг. Хотя у нас есть один нейрохирург. Вот он сидит. เฮ