Кошачий документ: как Google научил нейросеть распознавать котов

Перевод фрагмента материала The New York Times Magazine. О знаменитом кошачьем документе Google Brain эксперименте, в котором нейросеть впервые сама вычленила понятие кошка из YouTube-видео без участия человека-разметчика.

Адаптированный перевод фрагмента статьи Gideon Lewis-Kraus «The Great A.I. Awakening», вышедшей в NYT Magazine 14 декабря 2016 года. Ссылка на оригинал: https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html. Помощь в адаптации оказали в петербургском бюро переводов «ТранЭкспресс» (https://spb.tran-express.ru/).

Кошачий документ Google Brain

В начале 2010-х подразделение Google Brain делало ставку на нейронные сети — подход, который в академическом мире долгое время считался тупиковым. Чтобы доказать жизнеспособность идеи на промышленном масштабе, команде нужен был наглядный результат: эксперимент, который показал бы что нейросеть способна научиться чему-то осмысленному без подробной разметки данных. Этот эксперимент получил неофициальное имя «кошачий документ» — и именно он принёс Brain первую широкую известность.

За первый-второй год существования проекта усилия Brain по воспитанию в машинах навыков годовалого ребенка оказались настолько многообещающими, что команду выпустили из лаборатории X в более широкую исследовательскую структуру Google. (Глава Google X как-то заметил, что Brain полностью окупил все затраты X.) В команде всё ещё было меньше десяти человек, и они имели смутное представление о том, чем всё это в итоге обернётся. Но даже тогда они думали о том, что должно произойти дальше. Сначала человеческий разум учится распознавать мяч и ненадолго задерживается на этом достижении, но рано или поздно ему хочется попросить этот мяч. А затем он погружается в язык.

Первым шагом в этом направлении стал «кошачий документ» — работа, принесшая Brain известность.

Суть эксперимента с кошкой

«Кошачий документ» продемонстрировал следующее: нейросеть с более чем миллиардом «синаптических» соединений — в сто раз больше, чем у любой опубликованной нейросети на тот момент, но всё же на много порядков меньше, чем у нашего мозга — способна наблюдать за сырыми, неразмеченными данными и самостоятельно вычленять в них человеческие концепции высокого уровня.

• Исследователи Brain скормили сети миллионы стоп-кадров из видео на YouTube;
• из хаоса чистого сенсорного опыта сеть выделила устойчивый паттерн, который любой малыш или бурундук без колебаний узнал бы как кошачью морду.

Машину не программировали с заранее заложенным знанием о кошке; она сама напрямую обратилась к миру и захватила эту идею. (Исследователи обнаружили это с помощью аналога МРТ для нейросетей, который показал им, что призрачное кошачье лицо вызывает у искусственных нейронов наибольшее коллективное «голосование».) Бóльшая часть машинного обучения до того момента ограничивалась объёмами размеченных данных. «Кошачий документ» показал, что машины также могут работать с сырыми неразмеченными данными — возможно, даже с такими, о которых у людей нет никакого предварительного знания. Это выглядело как серьёзный прорыв не только в области распознавания кошек, но и в исследованиях искусственного интеллекта в целом.

Ведущий автор: Куок Ле

Ведущим автором «кошачьего документа» был Куок Ле. Ле невысок, строен, говорит мягко, с быстрой загадочной улыбкой и блестящими чёрными туфлями-лодочками. Он вырос недалеко от Хюэ, во Вьетнаме. Его родители были рисоводами, электричества в доме не было. Математические способности проявились рано, и его отправили учиться в специализированную школу с уклоном в естественные науки. В конце 1990-х, ещё учась в школе, он попытался создать чат-бота, чтобы было с кем поболтать. Он думал: ну что тут сложного?

«Но на самом деле, — прошептал он бесстрастно, — это очень сложно».

Он уехал с рисовых полей по стипендии в университет в Канберре, Австралия, где занялся задачами ИИ, например, компьютерным зрением. Тогда доминировал метод, при котором машине скармливали определения таких вещей, как границы объектов; Ле казалось, что это жульничество. Он тогда не знал или знал лишь смутно, что в мире есть ещё несколько десятков учёных, которые, как и он, не могли не мечтать о том, чтобы машины учились с нуля. В 2006 году Ле получил должность в Институте биологической кибернетики Общества Макса Планка в средневековом немецком университетском городке Тюбинген. Там, в дискуссионном клубе, он наткнулся на две новые статьи Джеффри Хинтона. У людей, вошедших в дисциплину в годы её долгого рассеяния, у всех есть истории обращения, и когда Ле прочёл эти статьи, он почувствовал, будто пелена спала с его глаз.

«Были большие споры, — сказал он мне. — Очень большие споры». Мы сидели в маленькой конференц-комнате без окон, узком помещении с высоким потолком, обставленном лишь маленьким столом и двумя белыми досками. Он посмотрел на кривую, которую нарисовал на доске позади себя, потом снова на меня и тихо признался: «Я никогда не видел таких больших споров».

Он помнит, как встал в дискуссионном клубе и сказал: «Вот это — будущее». Это было, по его словам, «непопулярным решением в то время». Один из его бывших научных руководителей из Австралии, с которым он сохранил тёплые отношения, не мог до конца понять выбор Ле. «Зачем ты это делаешь?» — спросил он Ле в письме.

«У меня тогда не было хорошего ответа, — сказал Ле. — Мне было просто любопытно. Существовала успешная парадигма, но, честно говоря, мне было любопытно узнать о новой. В 2006 году активность вокруг неё была очень низкой». Он уехал присоединиться к Эндрю Ыну в Стэнфорд и начал разрабатывать идеи Хинтона. «К концу 2010 года я уже был твёрдо уверен, что что-то должно произойти».

Методика и результаты: сжатие и восстановление

А вскоре после этого произошло следующее: Ле отправился в Brain первым стажёром, где продолжил работу над своей диссертацией — расширенная версия которой в итоге и стала «кошачьим документом». На простом уровне Ле хотел проверить, можно ли научить компьютер самостоятельно определять информацию, абсолютно необходимую для данного изображения.

1. Он скормил нейросети стоп-кадр из YouTube.
2. Затем он велел нейросети отбросить часть информации, содержащейся в изображении, но не уточнял, что именно стоит отбрасывать, а что нет.
3. Машина отбросила часть информации, поначалу наугад.
4. Затем он сказал: «Шутка! А теперь восстанови исходное изображение, основываясь только на той информации, которую ты сохранил».

Это было похоже на то, как если бы он попросил машину найти способ «резюмировать» изображение, а затем из этого резюме развернуть его обратно в оригинал. Если бы резюме основывалось на нерелевантных данных — например, на цвете неба, а не на наличии усов, — машина не смогла бы выполнить качественную реконструкцию. Её реакция была бы похожа на реакцию далёкого предка, который после мимолётной встречи с саблезубым тигром вынес из неё лишь то, что тигры издают успокаивающий шелестящий звук, когда двигаются. Нейросеть Ле, в отличие от того предка, могла пробовать снова, и снова, и снова, и снова. Каждый раз она математически «выбирала» иной приоритет и работала чуть лучше.

Однако нейросеть была чёрным ящиком. Она улавливала закономерности, но выявленные ею паттерны не всегда были интуитивно понятны человеку-наблюдателю. Та же сеть, которая наткнулась на нашу концепцию кошки, также проявила энтузиазм к паттерну, напоминавшему какую-то смесь мебели и животного — что-то среднее между пуфиком и козлом.

От распознавания изображений к языку

В те упоительные «кошачьи» годы Ле не считал себя специалистом по языку, но чувствовал потребность соединить точки со своим ранним чат-ботом. После «кошачьего документа» он понял: если можно попросить сеть резюмировать фотографию, то, возможно, можно попросить её резюмировать и предложение. Эта проблема занимала Ле, а также его коллегу по Brain Томаша Миколова, следующие два года.

За это время команда Brain несколько раз перерастала свои офисы. Некоторое время они размещались на этаже, который делили с топ-менеджерами. Как-то раз они получили письмо от администратора: пожалуйста, перестаньте разрешать людям спать на диване перед кабинетом Ларри Пейджа и Сергея Брина — это нервирует важных гостей. Затем им выделили часть исследовательского здания через дорогу, где их разговоры на общей кухне не пропадали бы даром на вежливые беседы с «костюмами». В тот же промежуточный период конкуренты Google предприняли серьёзные попытки догнать их. (Пока Ле рассказывал мне о своём тесном сотрудничестве с Томашем Миколовым, он снова и снова повторял его имя — словно заклинание, в котором слышалась горечь. Ле никогда ещё не выглядел таким мрачным. Наконец я не выдержал и начал спрашивать: «А он разве…?» Ле кивнул. «В Facebook», — ответил он.)

В этот период они пытались разработать такие архитектуры нейросетей, которые могли бы работать не только с простой статичной классификацией изображений, но и со сложными структурами, разворачивающимися во времени, — такими как язык или музыка. Многие из этих архитектур были впервые предложены ещё в 1990-х, и Ле с коллегами вернулись к тем давно забытым работам, чтобы почерпнуть из них что-то полезное. Они знали: как только вы освоите базовые лингвистические предсказания, вы сможете затем делать и другие умные вещи — например, предсказывать подходящий ответ на письмо или угадывать течение естественного разговора. Можно будет вплотную приблизиться к такой компетенции, которая со стороны — по крайней мере, со стороны — будет выглядеть почти как мышление.