Лингвистика

Дошли наконец-то руки, записал для тех, кому так удобнее:https://www.youtube.com/channel/UCL1YPFdAqbyR2N-LeYIbW1A/videosВ ближайшие дни появятся ещё видео. Под последними отличная новость для москвичей.

Статьи эти плод 8 лет теоретической и практической преподавательской работы. Взвешивал каждое слово, чтобы через минимум текста передать то, что НЕОБХОДИМО знать каждому, кто изучает иностранные языки. Одно из самых важных про развитие навыка говорения.

Самые бредовые, несовместимые с реальностью представления об изучении иностранных языков у людей, хорошо ими владеющих. У переводчиков, например. Парадокс, да? Нет.

Почти везде языки дают очень плохо, и реально выучивают их только люди с хорошими способностями. Для обучения таких людей не требуется никакого преподавательского мастерства или специальных приёмов. Они воспримут любой способ преподавания. Что-то сами додумают. Но таких максимум 5-10%. Остальные, включая толковых людей с хорошим образованием, становятся жертвами мифов, распространяемых маркетологами языковых школ.

Всю свою преподавательскую карьеру я боролся с этими мифами с помощью статей. Тратил сотни человекочасов, пытаясь сформулировать МАКСИМАЛЬНО коротко. Убивал по полдня (!), придумывая, как сократить абзац хотя бы на одну строчку без потери смысла. Радовался, когда удавалось удалить даже одно лишнее слово. Фильм (сборник лекций) результат этой многолетней работы.

Знакомые говорят, что история мотивирующая и надо её публиковать. Ну вот.

Сколько себя помню, всегда хотел знать иностранные языки, особенно английский, но видел перед собой огромную глухую стену, к которой не знаешь, как подступиться. На курсы денег нет. Припадки заучивания слов глохнут уже через несколько дней из-за ощущения бесперспективности, да и забываются эти слова моментально.

15 мешков картошки. Всё началось с них. Моя деревенская семья всегда выращивала картошку, взрослые продавали потом. В какой-то момент отец показал мне на мешки и сказал: Иди продавать к магазину, 50% твои. Уже через неделю у меня впервые в жизни были свободные деньги, достаточные, чтобы пойти на курсы.

На курсах объяснили, что через will выражается будущее время, have + 3-я форма глагола значит, что действие имело место ранее заданной расчётной точки, а вот ещё Present Perfect Continuous есть.

Это сейчас и чё??, а в провинции до Интернета Помните, как Моисей раздвинул воду? Вот. Наконец-то появилась возможность учить самостоятельно!

Вскоре переехал в столицу и получил дополнительную мотивацию: в Москве как-то всё про английский, всё вокруг него. После нескольких месяцев выживания и работы на трёх работах жизнь устаканилась, пора было браться за язык всерьёз.

В 7 лет, не имея доступа к детской литературе, читал дома всё, что попадалось, вплоть до русской классики. За счёт этого удалось нехило прокачать язык, ну как минимум письменную речь. Как-то в продлёнке мне навешали два третьеклассника, и меня же ещё поругали за драку! Помню, как, продолжая реветь, лежал прямо на полу и писал развёрнутое официальное обращение к учителям и ученикам школы: потому что вы Козлы! Козлы с большой буквы потому, что это ваше имя. Вручил воспитательнице продлёнки и засим удалился. Все ближайшие дни трясся от страха: в те времена назвать учителей козлами

К величайшему моему удивлению, даже родителей в школу не вызвали. День за днём все вели себя так, как будто вообще ничего не произошло. Спустя какое-то время, проходя мимо двух учительниц старших классов, услышал шёпот: и ни одной ошибки, и все запятые правильно расставлены Похоже, советские педагоги были настолько потрясены недетским слогом первоклассника, что решили не спускать собак.

Много лет спустя в Москве подумал: а вдруг с английским так же прокатит?? И взялся за неадаптированную английскую классику. В советское время её очень здорово перевели буквально предложение в предложение и очень качественно.

Взял книжку Трое в лодке в оригинале, взял русский перевод и делал следующее. Читаю абзац со словарём на английском. Это агония: почти с нуля сразу за классику. Затем беру этот же абзац в русском переводе и сравниваю, пытаясь увидеть, где и что я понял неправильно. Без словаря и на этом этапе не обойтись: оказывается, например, что неправильно понял слово blind. Это не слепой это занавеска. После всей подробнейшей проработки ещё раз читаю этот абзац на английском, уже более-менее всё понимая, и перехожу к следующему. На каждый абзац могло уходить 1-2 часа. Когда таких абзацев набиралось на 7-10 страниц, я делал то, что начинающие обычно не могут себе позволить: откидывался в кресле и читал 10 страниц сложного классического текста подряд практически без словаря. Ага, эти самые ЕЩЁ РАЗ! Мозг, таким образом, с самого начала настраивался на английский стиль мышления.

Не пытайтесь это повторить. Работает, да, но соотношение затраченного времени и выхлопа не самое выгодное.

Не могу сказать, что после тех троих в лодке стало легче: у Джерома сравнительно простой язык. Дальше пошёл Чарльз Диккенз, а потом Вальтер Скотт со своими вкраплениями староанглийского и шотландского. Всё это время, кстати, продолжал выписывать и учить отдельные слова. Big mistake. Я, конечно, упёртый товарищ несколько тысяч так выучил. Но, оглядываясь назад Время можно было потратить гораздо рациональнее.

У упорство. В какой-то момент уже работал на приличной работе с высокой зарплатой. Уверенности в своём знании английского, однако, по-прежнему не было. Решение очевидно: увольняемся с хорошей работы, устраиваемся курьером в бюро переводов и занимаемся английским по 13-14 часов в день. Если нет поездок, делаем в офисе грамматические упражнения. Что-то непонятно обращаемся к переводчикам. В поездках продолжаем читать классику Вирджиния Вулф и Теккерей, йоу! А ещё курьер часто где-то идёт пешком. Ну сделал 120 листов распечаток А4 с фразовыми глаголами и примерами их употребления и ходи себе, крути их в голове месяцами. До сих пор некоторые места в Москве ассоциируются с конкретными фразовыми глаголами.

В какой-то момент поступил на не самый лучший иняз: на первых же курсах начал поправлять преподавателей. Потом перестал поправлять преподавателей. Иняз создаёт среду, где все поголовно прямо или косвенно, так или иначе заинтересованы в английском: от экзаменов никуда не денешься. Такая среда стимулирует тебя даже в том случае, если изначально мотивации было ноль.

Моя и без того мощная мотивация взлетела до небес: уже на первом курсе появилось ощущение собственной крутости. Это наркотик, и с него так просто не слезть. Если в программе всплывала незнакомая идиома, я испытывал микростресс: Кто такая, почему не знаю?? Идиома буквально впечатывалась в память.

Fun fact: я, возможно, был единственным в истории студентом иняза, который ни разу за все 5 лет не сдавал экзамен по общему английскому, только гос. Преподаватели менялись, но вели себя на экзаменах всегда одинаково: я просто заходил, и мне без слов ставили отл.

Будучи перфекционистом, стараюсь сделать идеально либо не парюсь вообще. Когда начинал учить язык, цель стояла совершенно чёткая: выйти на такой уровень, чтобы носители-британцы не отличали меня от своего. Уже на старших курсах работал переводчиком, а через пару лет после выпуска вырос как профессионал ещё на голову.

Итак, что у меня было за спиной через 2 года после окончания иняза:

- 5 лет чтения классики в оригинале;

- несколько лет работы переводчиком и преподавателем английского;

- десятки фильмов и сериалов, просмотренных по несколько раз внимательнейшим образом, не пропуская ни одного слова или выражения;

- опыт проживания в языковой среде: Англия 3 месяца, США 8 месяцев;

- многократно проработанный мощный аудиокурс для расширения вокабуляра (созданный для носителей, btw) + я особое внимание всегда уделял фразовым глаголам как одной из самых непонятных областей английского языка.

И вот только после всего этого до меня стало доходить, во что я вообще ввязался, с каким объёмом информации я имею дело. Даже если полностью избавиться от акцента, свои идентифицируются через связки пароль-отзыв.

Мороз и солнце? Аты-баты?

В последние годы начинаю приучать себя к мысли, что, скорее всего, не добьюсь поставленной цели никогда.

________________

Меня долго не отпускало ощущение, что делаю что-то не так, поэтому всегда с интересом расспрашивал всех, кто занимался английским: преподавателей, студентов инязов, наших эмигрантов в Англии и США...

Fun fact 2: у людей, хорошо владеющих иностранными языками, обычно очень смешные представления о том, как их надо учить, особенно у переводчиков. Парадокс, да? Нет. Почти везде языки дают плохо, и реально выучивают их, как правило, люди с хорошими способностями. Для обучения таких людей не требуется никакого преподавательского мастерства или специальных приёмов. Они воспримут любой способ подачи материала. Что-то сами додумают. А потом всю жизнь рассказывают, как замечательно это работает.

Правды о принципах изучения и преподавания иностранных языков в массовом сознании не больше, чем в представлениях древних греков о строении мира. Я не преувеличиваю: волосы дыбом встают от того, что удалось натворить маркетологам языковых школ в головах людей. Даже толковых людей, даже с хорошим образованием.

Несмотря на способности и бешеную мотивацию, я, к сожалению, сделал ВСЕ мыслимые ошибки и прошёл через ВСЕ заблуждения от учить слова по карточкам до веры в чудо соприкосновения с носителями. Все эти ошибки и заблуждения впоследствии зафиксировал и сформулировал в некоторых статьях этого блога.

Перфекционизм и тут нашёл себе применение)) Fun fact 3: те статьи, которые про изучение иностранных языков, я писал и редактировал 8 лет! Тратил сотни человеко-часов, пытаясь сформулировать МАКСИМАЛЬНО коротко. Убивал по полдня (не шучу), придумывая, как сократить абзац хотя бы на одну строчку без потери смысла. Радовался, когда удавалось удалить даже одно лишнее слово.

Даже после этого не успокоился перевёл их в видеоформат. Всё равно, конечно, получилось 69 минут. Ну сорри не рекламный ролик снимал... Труд всей жизни, так сказать.

Вступление

Доминирующий на сегодняшний день подход к языковому моделированию основан на рекуррентных нейронных сетях. Их успех в моделировании часто связан со способностью таких сетей обработать неограниченный контекст. В этой статье мы разрабатываем подход для конечного контекста с помощью сложенных (композитных) сверток, которые могут быть более эффективными, поскольку они позволяют распараллеливать последовательные порции данных. Мы предлагаем новый упрощенный нейро-управляемый механизм, который превосходит предложенный Oord et al. (2016b) [26] и исследуем для него влияние ключевых архитектурных решений. Предложенный подход достигает наиболее значимых результатов на бенчмарке WikiText103, даже несмотря на то, что он характерен долгосрочностью зависимостей, а также сопоставимых результатов на бенчмарке Google Billion Words. Наша модель уменьшает задержку при оценивании предложения на порядок, по сравнению с рекуррентными базовыми значениями. Насколько нам известно, это первый случай, когда непериодический подход конкурентоспособен с сильными рекуррентными моделями в подобных крупномасштабных языковых задачах.

1. Введение

Статистические языковые модели оценивают распределение вероятностей последовательности слов путем моделирования вероятности следующего слова с учетом предыдущих слов, т.е.

где wi - отдельные индексы слов в словаре. Языковые модели являются важной частью систем распознавания речи (Yu & Deng, 2014)[34] и машинного перевода (Koehn, 2010) [17].

Недавно было показано, что нейронные сети (Bengio et al., 2003 [1]; Mikolov et al., 2010 [2]; Jozefowicz et al., 2016 [14]) превосходят классические модели языка n-грамм (Kneser & Ney, 1995 [16]; Chen & Goodman, 1996 [3]). Эти классические модели страдают от разреженности данных, что затрудняет представление больших контекстов и, следовательно, анализ долгосрочных зависимостей. Нейронные языковые модели решают эту проблему путем встраивания слов в непрерывное пространство, над которым применяется нейронная сеть. Современное состояние языкового моделирования базируется на сетях долговременной краткосрочной памяти (LSTM; Hochreiter et al., 1997[12]), которые теоретически могут моделировать сколь угодно длинные зависимости.

В этой статье мы вводим новые управляемые сверточные сети и применяем их к языковому моделированию. Сверточные сети могут быть реализованы для представления контекста большого размера и извлечения иерархических характеристик из больших контекстов по более абстрактным функциям (LeCun & Bengio, 1995 [19]). Это позволяет моделировать долгосрочные зависимости, применяя операции сложности

в контексте размером N и шириной ядра k. Напротив, рекуррентные сети рассматривают входные данные как последовательную линейную структуру и поэтому требуют операций порядка

Иерархический анализ входных данных имеет сходство с анализом средствами классических формальных грамматик, построением синтаксических древовидных структур с возрастающей степенью детализации, например, предложения представляются именными и глагольными фразами, каждая из которых включает дополнительную внутреннюю структуру (Manning & Schutze, 1999 [20]; Steedman, 2002 [31]). Иерархическая структура одновременно облегчает обучение, поскольку количество нелинейностей для заданного размера контекста уменьшается по сравнению с линейной структурой, облегчая решение проблемы исчезающего градиента (Glorot & Bengio, 2010 [6]).

Современное техническое обеспечение хорошо адаптируемо к моделям с высокой степенью распараллеливания. В рекуррентных сетях следующий выход зависит от предыдущего скрытого (пока неизвестного) состояния, которое не позволяет распараллеливать элементы последовательности. Однако сверточные сети очень подходят для этой вычислительной парадигмы, поскольку анализ всех входных слов может выполняться одновременно, как будет показано далее (раздел 2).

Было показано, что управление имеет важное значение для достижения рекуррентными нейронными сетями современной производительности (Jozefowicz et al., 2016 [14]). Наши управляемые линейные блоки (GLU) снижают сложность проблемы исчезающего градиента для глубоких архитектур, обеспечивая линейность алгоритма нахождения градиентов при сохранении нелинейных возможностей (раздел 5.2).

Мы показываем, что сверточные сети превосходят и другие, недавно опубликованные, языковые модели, такие как LSTM, обученные в аналогичной обстановке на тесте Google Billion Word Benchmark (Chelba et al., 2013 [2]). Мы также оцениваем способность наших моделей успешно справляться с долгосрочными зависимостями на бенчмарке WikiText-103, для которого модель тестирована на целом абзаце, а не на одном предложении, и достигаем нового уровня знаний на этом наборе данных (Merity et al., 2016 [21]). Наконец, мы показываем, что управляемые линейные единицы (GLU) достигают более высокой точности и сходятся быстрее, чем LSTM-управление Oord et al. (2016 [26]; раздел 4, раздел 5).

2. Подход

В этой статье мы представляем новую модель нейронного языка, которая заменяет повторяющиеся соединения, обычно используемые в рекуррентных сетях, на ограниченные временные свертки. Модели нейронного языка (Bengio et al., 2003 [1]) дают представление

контекста для каждого слова

чтобы можно было предсказать следующее слово

Рекуррентные нейронные сети f вычисляют H с помощью рекуррентной функции

Она по своей сути задает последовательный вычислительный процесс, который нельзя распараллелить по i (вместо этого распараллеливание обычно выполняется над несколькими последовательностями).

Предложенный нами подход свертывает входные данные с помощью функции

и, следовательно, не использует временных зависимостей, поэтому его легче распараллелить по отдельным словам предложения. Этот процесс вычислит каждый контекст как вычислимую функцию от числа предшествующих слов. По сравнению с рекуррентными сетями, размер контекста конечен, но мы продемонстрируем, что бесконечные контексты не являются необходимыми, а наши модели могут представлять достаточно большие контексты и хорошо работать на практике (раздел 5).

Рисунок 1 иллюстрирует архитектуру модели. Слова представлены векторным вложением, хранящимся в таблице поиска

Входом в нашу модель является последовательность слов

которые представлены вложениями слов

Вычисляем скрытые слои

как

где m, n соответственно, количество входов и выходов характеристических карт, а k - размер патча,

(либо вложения слов, либо выходы предыдущих слоев),

При свертке входных данных мы заботимся о том, чтобы

не содержала информацию о следующих словах. Мы решаем эту проблему путем смещения сверточных входных данных, чтобы ядра не могли видеть будущий контекст (Oord et al., 2016a [25]). В частности, мы обнуляем начало последовательности элементами

предполагая, что первый входной элемент - это начало маркера последовательности, который мы не предсказываем, а

Выходом каждого слоя является линейная проекция

Подобно LSTM, входы умножают каждый элемент матрицы

и контролируют информацию, передаваемую по иерархии. Мы называем этот управляемый механизм закрытыми линейными единицами (GLU). Укладка нескольких слоев поверх ввода E дает представление контекста для каждого слова

Мы обращаем свертку и закрытый линейный блок (GLU) в остаточный блок предварительной активации, который добавляет к выходу вход блока языкового моделирования со управляемыми сверточными сетями (He et al., 2015a [10]). Блокируется узкое место структуры для обеспечения вычислительной эффективности, и каждый блок имеет до 5 уровней (слоев).

Самый простой выбор для получения прогнозной модели - использовать слой softmax, но этот выбор часто вычислительно неэффективен для больших словарей и приближений, таких, как контрастная оценка шума (Gutmann & Hyvarinen [9]) или иерархический softmax (Morin & Bengio, 2005 [24]). Мы выбрали усовершенствование последнего, известное как адаптивный softmax. Оно дает большее значение (большую важность, больший вес) очень частым словам и меньшее редким словам (Grave et al., 2016a [7]). Это приводит к снижению требований к памяти и к более быстрым вычислениям как во время обучения, так и во время тестирования.

3. Управляемый механизм

Управляющие механизмы контролируют путь, по которому информация обращается в сети, и доказали свою полезность для рекуррентных нейронных сетей (Hochreiter & Schmidhuber, 1997 [12]). LSTMs обеспечивают долговременную память через отдельную ячейку, управляемую входными и забываемыми (стирающимися) входами. Это позволяет информации беспрепятственно проходить через потенциальное множество временных шагов. Без этого информация могла бы легко исчезнуть при преобразованиях на каждом временном шаге. В отличие от этого, сверточные сети не страдают от подобного исчезающего градиента, и мы экспериментально обнаруживаем, что они не требуют забытых (стирающихся) входных данных.

Поэтому рассматриваем модели, обладающие исключительно выходными вентилями, которые позволяют контролировать в сети, какая информация должна распространяться по иерархии уровней. Мы показываем, что этот механизм может быть полезен для языкового моделирования, поскольку он позволяет модели идентифицировать и использовать слова или функции, имеющие отношение к предсказанию следующего слова. Параллельно с нашей работой Oord et al. (2016b [26]) показали эффективность механизма в стиле LSTM формы

для сверточного моделирования изображений. Позже Kalchbrenner et al. (2016 [15]) расширили этот механизм дополнительными шлюзами для использования при переводе и символьном моделировании языка.

Закрытые линейные блоки (GLU) - это упрощенный механизм управления, основанный на работе Dauphin & Grangier (2015) [35] для недетерминированных входов, которые уменьшают сложность проблемы исчезающего градиента за счет подключения линейных устройств к входам. Это сохраняет нелинейные возможности слоя, позволяя градиенту распространяться через линейный блок без масштабирования. Градиент управления в стиле LSTM, который мы назвали gated tanh unit (GTU), равен

Обращаем внимание, что он постепенно исчезает (по мере того, как мы накладываем слои) из-за коэффициентов уменьшения размера

Напротив, градиент управляемого линейного блока (GLU)

определяет путь

без уменьшения масштаба для активированных управляющих блоков в (X). Это можно рассматривать как мультипликативное соединение пропуска, которое помогает градиентам течь через слои. Мы экспериментально сравниваем различные схемы управления в разделе 5.2 и обнаруживаем, что управляемые линейные блоки (GLU) позволяют быстрее сойтись и решить проблему.

4. Эксперименты

4.1 Входящий набор

Мы изложим результаты для двух общедоступных наборов данных при крупномасштабном языковом моделировании. Во-первых, набор данных Google Billion Word (Chelba et al., 2013 [2]) считается одним из крупнейших наборов данных языкового моделирования, с почти миллиардом токенов и словарем, превышающим 800 тыс. слов. В этом наборе данных слова, встречающиеся менее 3 раз, заменяются специальным символом. Данные основаны на английских 30 301 028 предложениях, порядок которых изменен. Во-вторых, WikiText-103 - это меньший набор данных, содержащий более 100 млн. токенов, со словарным запасом около 200 тыс. слов (Merity et al., 2016 [21]). В отличие от GBW, предложения являются последовательными, что позволяет моделям использовать более объемный контекст, а не отдельные предложения. Для обоих наборов данных мы добавляем маркер начала последовательности <S> в начале каждой строки и маркер конца последовательности </S> в конце каждой строки. В корпусе Google Billion Word каждая последовательность представляет собой отдельное предложение, а в WikiText-103 последовательность представляет собой целый абзац. Модель рассматривает <S> и </ S> как входные данные, но предсказывает лишь конец маркера последовательности </S>. Мы оцениваем модели, вычисляя сложность

на представленном стандарте тестовой части каждого набора данных.

4.2 Обучение

Мы реализуем наши модели в Torch (Collobert et al., 2011 [5]) и обучаем на графических процессорах Tesla M40. Большинство наших моделей обучаются на одном графическом процессоре, поскольку мы сосредоточились на определении компактных архитектур с хорошим обобщением и эффективными вычислениями во время тестирования. Мы обучили более крупные модели с настройкой из 8 графических процессоров, скопировав модель на каждый графический процессор и разделив пакет таким образом, чтобы каждый вычислял 1/8 градиента. Затем градиенты суммируются с помощью Nvidia NCCL. Настройка с несколькими графическими процессорами позволила нам обучать модели с более крупными скрытыми блоками.

Мы тренируемся, используя импульс Нестерова (Sutskever et al., 2013 [32]). В то время как стоимость памяти для хранения другого вектора важна для нас, размерность его значительно увеличивает скорость сходимости с минимальными дополнительными вычислениями по сравнению со стандартным стохастическим градиентным спуском. Скорость сходимости была дополнительно увеличена с помощью градиентного отсечения (Pascanu et al., 2013 [27]) и нормализации веса (Salimans & Kingma, 2016 [28]).

Паскану и др. (2013) [27] приводят доводы в пользу отсечения градиента, поскольку оно предотвращает проблему скачка градиента, которая характерна для RNN. Однако отсечение градиента не привязано к RNN, поскольку оно может быть получено из общей концепции методов доверительной области. Отсечение градиента обнаруживается с помощью сферической доверительной области

Эмпирически наши эксперименты сходятся значительно быстрее с использованием градиентного отсечения, даже если мы не используем рекуррентную архитектуру. В сочетании, эти методы привели к стабильной и быстрой конвергенции со сравнительно большими скоростями обучения, такими как 1.

4.3 Гиперпараметры

Мы нашли хорошие конфигурации гиперпараметров путем перекрестной проверки со случайным поиском по тестовому набору. Для архитектуры модели мы выбираем количество остаточных блоков между {1,. . . , 10}, размер вложений с {128,. . . , 256}, количество единиц между {128,. . . , 2048}, а ширина ядра - между {3,. . . , 5}. В общем, найти хорошую архитектуру было просто, и эмпирическое правило состоит в том, что чем больше модель, тем лучше производительность. С точки зрения оптимизации, мы инициализируем слоями модели аналогично Каймин (он с соавт., 2015b [11]), их данных с уровнем обучения выборки равномерно в промежутке [1., 2.], для импульса со значением 0,99 и отсечения до 0,1. Хорошие гиперпараметры для оптимизатора довольно просто найти, и оптимальные значения немного изменяются между наборами данных.

5.Результаты

LSTM и рекуррентные сети способны фиксировать долгосрочные зависимости и быстро становятся краеугольным камнем в обработке естественного языка. В этом разделе мы сравниваем сильные модели LSTM и RNN из литературы с нашим управляемым сверточным подходом на двух наборах данных.

Мы находим, что GCNN превосходит сопоставимые результаты LSTM в Google на миллиард слов. Чтобы точно сравнить эти подходы, мы используем одинаковое количество графических процессоров и адаптивную модель вывода softmax (Grave et al., 2016a [7]), поскольку эти переменные оказывают значительное влияние на производительность. В такой настройке GCNN достигает 38,1 тестовой сложности, в то время как сопоставимый LSTM имеет 39,8 сложности (таблица 2).

Кроме того, GCNN обеспечивает высокую производительность при гораздо большей вычислительной эффективности. На рисунке 2 показано, что наш подход закрывает ранее значительный разрыв между моделями, использующими полный softmax и моделями с обычно менее точным иерархическим softmax. Благодаря адаптивному softmax, GCNN требует меньше операций для достижения тех же значений сложности. GCNN превосходит другие современные подходы, за исключением гораздо более объемного LSTM Jozefowicz et al. (2016 [14]), модели, которая требует большего количества графических процессоров и гораздо более затратной с точки зрения вычислений по полному softmax. Для сравнения, самая большая модель, которую мы обучили, достигает 31,9 тестовой сложности по сравнению с 30,6 в этом подходе, но требует обучения только в течение 2 недель на 8 графических процессорах по сравнению с 3 неделями обучения на 32 графических процессорах для LSTM. Обратите внимание, что эти результаты можно улучшить, используя либо экспертный подход (Shazeer et al., 2017 [30]), либо ансамбли этих моделей.

Другая важная проблема заключается в том, может ли фиксированный размер контекста GCNN полностью моделировать длинные последовательности. В Google Billion Word средняя длина предложения довольно короткая - всего 20 слов. Мы оцениваем WikiText-103, чтобы определить, может ли модель хорошо работать с набором данных, где доступны гораздо более обширные контексты. В WikiText-103 входная последовательность представляет собой целую статью в Википедии, а не отдельное предложение, что увеличивает среднюю длину до 4000 слов. Однако GCNN также превосходит LSTM по этой проблеме (Таблица 3). Модель GCNN-8 имеет 8 уровней по 800 единиц в каждом, а LSTM - 1024 единиц. Эти результаты показывают, что сети GCNN могут моделировать достаточно большой контекст для достижения очень хороших результатов.

Мы оценили набор данных Gigaword так же как и Chen et al. (2016 [4]) для сравнения с моделями с полным подключением. Обнаружено, что полносвязная и сверточная сети достигают сложности, соответственно, 55,6 и 29,4. Мы также провели предварительные эксперименты с гораздо меньшим набором данных из банка Penn tree. Когда оцениваем предложения независимо друг от друга, GCNN и LSTM имеют сопоставимую тестовую сложность: 108,7 и 109,3 соответственно. Тем не менее, можно добиться лучших результатов, опираясь на предыдущие предложения. В отличие от LSTM, мы обнаружили, что GCNN хорошо подходит для этого небольшого набора данных, и поэтому отмечаем, что модель лучше подходит для задач более крупного масштаба.

5.1 Вычислительная эффективность

Вычислительные затраты важны для языковых моделей. В зависимости от приложения необходимо учитывать ряд показателей. Мы измеряем пропускную способность модели как количество токенов, которые могут быть обработаны в секунду. Пропускную способность можно максимизировать, обрабатывая множество предложений параллельно для амортизации (сглаживания) последовательных операций. Напротив, отзывчивость (чувствительность) - это скорость последовательной обработки ввода, по одному токену за раз. Пропускная способность важна, потому что она указывает время, необходимое для обработки структуры текста, а скорость отклика является индикатором времени, необходимого для завершения обработки предложения. Модель может иметь низкую отзывчивость, но высокую пропускную способность за счет одновременной оценки множества предложений посредством пакетной обработки. В этом случае, такая модель медленно завершает обработку отдельных предложений, но может обрабатывать много предложений с хорошей скоростью.

Мы оцениваем пропускную способность и скорость отклика для моделей, которые достигают примерно значения 43,9 степени сложности в тесте Google Billion Word. Рассматриваем LSTM с 2048 единицами в таблице 2, GCNN-8Bottleneck с 7 блоками Resnet, которые имеют структуру узких мест, как описано в (He et al., 2015a [10]), и GCNN-8 без узких мест. Блок узкого места заклинивает (разделяет) свертку k > 1 между двумя слоями k = 1. Эта конструкция снижает вычислительные затраты за счет уменьшения и увеличения размерности с k = 1 слоями, так что свертка работает в пространстве меньшей размерности. Наши результаты показывают, что использование блоков узких мест важно для поддержания эффективности вычислений.

Пропускная способность LSTM измеряется с помощью большого пакета из 750 последовательностей длиной 20, что дает 15 000 токенов на пакет. Отзывчивость - это средняя скорость обработки последовательности из 15 000 смежных токенов. Таблица 4 показывает, что пропускная способность для LSTM и GCNN одинакова. LSTM очень хорошо работает на графическом процессоре, потому что большой размер пакета в 750 обеспечивает высокую степень распараллеливания для различных предложений. Это связано с тем, что реализация LSTM была тщательно оптимизирована и использует cuDNN, тогда как реализация сверток cuDNN не оптимизирована для одномерных сверток, которые мы используем в нашей модели. Мы считаем, что гораздо лучшая производительность может быть достигнута за счет более эффективной 1-мерной свертки cuDNN. В отличие от LSTM, GCNN можно распараллеливать как по последовательностям, так и по токенам каждой последовательности, что позволяет GCNN иметь в 20 раз более высокую реакцию.

5.2 Вентильные (управляемые) механизмы

В этом разделе мы сравниваем управляемый линейный блок с другими механизмами, а также с моделями без управления. Мы рассматриваем управляющий механизм (GTU) в стиле LSTM

из (Oord et al., 2016b [17]) и сети, которые используют обычную активацию ReLU или Tanh. Управляющие блоки добавляют параметры, поэтому для релевантного сравнения мы тщательно проверяем модели с сопоставимым количеством параметров. На рисунке 3 (слева) показано, что сети GLU сходятся с меньшими затруднениями, чем другие подходы к WikiText-103. Подобно закрытым линейным модулям, ReLU имеет линейный путь, который позволяет градиентам легко проходить через активные модули. Это приводит к гораздо более быстрой сходимости как для ReLU, так и для GLU. С другой стороны, ни Tanh, ни GTU не имеют этого линейного пути и, следовательно, страдают от проблемы исчезающего градиента. В GTU как входы, так и управляющие устройства могут сокращать градиент, когда устройства насыщаются.

Сравнение моделей GTU и Tanh позволяет нам измерить эффект управления, поскольку модель Tanh можно рассматривать как сеть GTU с удаленными сигмоидальными модулями управления. Результаты (Рисунок 3, слева) показывают, что управляющие блоки имеют большое значение и предоставляют полезные возможности моделирования, поскольку существует большая разница в производительности между блоками GTU и Tanh. Аналогично, хотя блок ReLU не является копией блоков управления в GLU, его можно рассматривать как упрощение

, где входы становятся активными в зависимости от знака ввода. Также в этом случае блоки GLU снижают неоднозначность.

На рисунке 3 (справа) мы иллюстрируем повторение того же эксперимента с большим набором данных Google Billion Words. Мы рассматриваем ограниченный бюджет времени в 100 часов из-за значительного времени обучения, необходимого для этой задачи. Подобно WikiText-103, управляемые линейные блоки достигают лучших результатов в этой проблеме. Существует разрыв примерно в 5 пунктов между GLU и ReLU, что похоже на разницу между моделями LSTM и RNN, измеренными (Jozefowicz et al., 2016 [14]) на одном и том же наборе данных.

5.3 Нелинейное моделирование

К настоящему времени эксперименты показали, что управляемый линейный блок выигрывает от линейного пути, который обеспечивает блок, по сравнению с другими нелинейностями. Затем мы сравниваем сети с GLU с чисто линейными сетями и сетями с билинейными слоями, чтобы измерить влияние нелинейного пути, обеспечиваемого входами GLU. Одним из мотивов этого эксперимента является успех линейных моделей во многих задачах обработки естественного языка (Manning & Schutze, 1999 [20]). Мы рассматриваем глубокие линейные сверточные сети, в которых слои лишены управляемых устройств GLU и имеют вид

Наложение нескольких слоев друг на друга - это просто факторизация модели, которая остается линейной до softmax, после чего она становится лог-линейной. Другой вариант GLU - это билинейные слои (Mnih & Hinton, 2007 [23]), которые имеют форму

На рисунке 5 показано, что лучше всего работают GLU, за ними следуют билинейные слои, а затем линейные слои. Билинейные слои улучшаются по сравнению с линейными более чем на 40 точек затруднения, а GLU улучшает еще 20 точек затруднений по сравнению с билинейной моделью. Линейная модель работает очень плохо (115) даже по сравнению с 67,6 языка 5-грамм модели Кнезера-Нея, хотя первая имеет доступ к большему контексту. Удивительно, но введения билинейных единиц достаточно, чтобы достичь 61 недоумения в Google Billion Word, что превосходит как языка 5-грамм модели Кнезера-Нея, так и нелинейную нейронную модель (Ji et al., 2015 [13]).

5.4 Размер контекста

На рисунке 4 показано влияние размера контекста на управляемую CNN. Мы пробовали разные комбинации глубины сети и ширины ядра для каждого размера контекста и выбрали наиболее эффективную для каждого размера. Как правило, более крупные контексты повышают точность, но возвращаемые результаты резко уменьшаются с окнами прогноза, превышающими 40 слов, даже для WikiText-103, где мы можем использовать всю статью в Википедии. Это означает, что неограниченный контекст, предлагаемый повторяющимися моделями, не является строго необходимым для языкового моделирования. Кроме того, этот результат также согласуется с тем фактом, что хорошая производительность с рекуррентными сетями может быть получена путем усечения градиентов только после 40 временных шагов с использованием усеченного обратного распространения во времени. На рисунке 4 также показано, что WikiText-103 намного больше выигрывает от более широкого контекста, чем Google Billion Word, поскольку производительность ухудшается резко с меньшими контекстами. WikiText-103 предоставляет гораздо больше контекста, чем Google Billion Word, где средний размер предложения равен 20. Однако, хотя средний размер документов близок к 4000 токенов, обнаружено, что высокая производительность может быть достигнута при размере контекста всего 30 токенов.

5.5 Обучение

В этом разделе мы проводим исследование воздействия нормализации веса и ограничения градиента. Отдельно проверяем гиперпараметры каждой конфигурации, чтобы сравнение было справедливым. Из-за дороговизны реализации каждого из этих экспериментов мы рассматриваем только одну итерацию по обучающим данным. На рисунке 6 показано, что оба метода значительно ускоряют сходимость. В частности, нормализация веса увеличивает скорость более чем в два раза. Это ускорение частично связано с возможностью использовать гораздо более высокие скорости обучения (1 вместо 0,01), чем это возможно было бы в противном случае. Как отсечение, так и нормализация веса добавляют вычислительные затраты, но незначительно, по сравнению с большим выигрышем в скорости сходимости.

6. Заключение

Мы вводим сверточную нейронную сеть для языкового моделирования с новым управляемым механизмом. По сравнению с рекуррентными нейронными сетями, наш подход строит иерархическое представление входных слов, что облегчает использование долгосрочных зависимостей, сходных по духу с древовидным анализом формализмов (фреймов) лингвистической грамматики. Это же свойство облегчает обучение, поскольку объекты передаются через фиксированное число слоев и нелинейностей, в отличие от рекуррентных сетей, где количество шагов обработки различается в зависимости от положения слова во входных данных. Результаты показывают, что наша управляемая сверточная сеть достигает нового уровня техники на WikiText-103. На тесте Google Billion Word мы показываем, что конкурентные результаты могут быть достигнуты при значительно меньшем количестве ресурсов.

Ссылки

Мой первый пост. Меня зовут Алан и я хочу рассказать Вам, дорогие читатели и слушатели, чем мы занимаемся в образовательном проекте EnglishDreamTeam. Проект призван помочь людям интуитивно и легко учить языки. Буду рад, если Вы послушаете мои мысли, а также с радостью выслушаю Ваши и отвечу на них.

Многие ошибочно полагают, что видеоигры это чистое зло, которое только и делает, что заставляет молодые и несформировавшиеся умы тратить последние деньги на премиум аккаунты или покупку косметических приблуд на оружие. Смею заверить, дорогие мои, что это неправда. В действительности, есть множество примеров, когда видеоигры помогали людям вписываться в общество, находить верных друзей, развивать память, а что ещё примечательнее обучали нас понимать иностранные языки.

Мой внутренний nerd (nerd ботан, человек заинтересованный умственной активностью) и geek (geek* человек, которого унижают в школе, а потом ты устраиваешься к нему на работу)ликуют, ведь я расскажу вам о личном опыте использования видеоигр в качестве инструмента для изучения английского и французского языков (продолжаю себя обманывать).

*Borrowed fromUrban Dictionary. Check that website to find more cool slang phrases.

Начнём с серьёзного. В детстве мнемоглипоставить диагноз аутизм я считал абсолютно нормальным проводить часы напролёт собирая конструктор LEGO, не обращая внимания на окружающий меня мир и минимизируя общение с другими человеческими существами. Диагноз опровегли. Но трудности в общении были и есть всегда, и я до сих пор с этим борюсь. Доходит до того, что иногда я не хочу знакомиться с людьми только потому, что я их не видел и не слышал. Я плохо понимаю шутки и мне сложно смотреть людям в глаза, но я учусь и буду продолжать работать над собой. Я раскрываюсь перед вами только для того, чтобы показать, что я имею представление о данной теме, следовательно, могу говорить о ней с юмором и толикой иронии.

Майнкрафт (Minecraft) популярная онлайн-игра, в которой вы можете быть творцом. Построить свой дом, башню, а порой и целые города сможет любой желающий (при должной фантазии, конечно же). Объединяйтесь с другими игроками, торгуйте или соперничайте за ресурсы, здесь вам решать кем вы хотите стать в дивном новом виртуальном мире. Есть одна проблема bully.

Bully
Somebody whohurtsothers either physically, mentally or emotionally. They canruina persons life, just to make themselvesfeel better

Source:https://www.urbandictionary.com/define.php?term=Bully

Bully or bulling термины, которые употребляются для обозначения людей, которые причиняют физическую, моральную или эмоциональную боль остальным ради собственной выгоды или для того, чтобы почувствовать власть над другими. Ввиду доступности и популярности Minecraft туда хлынул поток разных личностей: есть те, кто хочет общаться и находить друзей; те, кто уже играет с друзьями или даже семьями; а ещё те, кто стремится причинить боль другим.Trollsand bullies, эти ужасные люди заполоняют сервера, уничтожают чужие постройки, крадут вещи, обзывают и убивают вашего персонажа снова и снова. Доходит до того, что у вас пропадает желание играть, что абсолютно естественно. А иногда это приводит к самоубийству на почве депрессии.

Человек обижается или его обижают? спросила однажды моя добрая знакомая психолог. Ранить человека легко. Ранить человека с аутизмом, который хуже других распознаёт эмоции ещё легче.A bullyв состоянии сказать аутисту, что он defect (дефективный), retard (умственно отсталый), society does not want them (что обществу не нужны такие как они).

Стюарт Дункан (Stuart Duncan) является героем многих родителей и их детей с аутизмом. С помощью сервера AutCraft, который он организовал в 2013 году, он осуществляет поддержку всех желающих, кому был поставлен диагноз. Дети и взрослые вместе у них получилось создать безопасное пристанище для всех нуждающихся. Они налаживают связь, учатся контактировать и воспринимать друг друга, узнают мир через призму игры. У Дункана и двоих его детей тоже аутизм, но, сплотившись, они работают над тем, чтобы всем на сервере было комфортно, а участники смогли почувствовать себя настоящими людьми.

Я рекомендую вам посмотреть его выступление на конференции TED Talk.

How to find a friend

Вы удивитесь насколько легко можно найти себе друзей, играя в видеоигры. Ярким и ставший культовым представителем жанра был и остается World Of Warcraft.

Несмотря на то, что личного опыта игры у меня не так уж и много, я смог встретить множество приятных мне людей на просторах этой невероятно огромной игры. Две враждующие фракции, множество рас, прекрасные локации, подземелья, эпические сражения и море возможностей. Такая игра способна вызвать зависимость, ведь она готова воплотить фантазии любителей настольных игр и приключенческих книг в жанре фэнтези, а самое важное она заставит вас почувствовать участником событий, разовьёт чувство причастности к сообществу и виртуальному миру.

Популярный британский игровой комментатор Джон Бейн (John Peter Bain), известный под псевдонимомTotalBiscuit,однажды поделился историей о том, как человек, устраиваясь на работу указал, что былguild master(управляющий гильдией) в игре World of Warcraft. Работу он получил. Для того, чтобы управлять большим количеством людей, требуются развитые социальные навыки и стратегическое мышление, умение работать в команде и анализировать обстановку.

Система гильдий в игре располагает участников к общению, даёт возможность лучше узнать друг друга и проверить, можно ли положиться на товарища по команде в бою. Мои знакомые любители Warcraft смогли найти себе компаньонов и компаньонок из Европы и Азии для совместной игры. Это не только привело к культурному обмену, совместному изучению языков, но и к продолжительной дружбе, которую они ценят и по сей день.

Gameplay and learnplay

Существует ряд причин по которым видеоигры становятся эффективной развивающей головоломкой, способной в значительной степени ускорить нашу мозговую активность, сделать нас эрудированным собеседником или же вдохновить на создание чего-то нового.

Начну с критерия, которым меня пугали мои родители:Alan's mum is trying to be angry: Playing these gamesis bad for your eyes(негативно влияет на твоё зрение)

В 2012 году Даффна Бавельер (Daphne Bavelier) и её команда провели ряд исследований касательно качества зрения среди не-игроков и игроков в онлайн-шутеры.

online-shooter a video game that teaches you not to kill opponents, but how tooutsmartthem using different tactical decisions

шутеры жанр видеоигр, который учит не убивать своих врагов, аперехитрятьих, применяя различные тактические решения

Есть два важных аспекта, о которых следует поговорить. Во-первых, благодаря таким играм вы способны ориентироваться в общем хаосе и замечать более мелкие детали среди происходящего. А во-вторых, любители шутеров способны лучше различать оттенки серого цвета, что позволяет им быстрее заметить приближающийся в тумане автомобиль, если позволите привести этот пример. Не поленитесь и посмотрите видео ниже. Как-никак, Мадам Бавельер видный профессор и выпускница Массачусетского Технического Университета; это место и люди, связанные с ним, вызывают у меня глубокое почтение и восхищение. Посмотреть видео можно здесь.

Критерий 2: Игры ничему не научат

Позвольте рассказать вам, дорогие мои слушатели и читатели, небольшую историю.

Выпускнику и специалисту в области международных отношений подобает быть сведущим в международном праве, в особенности, законах и истории стран, сыгравших или же играющих роль в формировании современной политической структуры мира. Был у меня предмет Международное право с исключительным преподавателем, которая могла буквально превратить воду скучного текста в вино. И был у меня экзамен, который я почти пропустил. Точно бы пропустил, если бы не моя дражайшая коллега и подруга, которая позвонила мне ранним утром и приказала мчаться в университет, что есть мочи.

Я не спал всю ночь. Всё, что я делал это играл в эту замечательную игру под названием Sid Mayer's Civilization V. Игра в жанре turn-based strategy (пошаговая стратегия), со встроенной энциклопедией, где описаны важные для той или иной страны события, видные деятели, вооружение, экономика, техника, право словом всё, что нужно знать маленькому любителю истории.
Так получилось, что я играл за Англию, строил козни Франции, конструировал флот, а ещё читал. Читал про английские законы и право, читал про видных политиков, читал про Первую мировую войну и роль страны во всемирной истории.

Spoiler alert! Неумытый, небритый и сонный молодой человек получил твёрдую пятёрку за экзамен. Мне достался вопрос Великобритания и её роль в современных международных отношениях. Британское право.

Критерий 3: Изучение языков

Любопытно, как же научиться понимать новый для меня язык, различать слова и читать на нём. Задачу, которую я поставил, была ясна. Осталось выбрать игру и не понимать, что там происходит в сюжете до самого конца.
Неверно.

Я выбрал жанр RPG или role-playing games (ролевые игры). Жанр, в котором сотни часов диалогов, где приходится выбирать себе доспехи, оружие, крафтить (от англ. to craft мастерить, создавать) предметы. Я выбрал то, где языка много, и каждая секунда это погружение в языковую среду. Никто не говорит вам, что первые часы будут лёгкими, вам придётся усердно напрягать слух, а ещё сидеть со словарём, но дайте себе шанс. Пройдёт неделя и вы обнаружите, что понимаете уже чуть больше обычного. Знакомые слова будут всплывать всё чаще, а ориентироваться в мире станет легче.

Важным фактором является оригинальная озвучка. Актёры прикладывают массу усилий, чтобы речь звучала живо и органично вписывалась в ситуацию игры. Слушая иностранную речь, вы помогаете себе освоиться с чуждой языковой средой это дисциплинирует и делает вас внимательным и аккуратным слушателем.

В каждом из нас заложена уникальная способность распознавать gibberish (тарабарщину) и с помощью неё строить пирамиды из сложных конструкций, пока мы пытаемся доказать слушателю, что мы не Je ne pa parle Franais или I do not speak English. Немых племён ещё никто никогда не находил. Язык не есть культурное изобретение, но продукт уникального человеческого инстинкта.

No mute tribe has ever been discoveredlanguage is not a cultural invention, but the product of a special human instinct

Steven Pinker The Language Instinct, p.13-14

Death Stranding

Пожалуй, самой удивидельной игрой прошлого года стал проект японского геймдизайнера Хидео Кодзимы и мексиканского кинорежиссера Гильермо Дель Торо. Главные роли исполнили: великолепный Мадс Миккельсон, потрясающий Норман Ридус, очаровательная Леа Сейду, загадочная Линдси Вагнер, отменный режиссер Николас Виндинг Рефн, красавица Маргарет Куили и многие-многие другие.

Spoiler alert! Без спойлеров, но с описанием базовых механик игры.

Сюжет игры разворачивается в мире после глобальной катастрофы, известной как Death Stranding (Смертельный выброс). Люди разрознены и живут в бункерах, а единственные посетители мест портеры (porters) или курьеры, которые доставляют грузы разной степени важности: от еды, медикаментов и одежды до древних археологических ископаемых.

Играя за одного из доставщиков, вам предстоит пробежаться по постапокалиптическому миру, чтобы восстановить связь между остатками человечества и выяснить причину Death Stranding.

Слово stranding поистине примечательное:to be stranded выброшенный, выкинутый на берег или попросту потерянный;a stranded animal термин, употребляемый по отношению к морским животным, которых выбрасывает на сушу;a strand нить, связующее звено.

Важным аспектом игры является косвенное присутствие других игроков в онлайн-режиме. Вы можете найти построенный мост, оставленное другими транспортное средство или снаряжение. В игре присутствуютлайки(likes), но нельзя ставитьдизлайки(dislike), система поощрения построена на вежливости и кооперации. А ещё там великолепная музыка от группы Low Roar и пейзажи, напоминающие Карелию.

Поговорив сегодня об аспектах и влиянии видеоигр, важно будет упомянуть, насколько же прекрасен бывает сюжет и чему он учит. Death Stranding учит общаться не прибегая к словам, учит тому, что мы связаны друг с другом, несмотря на наши различия. Учит, что мы можем добиться великого, если будем работать сообща преодолевая трудности, шаг за шагом стремясь к тому, чтобы сделать наш мир лучше.

Хочу выразить отдельную благодарность моим близким друзьям за чтение и изучение статьи перед публикацией. Я использовал свой опыт и собственные мысли равно как и знания и опыт других любопытных умов.

Отдельное спасибо Анастасии Федченко за вдохновение и поддержку, Светлане Кулагиной за весомый вклад в формировании финальных мыслей о Death Stranding, Alan Alden рассказал о TotalBuscuit и его истории, подчеркнул, почему озвучка в играх важна и как она влияет на формирование акцента играющего, моей дорогой коллеге Маше Зоткиной за редакцию и финальные правки.

Буду рад услышать о Вашем опыте взаимодействия с видеоиграми в комментариях. Let us stay connected.

DreamTeam always welcomes everyone who wants to stay connected. Stay safe and learn playing.

Always yours,
DreamTeam

Created by Alan Yagodin

Мне всё чаще задают вопрос, который неуклонно ставит меня в тупик: Как мне выучить язык? Вопрошающая прожигает меня взглядом в ответ на минутное молчание, словно я отвечу на это утверждение быстро и чётко как прилежный ученик, который заучил ответ ещё в школе, но не удосужился понять сути.
Позвольте же мне найти для вас, пытливых и талантливых умов, подобие разгадки, развеять некоторые мифы и, надеюсь, обратить ваши пылающие взгляды на великих мыслителей иlinguistic*punduits(перевод:экспертов в области лингвистики) современности, в частности, Стивена Пинкера (Steven Pinker) и Ноама Чомски (Noam Chomsky).

Меня зовут Алан Ягодин и это моя вторая статья на Хабр. Вместе с моей коллегой Машей Зоткиной мы продвигаем идею доступного и интуитивного образования в нашем маленьком проекте EnglishDreamTeam. Хочу сказать спасибо, что читаете и слушаете. Надеюсь, что мои мысли окажутся полезными для вас.

Выделяют 4 свойства, определяющие язык: Discreetness (Дискретность), Displacement (Смещение), Grammar (Грамматика) и Productivity (Продуктивность).
1.Discreetness дискретный или дробный данное понятие делит язык на несколько составляющих частей. Благодаря этой особенности, мы комбинируем ограниченное количество различных звуков вместе и создаём бесконечные структуры из слов, фраз, идиом, сложных предложений.
2.Displacement позволяет нам говорить о событиях прошлого, настоящего и будущего, а также выдумывать и грезить о вымышленном.
3.Grammar свод правил и законов языка. Некоторые учителя прививают любовь к грамматике со школы, которая в последствие сводит с ума бедных детей вроде меня.
4.Productivity количествоmumbo-jumbo(слова не имеющие значения или сильно смущающие слушателя), которые вы можете произвести за единицу времени.

Животным присущи некоторые из выделенных признаков.

Дискретностьнаблюдается у шимпанзе и горилл, которые способны освоить простой язык жестов и понимать вплоть до пары тысяч слов разговорного языка. Пчелы исполняютwaggle dance(виляющий танец), сообщающий о местонахождении вкуснейшего нектара; они также осознают концепцию 0, как отсутствия чего-либо (the concept of zero), что характерно для понятияDisplacement. В отличие от перечисленных животных, крабы говорят только о текущих условиях, и для них нет необходимости подчинятьсяграмматике порядок сообщений для нас кажется случайным.Продуктивенли разговор гориллы с человеком? Безусловно. Но занимательнее всего то, что обезьяны демонстрируют понимание концепции прошлого (обезьяна Коко могла выразить горечь утраты своего котенка с помощью языка жестов; посмотрите её разговор с Робином Уильямсом из видео ниже), а также вполне комфортно чувствуют себя, заимствуя человеческую систему языка и символы.

Среди свойств, определяющих язык, я бы хотел подробнее остановиться на грамматике. Ведь мы все мечтаем выучить Present Simple без этого ведь никак нельзя быть уважающим себя собеседником. Каждый говорящий, который использует в предложении Present Simple, должен держать у себя в голове 4 правила:

Находится ли подлежащее (subject) в третьей форме: He walks против I walk.

Стоит ли подлежащее во множественном или единственном числе: He walks против They walk.

В настоящем ли времени происходит действие: He walks против He walked.

Является ли действие привычным или оно происходит в момент говорения: He walks to school против He is walking to school.

Объяснять такую сложную концепцию ребенку кажется пустой тратой времени. Тем не менее, существуют педагоги, которые занимаются только этим и ничем иным, пытаясь доказать, что тесты по грамматике важны и без них вы не будете образованным. Как вы уже увидели из описания свойств языка, грамматика не является исчерпывающим фактором. Даже если вы освоите эти 4, казалось бы, простых для взрослого ученика правила из Present Simple, вам встретятся ситуации, которые будут выбиваться из грамматических норм: Iwaswalkingto school, but suddenly a big scary dogjumpsat me! Ребёнок, которого напугала собака в прошлом, пытается изобразить ситуацию в настоящем, чтобы собеседник прочувствовал его эмоции. Но, окажись вдруг глагол с окончание -y, как ребёнок сможет распознать, что необходимо заменить данный суффикс на -ie и добавить -s, если подлежащее находится в третьем лице: He worriesme. There was no dog. Оказывается, что ребёнок может.

Классический пример Ноама Чомски строится на логике перестановки слов из *declarative sentence(декларативное предложение) в *corresponding question(аналогичный/соответствующий вопрос).

a unicorn is in the garden.

is a unicorn in the garden?

Для нас понятно, что глагол to be нужно поставить на первое место, чтобы построить вопросительное предложение. А что насчёт такого примера: A unicorn that is eating a flower is in the garden. Здесь присутствуют два is. Какое из них следует переставить или убрать?

A unicorn that is eating a flower is in the garden.

isa unicorn that eating a flowerisin the garden?

Кажется, что здесь что-то пошло не так. Почему мы оставляем дваis, а куда можно убрать? А как ребенок сможет понять, что ему выкинуть, а что оставить? Слушая речь взрослых и других детей, юные искатели приключений копируют языковое поведение своего окружения.
Окружение тетушки Мей из штата Южная Каролина состоит из представителей Black English Vernacular (сокр. BEV Афроамериканский английский). Дети слушают взрослых, переспрашивают снова и снова, постепенно формируя собственное сознательное и подсознательное понимание языка.

Now just how crazy is dat? White folks uh hear dey kids say sump'n, dey say it back to 'em, dey ask 'em 'gain and 'gain 'about thingsAunt Mae from South Caroline Piedmont to anthropologist Shirley Brice Heath

В другом примере дошкольница под псевдонимом Сара, родители которой получили среднее образование (прим.автора образование родителей частично влияет на формирование языка у ребёнка; существуют примеры, когда ребёнок полностью игнорировал грамматические ошибки взрослого окружения), неосознанно следует законам английской грамматики:

Donna teasesall the time and Donna has false teeth.It lookslike a donkey face.Do you have a real baby that saysgoogoo gaga?

Чомски отметил, что, хоть предложения и состоят из слов, наш мозг не рассматривает их как первое слово или второе слово, но алгоритм группирует слова во фразы, фразы в ещё большие фразы, нарекая их ментальными ярлыками фраза с подлежащим существительным или фраза с глаголом.
Дети узнают это без нашей с вами помощи. В возрасте до 3х лет они просеивают такое количество информации, что и представить сложно, демонстрируя грамматические примеры, которым их никто никогда не обучал. Однажды утром, находясь в семье, с которой мне посчастливилось познакомиться, младшая дочь сказала:

Мамочка, эта кашка так илипнетко мне.

Когда я попросил девочку объяснить почему она считает кашку липкой, она ответила: Я сказала это, потому что очень сильно люблю кашу!

Существует мнение, что мы приобретаем язык благодаря Mothereseили baby talk упрощенному методу общения матери с ребенком путем постановки простых вопросов и ответов: Is it a doggie? Yes, it is a doggie! Безусловно, общение в раннем возрасте необходимо ребенку, однако, в ряде культур с детьми разговаривают крайне мало, тем не менее, они всё равно говорят и общаются со сверстниками, каждый в своё время. Немых племен ещё никто не находил. Мы не учим детей грамматике, равно как и сидеть за столом (разве что, прямо) или спать лежа, но маленькие лингвистические дарования не перестают это делать. Сегодня есть все основания полагать, что язык является врожденным навыком (innateability), но требующим языковой подпитки на ранних этапах взросления (language acquisition). Доподлинно неизвестно, как мы усваиваем языки. Мы делаем это естественно, не прилагая усилий, а затем нам говорят, что нужно учить Present Simple, и всё возбуждение разом спадает. Я бы не хотел дать умереть вашему языковому гению, поэтому хочу предложить несколько интуитивных и понятных способов для постижения языка (да-да, и грамматики тоже).

P.S. Большинство мыслей были изъяты из великолепной книги Стивена Пинкера The Language Instincts (стр.28-33). Мысли Пинкера были тщательно переведены, аккуратно выстроены для того, чтобы позволить мне кидаться этой статьёй во всех, кто задаёт мне вопрос Как мне выучить язык?

Усвоение языка с поразительной скоростью заканчивается в возрасте от 12 до 13 лет. Увы, если вам больше, то придется поработать над собой. Но никто не говорит вам, что работа должна быть тягостной и мучительной. Для упрощения, мы рассмотрим самостоятельное обучение на примере английского языка.

1.Если вы только начинаете путешествие, то отриньте грамматику в данный момент она вам не нужна. Вместо этого начните смотреть сериалы и мультфильмы, слушать подкасты, кулинарные шоу, которые давно откладывали (быть может, вы хотите их пересмотреть), на изучаемом языке. При возможности смотрите с субтитрами, только не русскими; в Китае практически все иностранные фильмы субтитрируются. В результате, иностранные языки знают далеко не все. Сейчас там огромный спрос на учителей; мозгу проще читать уже известное, чем пытаться слушать неизвестное. Приучите себя слушать каждый день. Это позволит вам укрепить ваши аудиальные навыки, даст понять, как язык ведёт себя в потоке речи, а также позволит вам расслабиться.

Примеры того, что я смотрю и разбираю на уроках со своими студентами: Munchies, Over The Garden Wall, Joe Rogan podcasts

2. Начните читать и писать. Возьмите художественную книгу (адаптированную или нет это решать вам), которую давно хотите прочесть, а также заведите тетрадь для записи ваших мыслей. Используйте Google переводчик, Мультитран, Context Reverso, чтобы быстро получать доступ к переводу. Упомянутые исследования Ноама Чомски о фразовом строении языка подсказывают нам, что мозг не разделяет язык на отдельные слова, но делит на фразы. Если вы запомните слово вне контекста, в другом примере, это слово может кардинально поменять своё значение. Заведите дневник и используйте фразы или предложения из книги.

P.S. Обратите внимание на выделенныежирным шрифтом слова со знаком* я использовал их в статье, чтобы освоить новые выражения, и, тем самым, прочнее закрепил их в моём активном вокабуляре.

3. Общайтесь. Заведите друзей на Facebook, Twitter илиInterPals, начните играть в видеоигры в команде (подробнее про влияние видеоигр на изучение языков я описал в предыдущей статье). Говорите как можно больше. Сейчас проще завести друзей из другой страны, чем вы думаете.

4. Подберитесь к грамматике удобным для вас способом, когда прочитаете книгу, посмотрите мультфильм и наберетесь языкового опыта. Секрет в том, что вы никогда не заговорите или зазвучите как носитель. Но минимизировать грамматические ошибки можно и нужно путём чтения: ваш мозг запоминает строение предложений и фиксирует, где поставить -s или -ing самостоятельно.

Рекомендую к просмотру:Virginia Bowulf English Studies,EngVid(выберите себе подходящего учителя из США, Канады и Британи; ниже несколько примеров)

Быть может, мы не так уникальны, как привыкли о себе думать, и окажется, что крабы или дельфины (thanks for the fish) удивительным образом превосходят нас в общении. Всё же, с рождения мы наделены поразительным навыком, способным творить историю, врать с трибуны, описывать далекий космос или решать уравнения и регулировать споры с помощью диалога. Казалось бы, в эпоху, когда мы получили доступ к тому, чтобы общаться с целым миром, мы должны были научиться лучше понимать друг друга. К сожалению, именно сейчас, когда умение анализировать и сопоставлять информацию, видеть логические ошибки и грамотно выражать свои мысли и чувства востребовано, как никогда раньше, нас по прежнему учат, что мы способны этим овладеть только после грамотного изучения и прохождения тестов по Present Simple.

Статью подготовил: Алан Ягодин
Редактор: Мария Зоткина