Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google. Робин Ли

Чтение книги онлайн.

СКАЧАТЬ талантов, где бы они смогли свободно экспериментировать с инновациями, проводить исследования в неизвестных раньше областях и прокладывать путь искусственному интеллекту в жизнь человека.

      На смену интеллекту

      Если назвать этап просветления искусственного интеллекта версией 1.0, то машинный перевод будет следующим – 2.0. Раньше методы машинного перевода основывались на наборе слов и правил. Люди постоянно суммировали грамматические правила, но это не помогло усовершенствовать перевод. С человеческим языком машины не справляются. Особенно, когда речь идет о переводе в контексте. Например, фраза «how old are you».

      Позднее появился SMT (статистический машинный перевод). Его основная идея заключается в том, чтобы посредством статистического анализа выявить общие правила использования слова или словосочетания и попытаться избежать появления нелогичных фраз. SMT имеет основные функции машинного обучения – обучение и декодирование. Этап обучения позволяет компьютеру построить модель перевода с помощью статистических данных, а затем использовать ее для перевода. Этап декодирования использует расчетные параметры, чтобы получить наиболее подходящий результат от перевода.

      Исследование SMT продолжается уже более 20 лет. Для фраз и коротких предложений уже достигнут значительный прогресс. Но перевод длинных предложений, особенно со сложных языков, вроде китайского или английского, все еще оставляет желать лучшего. До недавнего времени никто не задумывался о подходе NMT (переводе, основанном на нейронных сетях). В его основе – нейронная сеть с бесчисленным количеством узлов. Исходное предложение векторизуется и передается через средний слой сети компьютеру в виде выражения, понятного для него. Затем проходит сквозь многослойную операцию и переводится на другой язык.

      При таком переводе объем данных должен быть огромным, иначе система окажется бесполезной. Поисковые системы, вроде Baidu или Google, могут собирать перевод из огромного количества человеческих высказываний в интернете. Только такие объемы данных способны прокормить NMT. Система сможет самостоятельно отладить механизм перевода. И результат будет лучше, чем при SMT. Особенно, если будет достаточно информации на языке перевода.

      SMT использует локальную информацию. Фраза расчленяется на сегменты. Сегменты обрабатываются и переводятся. И только потом сшиваются вместе. NMT использует общую информацию. Система кодирует фразу полностью (как люди во время перевода сначала читают предложение целиком). А потом на основе закодированной информации генерирует перевод. За счет этого достигается более высокий уровень читаемости текста.

      Например, один из важных аспектов в переводе – порядок слов. Китайцы размещают определения перед определяемым словом. А в английском определение находится после. Машины часто путают этот порядок. Преимущество NMT в его способности к обучению порядку слов в языке. Это обеспечивает плавность СКАЧАТЬ