Душа машины. Радикальный поворот к человекоподобию систем искусственного интеллекта. Пол Доэрти

Чтение книги онлайн.

      Проблема черного ящика и работа сложных систем

      Системы искусственного интеллекта часто используют при принятии важных решений. Кому одобрят кредит? Кого возьмут на работу? Кто получит условно-досрочное освобождение? На какой срок человек попадет в тюрьму? Почему беспилотный автомобиль совершает опасный маневр? Каким именно образом реклама компании распространяется в социальных сетях? И так далее. Однако многие из этих систем (особенно те, которые используют глубокое обучение) непрозрачны.

      Невозможно объяснить, как алгоритмы, работающие с огромным количеством параметров и множеством хитросплетенных уровней абстрагирования, делают те или иные выводы. А ведь они иногда могут обернуться катастрофой – приводить к расовой дискриминации в сфере кредитования и судебных решений по уголовным делам, к чудовищным ДТП или к тому, что онлайн-реклама уважаемых брендов появится рядом с неонацистским или конспирологическим контентом.

      Стремление сделать искусственный интеллект объяснимым, законодательно закрепленное в Общем регламенте Европейского союза о защите данных, вызывает вопрос: объяснимым для кого? Трактовки ищут разные заинтересованные стороны. А трудности возникают даже при использовании относительно простой системы оценки кредитного риска[15].

      Разработчики программного обеспечения и системные администраторы хотят получить разъяснение с точки зрения архитектуры и параметров обработки данных. Опытному кредитному специалисту, принимающему окончательное решение, возможно, понадобится информация о том, как система учитывала разные факторы, выдавая рекомендацию. Заявитель хочет понять, почему ему отказали: из-за возраста, расы, места проживания, плохой кредитной истории?

      Регулятору важно быть уверенным, что система не нарушает конфиденциальности данных и антидискриминационных законов и что она неуязвима для финансовых мошенников. Неспециалист, размышляющий о проблеме черного ящика в целом, может захотеть узнать, зачем кому-то создавать машину, действий которой он не понимает.