Усиленное обучение. Джеймс Девис

Чтение книги онлайн.

СКАЧАТЬ диапазона. Это позволяет моделировать сложные динамические системы, где состояния могут изменяться плавно и непрерывно.

      Важно иметь точное представление о состояниях среды, так как они определяют доступные агенту варианты действий и напрямую влияют на принимаемые решения. Например, в задаче управления автономным автомобилем состояния могут включать в себя информацию о положении и скорости других транспортных средств, состоянии дороги и т.д. Хорошо определенные и информативные состояния способствуют более эффективному обучению и принятию решений агентом.

      2. Действия (Actions): Действия (Actions) в марковском процессе принятия решений (MDP) представляют собой множество всех возможных шагов или операций, которые агент может совершить в каждом состоянии среды. Это ключевая составляющая, определяющая способность агента воздействовать на окружающую среду и изменять её состояние. Действия могут быть как дискретными, так и непрерывными, и они могут сильно различаться в зависимости от конкретной задачи и контекста.

      В дискретном случае действия представляют собой конечное или счетное множество отдельных шагов, которые агент может предпринять в каждом состоянии. Например, в игре на шахматной доске действия могут включать в себя ходы каждой из фигур, а в задаче управления роботом на плоскости они могут представлять собой перемещения вперед, назад, повороты и т.д.

      В непрерывном случае действия представляют собой бесконечное множество возможных значений, как правило, вещественных чисел. Например, при управлении роботом действия могут быть скорости движения вперед, угловые скорости поворота и т.д. В таких случаях действия могут принимать любые значения из определенного диапазона, что позволяет агенту более гибко и точно реагировать на изменения в окружающей среде.

      Важно, чтобы множество действий было определено таким образом, чтобы агент мог достичь своих целей в задаче и эффективно взаимодействовать с окружающей средой. Правильно выбранные действия способствуют успешному выполнению задачи и достижению оптимальных результатов, в то время как неправильный выбор или ограничения на множество действий могут затруднить или даже привести к невозможности достижения поставленных целей.

      3. Награды (Rewards): Награды в контексте марковского процесса принятия решений (MDP) представляют собой мгновенные значения, которые агент получает после выполнения определенного действия в конкретном состоянии. Эти награды могут быть положительными, отрицательными или нулевыми и обычно используются для обозначения степени удовлетворения или потерь, связанных с принятием определенного решения. Цель агента в контексте RL состоит в максимизации общей суммы наград за всю последовательность действий, что в конечном итоге должно привести к достижению его целей или оптимальному поведению в среде.

      Функция вознаграждения определяется с учетом специфики задачи и желаемых результатов. Например, в игре награды могут быть связаны с достижением определенного уровня СКАЧАТЬ