Технология хранения и обработки больших данных Hadoop. Тимур Машнин
Чтение книги онлайн.

Читать онлайн книгу Технология хранения и обработки больших данных Hadoop - Тимур Машнин страница 2

СКАЧАТЬ промежуточных данных, сгенерированных функциями map, формируя окончательные выходные данные.

      Задачи map и reduce выполняются изолированно друг от друга, что обеспечивает параллельность и отказоустойчивость вычислений.

      Hadoop версии 1 содержал компоненты HDFS и Map Reduce.

      И Hadoop версии 1 разрабатывался только для выполнения заданий MapReduce.

      А Hadoop версии 2 уже содержит компоненты HDFS и YARN/Map Reduce версии 2.

      В классическом Map Reduce, когда мастер узел перестает работать, тогда все его узлы slave автоматически перестают работать.

      И мы должны перезапустить весь кластер и заново начать выполнять работу.

      Это единственный сценарий, когда выполнение работы может прерваться, и это создает единственную точку отказа.

      Компонент YARN или Yet Another Resource Negotiator решает эту проблему благодаря своей архитектуре.

      YARN основывается на концепции нескольких мастер узлов и нескольких подчиненных slave узлов, и если один мастер узел выйдет из строя, тогда другой мастер узел возобновит процесс и продолжит выполнение.

      Классический Map Reduce отвечает как за управление ресурсами, так и за обработку данных.

      В Hadoop версии 2, YARN разделяет функций управления ресурсами и планирования/мониторинга заданий на отдельные демоны.

      YARN – это универсальная платформа для запуска любого распределенного приложения, и здесь Map Reduce – это распределенное приложение, которое работает поверх YARN.

      Таким образом, YARN отвечает за управление ресурсами, то есть решает, какая работа будет выполняться и какой системой.

      Тогда как Map Reduce является фреймворком программирования, который отвечает за то, как выполнить конкретную работу, используя два компонента mapper и reducer.

      YARN отделяет компоненты управления ресурсами от компонентов обработки, и YARN не сводится только к MapReduce.

      Диспетчер ресурсов resource manager YARN оптимизирует использование кластера и поддерживает другие рабочие процессы, кроме Map Reduce.

      Поэтому здесь мы можем добавлять дополнительные программные модели, такие как обработка графов или итеративное моделирование, которые могут обрабатывать данные, используя те же кластеры и общие ресурсы.

      Поверх HDFS и Yarn могут работать множество компонентов, и эта архитектура также развивалась с течением времени.

      Давайте посмотрим на историю и посмотрим, как вся эта экосистема Hadoop развивалась и росла со временем.

      Как вы можете заметить, у многих из этих приложений смешные имена.

      Как мы можем понять весь этот зоопарк, и как мы можем понять, что делает каждое из этих приложений?

      Проект Hadoop возник из концепции Google MapReduce и идеи о том, как можно обрабатывать очень большие объемы данных.

      Здесь показан стек Google Big Data.

      И он начинается с файловой системы Google GFS.

      В Google подумали, что будет хорошей идеей использовать большое количество распределенного дешевого хранилища, и попытаться СКАЧАТЬ