Технология хранения и обработки больших данных Hadoop. Тимур Машнин
Чтение книги онлайн.

Читать онлайн книгу Технология хранения и обработки больших данных Hadoop - Тимур Машнин страница 3

СКАЧАТЬ что стек Facebook выглядит очень похожим.

      Здесь есть Zookeeper, аналог Chubby, цель которого хранение и управление конфигурациями систем.

      Здесь есть HBase, и таблицы в HBase служат входом и выходом для работы MapReduce.

      И здесь Hive и Databee, которые обеспечивает SQL запросы.

      И есть Scribe, который используется для агрегации лог данных, передаваемых в режиме реального времени с большого количества серверов.

      Затем, если мы посмотрим на стек Yahoo, вы увидите, что они используют те же компоненты, некоторые из них с другими именами, но для тех же целей.

      LinkedIn также имеет свою версию этого стека.

      И опять же, вы можете видеть, что здесь те же компоненты, некоторые из которых имеют свои реализации.

      Таким образом, вы можете видеть, что из всех этих стеков возникает шаблон, который используют разные организации.

      И здесь показан Hadoop стек CDH – Cloudera's distribution for Hadoop компании Cloudera.

      Cloudera – это американская компания, разработчик дистрибутивов Apache Hadoop и ряда программных продуктов экосистемы Hadoop.

      В этом стеке у нас есть Sqoop, инструмент, предназначенный для эффективной передачи больших данных между Hadoop и структурированными хранилищами данных, такими как реляционные базы данных.

      И есть Flume – распределенный сервис для агрегирования больших объемов лог данных.

      Здесь используется HBase для случайной записи и чтения данных, хранящихся в HDFS.

      Oozie используется в качестве движка координации и рабочего процесса.

      И Pig и Hive обеспечивают языки высокого уровня запросов данных.

      И наконец здесь используется Zookeeper в качестве службы координации в основе этого стека.

      И мы можем скачать и запустить виртуальную машину Cloudera, которая позволяет запускать все эти различные сервисы и узнавать, как они работают, без необходимости установки сервера.

      Но сначала давайте поговорим о различных инструментах, которые мы будем использовать поверх платформы Hadoop.

      С развитием вычислительной техники стало возможным управлять огромными объемами данных, которые раньше мы могли обрабатывать только на суперкомпьютерах.

      Настоящий прорыв произошел, когда такие компании, как Yahoo, Google и Facebook пришли к пониманию, что им нужно что-то сделать, чтобы обрабатывать и монетизировать эти огромные объемы данных, которые они собирают.

      В результате были созданы различные инструменты и собраны стеки Big Data.

      И давайте начнем обсуждение этих инструментов с Apache Sqoop.

      Sqoop означает SQL для Hadoop.

      Это простой инструмент командной строки, который позволяет импортировать отдельные таблицы или целые базы данных в систему HDFS.

      И этот инструмент генерирует классы Java, чтобы можно было взаимодействовать с данными, которые мы импортировали.

      С этим инструментом Вы можете работать с данными базы данных SQL в среде Hadoop и использовать Map Reduce для запуска заданий с этими данными.

      Следующий СКАЧАТЬ