Дякую за запізнення: керівництво для оптимістів сучасності. Томас Фридман

Чтение книги онлайн.

СКАЧАТЬ style="font-size:15px;">      Однак, за освяченою часом традицією програмістів, Google, пишаючись своїм витвором, вирішив поділитися основами з громадськістю. Тож він опублікував дві праці, у яких окреслював дві ключові програми, що давали змогу одночасно накопичувати стільки даних і здійснювати в них пошук. У першій, що вийшла в жовтні 2003 року, описано розподілену файлову систему Google GFS (або Google File System). Це була система керування й доступу до великих масивів даних у кластерах на твердих дисках дешевих серійних комп’ютерів. Оскільки Google хотів організувати всю світову інформацію для збереження й доступу, ішлося про петабайти або й ексабайти (у кожному випадку це приблизно 1 квінтильйон, або 1 000 000 000 000 000 000 байтів даних).

      І це привело до наступного винаходу Google – оприлюдненого у грудні 2004 року Google MapReduce. Google описує свій винахід як «програмну модель та програмний каркас для оброблення й генерування великих наборів даних… Програми, написані в цьому функціональному стилі, автоматично паралелізуються й виконуються у великих кластерах дешевих комп’ютерів. Система переймається деталями секціювання ввідних даних, графіком виконання програми на групі машин, подоланням виходів машин із ладу та керуванням міжмашинними зв’язками. Це дозволяє програмістам без досвіду роботи з паралельними й розподіленими системами просто використовувати ресурси великої розподіленої системи». Якщо говорити людською мовою, то ці два дизайнові винаходи Google дали змогу вмить зберігати більше даних, ніж ми будь-коли могли собі уявити, і використовувати застосунки ПЗ для подальшого розгляду цілої купи даних із неймовірною простотою.

      Для світу обчислення/пошуку рішення Google поділитися цими двома основними схемами (але не дійсними пропрієтарними кодами рішень GFS і MapReduce) з ширшою фаховою спільнотою мало величезне значення. Власне, Google запрошував спільноту, яка працювала з відкритими кодами, використати ці ідеї. Ці дві праці стали дивовижним сполученням, що дозволило великим даним реформувати достоту всі галузі промисловості. Вони також значно просунули Hadoop.

      «Google описав спосіб простого об’єднання великої кількості доступних комп’ютерів, – зазначив Каттінг. – Ми одержали не робочий вихідний код, а достатньо інформації, щоб фахівець припасував систему до своїх потреб або вдосконалив її». Оце ж і зробив Hadoop. Його алгоритми змусили сотні тисяч комп’ютерів поводитися як один велетенський комп’ютер. Тож кожен міг піти та придбати потрібну кількість недорогого апаратного забезпечення, пам’яті й почати на Hadoop обробляти масиви інформації, щоб одержати деталізовану аналітичну інформацію.

      Незабаром на Hadoop перейшли Facebook, Twitter, LinkedIn. Тому й з’явилися вони всі разом 2007 року! І в цьому була своя рація. У їхньому бізнесі проходили величезні масиви інформації, а використати їх оптимально вони не могли. Не могли та й годі. У них були гроші на тверді диски для збереження інформації, а знаряддя для оптимізації використання інформації на дисках не було, пояснював Каттінг. Yahoo й Google СКАЧАТЬ