Machine learning – от модели PyTorch до Kubeflow в облаке для BigData. Евгений Сергеевич Штольц

Чтение книги онлайн.

СКАЧАТЬ с Python, R, C# благодаря, что большая часть кода написана на С++. То, что вся сонова

      написана на С++, это не говорит о том, что CNTK будет обучать модель на C++, а TenserFlow на Python (который медленный),

      так как TenserFlow строит графи и уже его выполнение осуществляется на C++. Отличает CNTK

      от Google TenserFlow и тем, что он изначально был разработан для работы в кластерах Azure с множеством графических

      процессоров, но сейчас ситуация выравнивается и TenserFlow поддерживает кластера.

      * Caffe2 – фреймворк для мобильных сред.

      * Sonnet – надстройка DeepMind поверх TensorFlow для обучения сверх глубоких нейронных сетей.

      * DL4J (Deep Learning for Java) – фреймворк с акцентом на Java Enterprise Edition. Высока поддержка BigData на Java: Hadoop и Spark.

      Со скростью доступности новых предобученных моделей ситуация разнится и, пока, лидирует Pytorch. По поддерке сред, в частности публичных облаков, лучше у ферймворках, продвигаемых вендарами этих облаков, так лучше поддержка TensorFlow лучше в Google Cloud, MXNet – в AWS, CNTK – в Microsoft Azure, D4LJ – в Android, Core ML – в iOS. По языкам общая поддерка в Python практически у всех, в частности TensorFlow поддерживает JavaScript, C++, Java, Go, C# и Julia.

      Многие фреймворки поддерживают визуализацию TeserBodrd. Из себя он представляет комплексный Web интерфейс многоуровневой визуализации состояния и процесса обучения и его отладки. Для подключения нужно указать путь к модели "tenserboard –logdir=$PATH_MODEL" и открыть localhost:6006. Управление интерфейсом основано на навигации по графу логических блоков и отрытию интересущих блоков, для последующего повторения процесса.

      Для экспериментов нам понадобится язык программирования и библиотека. Часто в качестве языка бирут простой язык с низким порогом входа, такой как Python. Может быть и другие языки общего назначения, как JavaScript или специализированные, такие как язык R. Я возьму Python. Для того, что бы не ставить язык и библиотеки воспользуемся бесплатным сервисом colab.research.google.com/notebooks/intro.ipynb содержащим Jupiter Notebook. Notebook содержит в себе возможность не просто писать код с комментариями в консольном виде, а оформлять его в виде документа. Испробовать возможности Notebook можно в учебном плейбуке https://colab.research.google.com/notebooks/welcome.ipynb, такие как оформление текста на языке разметки MD с формулами на языке раметки TEX, запуск скриптов на языке Python, вывод результатов их работы в текстовом виде и в виде графиков используя стандартную библиотеку Python: NumPy(НамПай), matplotlib.pyplot. Сам colab предоставляет графическую карту Tesla K80 на 12 часов за раз (на сессию) бесплатно. Она поддерживает различные фреймворки глубокого машинного обучения, в том числе, Keras, TenserFlow и Pytorch.

      Попробуем. Перейдём по ссылке colab.research.google.com и нажмём кнопку "создать блокнот". У нас появится пустой Notebook. Можно ввести выражение:

      10**3 / 2 + 3

      и нажав на воспроизведение – получим результат 503.0. Можно вывести график параболы, нажав кнопку "+Код" в ввдея в новую ячейку код:

      def F(x):

      return x*x

      import numpy as np

      import matplotlib.pyplot as plt

      x = np.linspace(-5, 5, 100)

      y = list(map(F, x))

      plt.plot(x, y)

      plt.ylabel("Y")

      plt.xlabel("X")

      Или выведя ещё и изображение:

      import os

      !wget https://www.python.org/static/img/python-logo.png

      import PIL

      img = PIL.Image.open("python-logo.png")

      img

      Популярный фреймворки:

СКАЧАТЬ