Нейросети практика. Джейд Картер

Чтение книги онлайн.

      Давайте рассмотрим примеры разделения данных на обучающий, проверочный и тестовый наборы.

      1. Случайное разделение:

      ```python

      from sklearn.model_selection import train_test_split

      # Загрузка данных

      X, y = load_data()

      # Разделение данных на обучающий, проверочный и тестовый наборы

      X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

      X_val, X_test, y_val, y_test = train_test_split(X_test, y_test, test_size=0.5, random_state=42)

      # Проверка размеров наборов данных

      print("Размер обучающего набора:", X_train.shape)

      print("Размер проверочного набора:", X_val.shape)

      print("Размер тестового набора:", X_test.shape)

      ```

      В этом примере данные разделяются на обучающий (70%), проверочный (15%) и тестовый (15%) наборы. Функция `train_test_split` из библиотеки scikit-learn используется для случайного разделения данных. Параметр `test_size` определяет размер проверочного и тестового наборов, а параметр `random_state` устанавливает начальное значение для генератора случайных чисел, чтобы результаты были воспроизводимыми.

      2. Перекрестная проверка (Cross-validation):

      ```python

      from sklearn.model_selection import cross_val_score

      from sklearn.linear_model import LinearRegression

      # Загрузка данных

      X, y = load_data()

      # Создание модели

      model = LinearRegression()

      # Выполнение перекрестной проверки

      scores = cross_val_score(model, X, y, cv=5) # 5 фолдов

      # Вывод результатов

      print("Оценки производительности модели:", scores)

      print("Средняя оценка производительности:", scores.mean())

      ```

      В этом примере данные разделены на 5 фолдов (поднаборов). Модель линейной регрессии используется для обучения и оценки производительности на каждом фолде. Функция `cross_val_score` из библиотеки scikit-learn выполняет перекрестную проверку, вычисляя оценки производительности для каждого фолда. Результаты печатаются, включая оценку производительности для каждого фолда и среднюю оценку производительности по всем фолдам.

      3. Временное разделение:

      ```python

      # Загрузка временных данных

      X, y = load_temporal_data()

      # Разделение данных по времени

      train_size = int(0.7 * len(X))

      val_size = int(0.15 * len(X))

      X_train, y_train = X[:train_size], y[:train_size]

      X_val, y

      _val = X[train_size:train_size+val_size], y[train_size:train_size+val_size]

      X_test, y_test = X[train_size+val_size:], y[train_size+val_size:]

      # Проверка размеров наборов данных

      print("Размер обучающего набора:", X_train.shape)

      print("Размер проверочного набора:", X_val.shape)

      print("Размер тестового набора:", X_test.shape)

      ```

      В этом примере данные разделены на обучающий (70%), проверочный (15%) и тестовый (оставшиеся данные) наборы на основе времени. Сначала определяется размер каждого набора, и затем данные разделяются в соответствии с этими размерами. Это особенно полезно для временных рядов, где более ранние данные используются для обучения, следующие по времени данные – для проверки и настройки СКАЧАТЬ