Динамика изменения среднеквадратического отклонения в течение всего процесса обучения обратно пропорциональна динамике КД. Коэффициент является аналогом процента классификации в задачах классификации. КД не зависит от размерности данных, поэтому он популярен как показатель результатов, в экологических задачах он также встречается [16].
Процесс обучения и тестирования ИНС возможно проводить параллельно, на каждой эпохе обучения. По каждой выборке высчитывается ошибка и КД между заданными и предсказанными результативными признаками. В конце обучения, когда заданное число циклов пройдено, строятся графики изменения ошибки и КД, а также определяется оптимальная эпоха обучения (состояние модели). В данной работе, оптимальной эпохой считается эпоха, на которой КД на тестовой выборке максимален, а на обучающей выборке больше 0.4.
При выборе оптимальной модели ИНС следует также следить, не проходит ли в выбранную эпоху модель процесс переобучения. Переобучением ИНС называется нежелательное явление, когда вероятность ошибки обученной модели на наблюдениях тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке. Модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к обучающим наблюдениям, вместо того чтобы учиться определять наблюдения, не участвовавшие в обучении (теряя способность к обобщению). Модели, достигшие переобучения, принимать не следует, поскольку даже при хорошем КД на тестовой выборке, при совершенно новых данных модель не корректно сработает. Переобучение можно определить, только анализируя графики ошибок или самих данных.
СОДЕРЖАНИЕ
Определения, обозначения, сокращения 3
Введение 5
1 Обзор предметной области 10
2 Материалы и методы 13
2.1 Описание исходных данных 13
2.2 Архитектура нейронной сети 14
2.2.1 Количество слоев и нейронов 15
2.2.2 Функция активации 15
2.2.3 Метод обучения нейронной сети 17
2.2.4 Инициализация 20
2.3 Скорость обучения 20
2.3.1 Постоянная скорость обучения на протяжении всего обучения 21
2.3.2 Изменяющаяся скорость обучения 21
2.4 Метод оценки результатов регрессии 21
3 Обучение нейронных сетей 24
3.1 Первоначальное обучение 24
3.2 Первые результаты 24
3.3 Обучение ИНС по более точным скоростям 25
3.3.1 Метод обучения SGD 25
3.3.2 Метод обучения RMSprop 26
3.3.3 Метод обучения Nadam 27
4 Анализ полученных данных 29
4.1 Анализ полученных результатов 29
4.1.1 Метод обучения SGD 29
4.1.2 Метод обучения RMSprop 32
4.1.3 Метод обучения Nadam 35
4.2 Выделение состояний ИНС 38
5 Экономическое обоснование ВКР 40
5.1 Концепция экономического обоснования 40
5.2 Расходы на оплату труда 41
5.3 Отчисления на социальные нужды 42
5.4 Материалы 43
5.5 Затраты по работам, выполняемым сторонними организациями 44
5.6 Расходы на содержание и эксплуатацию оборудования 45
5.7 Амортизационные отчисления 45
5.8 Накладные расходы 47
5.9 Спецоборудование 47
5.10 Себестоимость проекта 47
5.11 Вывод 48
Заключение 49
Список использованной литературы 51
Приложение А 53
Приложение Б 61