Исследование влияния скорости обучения на стабильность обучения нейронных сетей прямого распространения

Исследование влияния скорости обучения на стабильность обучения нейронных сетей прямого распространения

Вид работы: Дипломная работа  |   Предмет работы: Информационные технологии   |   Количество листов: 68

Динамика изменения среднеквадратического отклонения в течение всего процесса обучения обратно пропорциональна динамике КД. Коэффициент является аналогом процента классификации в задачах классификации. КД не зависит от размерности данных, поэтому он популярен как показатель результатов, в экологических задачах он также встречается [16]. Процесс обучения и тестирования ИНС возможно проводить параллельно, на каждой эпохе обучения. По каждой выборке высчитывается ошибка и КД между заданными и предсказанными результативными признаками. В конце обучения, когда заданное число циклов пройдено, строятся графики изменения ошибки и КД, а также определяется оптимальная эпоха обучения (состояние модели). В данной работе, оптимальной эпохой считается эпоха, на которой КД на тестовой выборке максимален, а на обучающей выборке больше 0.4. При выборе оптимальной модели ИНС следует также следить, не проходит ли в выбранную эпоху модель процесс переобучения. Переобучением ИНС называется нежелательное явление, когда вероятность ошибки обученной модели на наблюдениях тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке. Модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к обучающим наблюдениям, вместо того чтобы учиться определять наблюдения, не участвовавшие в обучении (теряя способность к обобщению). Модели, достигшие переобучения, принимать не следует, поскольку даже при хорошем КД на тестовой выборке, при совершенно новых данных модель не корректно сработает. Переобучение можно определить, только анализируя графики ошибок или самих данных.


СОДЕРЖАНИЕ
Определения, обозначения, сокращения 3
Введение 5
1 Обзор предметной области 10
2 Материалы и методы 13
2.1 Описание исходных данных 13
2.2 Архитектура нейронной сети 14
2.2.1 Количество слоев и нейронов 15
2.2.2 Функция активации 15
2.2.3 Метод обучения нейронной сети 17
2.2.4 Инициализация 20
2.3 Скорость обучения 20
2.3.1 Постоянная скорость обучения на протяжении всего обучения 21
2.3.2 Изменяющаяся скорость обучения 21
2.4 Метод оценки результатов регрессии 21
3 Обучение нейронных сетей 24
3.1 Первоначальное обучение 24
3.2 Первые результаты 24
3.3 Обучение ИНС по более точным скоростям 25
3.3.1 Метод обучения SGD 25
3.3.2 Метод обучения RMSprop 26
3.3.3 Метод обучения Nadam 27
4 Анализ полученных данных 29
4.1 Анализ полученных результатов 29
4.1.1 Метод обучения SGD 29
4.1.2 Метод обучения RMSprop 32
4.1.3 Метод обучения Nadam 35
4.2 Выделение состояний ИНС 38
5 Экономическое обоснование ВКР 40
5.1 Концепция экономического обоснования 40
5.2 Расходы на оплату труда 41
5.3 Отчисления на социальные нужды 42
5.4 Материалы 43
5.5 Затраты по работам, выполняемым сторонними организациями 44
5.6 Расходы на содержание и эксплуатацию оборудования 45
5.7 Амортизационные отчисления 45
5.8 Накладные расходы 47
5.9 Спецоборудование 47
5.10 Себестоимость проекта 47
5.11 Вывод 48
Заключение 49
Список использованной литературы 51
Приложение А 53
Приложение Б 61










ПОМОЩЬ С НАУЧНОЙ РАБОТОЙ

Подготовим для Вас работу по стандартам Вузов

Готовая работа с высокой уникальностью по минимальной цене
Срок выполнения от 2 часов
Антиплагиат более 70%

Быстрый заказ работы





[honeypot 2Mp1wUz2rkcR2jj1Ahxo]

Мы перезвоним через 5 минут

Яндекс.Метрика

Error: Please enter a valid email address

Error: Invalid email

Error: Please enter your first name

Error: Please enter your last name

Error: Please enter a username

Error: Please enter a password

Error: Please confirm your password

Error: Password and password confirmation do not match