Sigmoid ReLU қарағанда жақсы ма?
Sigmoid ReLU қарағанда жақсы ма?

Бейне: Sigmoid ReLU қарағанда жақсы ма?

Бейне: Sigmoid ReLU қарағанда жақсы ма?
Бейне: Как определить Онкологию, РАК в организме? 2024, Қараша
Anonim

Релу : Есептеу үшін тиімдірек Сигмоидқа қарағанда бастап функциялары сияқты Релу жай ғана topick max(0, x) қажет және Sigmoids сияқты қымбат экспоненциалды операцияларды орындамайды. Relu : Іс жүзінде, бар желілер Релу көрсетуге бейім жақсырақ конвергенция өнімділігі сигма тәрізді.

Сол сияқты біреу сұрақ қоюы мүмкін, неге ReLU ең жақсы белсендіру функциясы?

Негізгі идея - градиенттің нөлдік емес болуына және соңында жаттығу кезінде қалпына келтіруге мүмкіндік беру. ReLu tanh және қарағанда аз есептеу қымбат сигма тәрізді өйткені ол қарапайым математикалық операцияларды қамтиды. Яғни а жақсы терең нейрондық желілерді жобалау кезінде ескеру қажет.

Сондай-ақ сұрақ туындауы мүмкін, сигма тәрізді белсендіру функциясы дегеніміз не? The сигма тәрізді функция Бұл белсендіру функциясы Нейрондық желілердегі нейрондардың атуымен байланыста құрылымдалған негізгі қақпа тұрғысынан. Туынды, сондай-ақ a tobe әрекет етеді белсендіру функциясы Нейронмен жұмыс істеу тұрғысынан белсендіру NN тұрғысынан. Екеуінің арасындағы айырмашылық белсендіру дәрежесі және өзара әрекеттесуі.

Сол сияқты, біз CNN-де неге ReLU пайдаланамыз?

Конволюциялық нейрондық желілер ( CNN ): 1(b)-қадам - ReLU Қабат. Түзетілген сызықтық бірлік немесе ReLU , болып табылады конволюциялық нейрондық желілер процесінің жеке құрамдас бөлігі емес. Түзеткіш функциясын қолдану мақсаты болып табылады суреттеріміздегі сызықты еместікті арттыру.

ReLU нені пайдаланады?

ReLU (Түзетілген сызықтық бірлік) БелсендіруФункциясы The ReLU ең көп пайдаланылады белсендіру функциясы дәл қазір әлемде. Содан бері солай пайдаланылады барлық дерлік конволюциялық нейрондық желілерде немесе тереңдетуде.

Ұсынылған: