A gépi tanulásban a hiperparaméterek azok a paraméterek, amelyeket a felhasználó kifejezetten definiál a tanulási folyamat vezérlésére. Ezeket a hiperparamétereket a modell tanulásának javítására használják, és értékeiket a modell tanulási folyamatának megkezdése előtt állítják be.

Ebben a témában a gépi tanulás egyik legfontosabb fogalmát, azaz a hiperparamétereket, azok példáit, a hiperparaméterek hangolását, a hiperparaméterek kategóriáit tárgyaljuk, miben különbözik a hiperparaméter a Machine Learning paramétereitől? De mielőtt elkezdené, először értsük meg a hiperparamétert.

Mik azok a hiperparaméterek?

A Machine Learning/Deep Learningben egy modellt a paraméterei reprezentálnak. Ezzel szemben a betanítási folyamat magában foglalja a legjobb/optimális hiperparaméterek kiválasztását, amelyeket a tanulási algoritmusok használnak a legjobb eredmény elérése érdekében. Tehát mik ezek a hiperparaméterek? A válasz, ' A hiperparaméterek olyan paraméterek, amelyeket a felhasználó kifejezetten definiál a tanulási folyamat szabályozására.

Itt a „hyper” előtag azt sugallja, hogy a paraméterek a tanulási folyamat vezérlésében használt legfelső szintű paraméterek. A hiperparaméter értékét a gépi tanulási mérnök választja ki és állítja be, mielőtt a tanulási algoritmus megkezdi a modell betanítását. Ezek tehát a modellen kívüliek, értékeik nem változtathatók a képzési folyamat során .

szkenner.következő java

Néhány példa a hiperparaméterekre a gépi tanulásban

• A k in kNN vagy K-Legközelebbi szomszéd algoritmus
• Tanulási sebesség egy neurális hálózat betanításához
• Vonatvizsgálati megosztási arány
• Csomó méret
• Korszakok száma
• Ágak a döntési fában
• Klaszterek száma a fürtözési algoritmusban

Különbség a paraméter és a hiperparaméter között?

Mindig nagy zűrzavar van a paraméterek és a hiperparaméterek vagy modell hiperparaméterek között. Tehát, hogy tisztázzuk ezt a zavart, értsük meg a kettő közötti különbséget és azt, hogy hogyan kapcsolódnak egymáshoz.

Modell paraméterek:

A modellparaméterek olyan konfigurációs változók, amelyek a modellen belül vannak, és a modell önállóan tanulja meg őket. Például , W Független változók súlyai ​​vagy együtthatói a lineáris regressziós modellben . vagy Független változók súlyai ​​vagy együtthatói az SVM-ben, egy neurális hálózat súlya és torzításai, klaszterközpont a klaszterezésben. A modell paramétereinek néhány kulcsfontosságú pontja a következő:

• Ezeket használja a modell előrejelzések készítéséhez.
• Ezeket a modell magából az adatokból tanulja meg
• Ezeket általában nem manuálisan állítják be.
• Ezek a modell részei és kulcsa a gépi tanulási algoritmusnak.

Modell hiperparaméterei:

A hiperparaméterek azok a paraméterek, amelyeket a felhasználó kifejezetten definiál a tanulási folyamat vezérlésére. A modell paramétereinek néhány kulcsfontosságú pontja a következő:

• Ezeket általában manuálisan határozza meg a gépi tanulási mérnök.
• Az adott probléma hiperparamétereinek pontos legjobb értékét nem lehet tudni. A legjobb érték a hüvelykujjszabály vagy a próba és hiba alapján határozható meg.
• Néhány példa a hiperparaméterekre a tanulási sebesség egy neurális hálózat betanításához, K a KNN algoritmusban,

A hiperparaméterek kategóriái

A hiperparaméterek nagy vonalakban két kategóriába sorolhatók, amelyeket az alábbiakban adunk meg:

Hiperparaméter az optimalizáláshoz Hiperparaméter bizonyos modellekhez

Hiperparaméter az optimalizáláshoz

A legjobban használható hiperparaméterek kiválasztásának folyamatát hiperparaméter-hangolásnak, a hangolási folyamatot pedig hiperparaméter-optimalizálásnak is nevezik. Az optimalizálási paraméterek a modell optimalizálására szolgálnak.

Az alábbiakban felsorolunk néhány népszerű optimalizálási paramétert:

Tanulási arány:A tanulási sebesség az optimalizálási algoritmusok hiperparamétere, amely szabályozza, hogy a modellnek mennyit kell változnia a becsült hibára válaszul minden alkalommal, amikor a modell súlyozása frissül. Ez az egyik döntő paraméter a neurális hálózat felépítése során, valamint meghatározza a modellparaméterekkel való keresztellenőrzés gyakoriságát. Az optimalizált tanulási sebesség kiválasztása nagy kihívást jelent, mert ha a tanulási sebesség nagyon alacsony, az lelassíthatja a képzési folyamatot. Másrészt, ha a tanulási sebesség túl nagy, akkor előfordulhat, hogy nem optimalizálja megfelelően a modellt.

Megjegyzés: A tanulási sebesség kulcsfontosságú hiperparaméter a modell optimalizálásához, ezért ha csak egyetlen hiperparaméter hangolására van szükség, akkor javasolt a tanulási sebesség hangolása.

Csomó méret:A tanulási folyamat felgyorsítása érdekében a képzési készlet különböző részhalmazokra van felosztva, amelyeket kötegként ismerünk. Korszakok száma: Egy korszak a gépi tanulási modell betanításának teljes ciklusaként határozható meg. Az Epoch egy iteratív tanulási folyamatot jelent. Az epochák száma modellenként változik, és a különböző modellek több korszakkal is készülnek. Az epochák megfelelő számának meghatározásához érvényesítési hibát vesznek figyelembe. Az epochák száma addig nő, amíg az érvényesítési hiba csökken. Ha nincs javulás a redukciós hibában az egymást követő korszakokban, akkor az azt jelzi, hogy abba kell hagyni az epochák számának növelését.

Hiperparaméter bizonyos modellekhez

A modell felépítésében szerepet játszó hiperparamétereket specifikus modellek hiperparamétereinek nevezzük. Ezeket az alábbiakban közöljük:

Számos rejtett egység:A rejtett egységek a neurális hálózatok részei, amelyek a neurális hálózat bemeneti és kimeneti egységei közötti processzorrétegeket tartalmazó komponensekre utalnak.

Fontos megadni a rejtett egységek hiperparamétereinek számát a neurális hálózathoz. A bemeneti réteg mérete és a kimeneti réteg mérete között kell lennie. Pontosabban, a rejtett egységek számának a bemeneti réteg méretének 2/3-ának kell lennie, plusz a kimeneti réteg méretének.

Összetett függvények esetén meg kell adni a rejtett egységek számát, de nem szabad túlilleszkedni a modellen.

Rétegek száma:A neurális hálózat függőlegesen elrendezett komponensekből áll, amelyeket rétegeknek nevezünk. Főleg vannak bemeneti rétegek, rejtett rétegek és kimeneti rétegek . A 3 rétegű neurális hálózat jobb teljesítményt nyújt, mint a 2 rétegű hálózat. Konvolúciós neurális hálózat esetén több réteg jobb modellt ad.

Következtetés

A hiperparaméterek azok a paraméterek, amelyeket kifejezetten a tanulási folyamat vezérlésére határoztak meg, mielőtt gépi tanulási algoritmust alkalmaznának egy adatkészletre. Ezek a modell tanulási kapacitásának és összetettségének meghatározására szolgálnak. A hiperparaméterek egy része a modellek optimalizálására szolgál, mint például a kötegméret, a tanulási sebesség stb., néhány pedig a modellre jellemző, mint például a Rejtett rétegek száma stb.