 .   
 

 

 


  -     ,      .         ,                .         ,       .     ,         .  -    ,                .





 

 .   





 1:    


 ,     - ,    .      .     , ,   . ,    ,   .       .      ,       ,   ?

     

        ,      ,        .     ,    ()   ,  .

 :   

     .   1950- ,     ,         ,    .         ""   " ".

,   1960-,     .   ,  ,     ,     .      ,   "  " .

   

,       ,   .   21 ,         ,  ,     ,    .

    ""     ,    ,        .    .

 ,      ,    .    ,  ,           .

   

,       ,   . ,      .         ,    ,   ,    ,   ,       .

,      ,      ,            .    ,     .              ,   ,          .         ,      .

   ?

        ,    .     ,     :

1.  :     ,      .       ,   ,   ,      .

2.  :              ,      ,            .

3.  :           ,     .     -   .

4.  :       ,    , ,       .           .

5.  :    ,   ,        .              .

6.  :            ().    ,        ,    .

7.   :           . ,         .

8. :           ,      ,      .

9. :              .          .

10. :          ,      .

 ,     ,             ,    .    ,     .

  

   

     ,       .             ,    .

 :   

  , , ,         .     .      ,        "",    .      ,       .

 :   

       .  ,           .    ,       .         0  1     .

  :   

       .    ,      .     ,       .    ,       ,          ,    .

   :   

   ?        .     ,          .     ,        ,         .          .

   (CNN):     

   (CNN)   ,     .        ,   ,   ,         . CNN    ,   , ,      .

   (RNN):  

   (RNN)   ,      .       ,  ,   ,   , ,      . RNN   ,          .

         ,     .           ,        .        ,         !

        ,    .          ,   ,  ,        .         ,   ,   !




 2:   


      ,    ""  ""   .         ,       .

 :   

          .   - ,            ,        .

 ,       ,    . ,   "" ,      ,   .       ,  ,   .

  ,    :   ?        ,         .  ,        .        .

       .      :

1.:   .          .

2.:          .  ,        .

3.:   .   ,        .

4.:      .     ,    .

    ,    ,      .          .        ,      .

  ,   "" ,    ,      .           .

 ,            ,     - ,         .          ,           .

 :   

        ,          .

      .    ,    ,       .          .   ,      .

 :  

     ,     .   ,         .  ,        .   ,           .

 :  

   ,     , ,        .   ( )     ( ) ,       ( ).         ()        .

,       ?      .        ,       .        ,      .

      .        (CNN)     (RNN)         . CNN, ,     ,     RNN     ,   .

,          ,       .    ,        , ,            .

 :    

        ,      .         ,     ""  .

 

     ,    ,     .           (forward propagation).

,  ,   . ,      ,   ,     ,       .        .

        .          .     ( ,  ,    )      .         ,            ,    .

      ,         ,   ,  ,   .

 

,         ,    ?       (backpropagation).

 ,          ,      .           ,        .

  ,     .      (loss).     ,  ,        ,         .      ,    .

,      .     ""                .

 :  

           ,       .        ,  ,        .        ,   .

1. :  

  ,    , .  S- ,        0  1.     ,    , ,    .      :          .

2.  :  

  (tanh)    ,   ,            -1  1.       ,       ,   .          ,      .

3. Rectified Linear Unit (ReLU):  

   ,  ,    ,  ,   .    ReLU.      ,         .  ReLU        ""      .

4. Leaky ReLU:   ""

   ""   ReLU,       Leaky ReLU.         ,     .        ""          .

5. ELU:   

           (ELU). ELU      ReLU  Leaky ReLU,        "" .       ,      .

,         ,      ,        .  ,             ,            .




 3:   


     

         ,   . ,       ,    .              ,    ,    ,     .

 :    

    ,       .         ,   ,     .            .

   ?

     ,         ,        .      ,       .       ,     .

     

       ,   .          :

1.  (MSE):       ,     .         .

2. -:        .           .

3. -:       ,        .         .

4.  :    ,       .      .

5.    (Log Loss):         ,   ,     .

  

         .     ,     . ,   ,    .      ,    ,  ,         .

                   .       ,      ,          .

 :    

            ,    .        ,             .        .

   (SGD)

   (SGD)          ,       .             .

  SGD:

1.:        .  ,  SGD         ,  -  -.          .

2.: SGD  .       - ,            ,  .

3. :   SGD    (learning rate),       .       .

   SGD:

1. :        .

2. -:    SGD   -   .

3. :   -       .  ,     ,   .

4. :     ,  ,    .   .

5. :  2-4    ,      , ,        .

 SGD:

1. : SGD   ,     ,          -.

2.:  -    ,          .

 SGD:

1.: -   -, SGD     ,    .

2.  :        .       ,       .

SGD            ,           ,   -      .                .

    (Adam)

Adam             .               .      "Adaptive Moment Estimation" (  ),          .

  Adam:

1. : Adam     ,     .

2. :    Adam       .

3.: Adam    (  )   .       ,        .        :

  ( ):   ,      .       ,  ,    1       0     .

  (  ):   ,      .    ,    .

4.  (Bias Correction):   ,    ,     . Adam       .

5. :         ,      (learning rate).      :     ,         .

 Adam:

: Adam   ,   ,      (SGD).

:      ,      .

    : Adam         .

  :      ,     .

 Adam:

    :         Adam,      .

  : Adam        .

 , Adam    ,       .                 .

   (Simulated Annealing):     

      ,    (Simulated Annealing)              .      ,          ,     .   ,  Simulated Annealing      .

 :

  Simulated Annealing   ,     ""          .     ,    ""     .

  :

1.:       (  )   ,    "" .

2. :    ,    (     ).

3.:               .    ,   .

4.   :    ,       ,       ( ).                ,    ,  "".

5.:     (   ).         ,    ""    .

6.:      ,      ,         .   ,     .

  :

Simulated Annealing      ,   ,       .              .

       ,     ,  ,     ,            .

:

Simulated Annealing       ,           .                              .

   :     

    ,             . ,         .  ,       ,       ,  .       ,              .

1.    

            .      , ,      ,         .

   :

  ?

,           .      ,        ().     ,        .

  :

1. :     ,        .           ,      .

2.   :  , , ,       .           .

3.       :  ,    ,      ,      ,     "".

    :

1. :




  .


   .

   ,     (https://www.litres.ru/book/artem-demidenko/glubokoe-obuchenie-pogruzhenie-v-tehnologiu-69596089/)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


