Derin pekiştirmeli öğrenme yöntemleri ile PI ve PID kontrolcü performansının iyileştirilmesi
Küçük Resim Yok
Tarih
2024
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
İnönü Üniversitesi
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
Son dönemlerde yapay zeka yöntemleri içerisinde yer alan ve makine öğrenmesinin bir kolu olarak karşımıza çıkan Pekiştirmeli Öğrenme yöntemleri, karmaşık kontrol problemlerinin çözümü üzerine yaygın olarak kullanılmaya başlanmıştır. Ajan ve çevre arasındaki etkileşime ve bu etkileşim sonucunda aldığı ödül ve cezaya bağlı öğrenme gerçekleştiren Pekiştirmeli Öğrenme, endüstriyel kontrol uygulamalarında çalışma durumlarının simülasyon senaryolarına dayalı olarak düzenlendiği ortamlarda denetleyici katsayılarının optimum ayarlanması için kullanılabilmektedir. Bu tez çalışması kapsamında, Pekiştirmeli Öğrenme yöntemleri içerisinde etkili aktör-eleştirmen yapısını kullanan İkiz Gecikmeli Derin Deterministik Politika Gradyan ve Derin Deterministik Politika Gradyan algoritmaları kullanılarak farklı kontrol problemleri için tasarlanan simülasyon ortamlarında optimal denetleyici katsayılarının öğrenilmesi ve sistem kontrol performansının geliştirilmesi üzerine çalışılmıştır. Bu amaç doğrultusunda simülasyon ortamındaki gözlemci durumlarından yararlanılarak aktör ağı oluşturulmaktadır. Aktör ağı sistemin optimal kontrol hedefini sağlayabilmek amacıyla çevre ile etkileşime girmekte ve eylem gerçekleştirmektedir. Aktöre rehberlik sağlayan ve performanslarını değerlendiren bir eleştirmen yapısı bulunmaktadır. Denetleyici katsayıları ayarlanırken sistemin arzu edilen çıkışa uygun cevap vermesini sağlayabilmek amacıyla ayar noktası filtresi kullanılmaktadır. Deneme-yanılma yoluyla öğrenme gerçekleştiren Pekiştirmeli Öğrenme yöntemleri için sistemin çalışması esnasında olabilecek bozucu etkilerine karşı dayanıklı performans sergileyebilmesi amacıyla eğitim sırasında kullanılan simülasyon ortamına bozucu sinyal eklenmiştir. Eğitim sonucunda elde edilen sonuçlar karşılaştırmalı olarak sunularak önerilen yöntemin avantajları vurgulanmaktadır.
Recently, Reinforcement Learning methods, which are among the artificial intelligence methods and appear as a branch of machine learning, have begun to be widely used to solve complex control problems. Reinforcement Learning, which performs learning based on the reward and punishment received as a result of this interaction according to the interaction between the agent and the environment, can be used in industrial control applications. It can be used for optimal adjustment of controller coefficients in environments where operating situations are arranged based on simulation scenarios. Within the scope of this thesis study, Twin Delay Deep Deterministic Policy Gradient and Deep Deterministic Policy Gradient algorithms, which are among the Reinforcement Learning methods and use the effective actor-critic structure, were used. Using these algorithms, studies have been carried out to learn optimal controller coefficients and improve system control performance in simulation environments designed for different control problems. For this purpose, an actor network is created by using observer situations in the simulation environment. The actor network interacts with the environment and takes action in order to achieve the optimal control performance of the system. There is a critic structure that provides guidance to the actor and evaluates its performances. While adjusting the controller coefficients, a set point filter is used to ensure that the system responds appropriately to the desired output. For Reinforcement Learning methods that learn through trial and error, a disturbance signal was added to the simulation environment used during training in order to ensure that the system exhibits a robust performance against disturbances that may occur during operation. The outputs obtained as a result of the training are presented comparatively and the advantages of the proposed method are emphasized.
Recently, Reinforcement Learning methods, which are among the artificial intelligence methods and appear as a branch of machine learning, have begun to be widely used to solve complex control problems. Reinforcement Learning, which performs learning based on the reward and punishment received as a result of this interaction according to the interaction between the agent and the environment, can be used in industrial control applications. It can be used for optimal adjustment of controller coefficients in environments where operating situations are arranged based on simulation scenarios. Within the scope of this thesis study, Twin Delay Deep Deterministic Policy Gradient and Deep Deterministic Policy Gradient algorithms, which are among the Reinforcement Learning methods and use the effective actor-critic structure, were used. Using these algorithms, studies have been carried out to learn optimal controller coefficients and improve system control performance in simulation environments designed for different control problems. For this purpose, an actor network is created by using observer situations in the simulation environment. The actor network interacts with the environment and takes action in order to achieve the optimal control performance of the system. There is a critic structure that provides guidance to the actor and evaluates its performances. While adjusting the controller coefficients, a set point filter is used to ensure that the system responds appropriately to the desired output. For Reinforcement Learning methods that learn through trial and error, a disturbance signal was added to the simulation environment used during training in order to ensure that the system exhibits a robust performance against disturbances that may occur during operation. The outputs obtained as a result of the training are presented comparatively and the advantages of the proposed method are emphasized.
Açıklama
Anahtar Kelimeler
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
