Continuous-Time Markov Decision Processes de Alexey Piunovskiy

Recomandăm Continuous-Time Markov Decision Processes ca pe o resursă fundamentală pentru cercetătorii și studenții la nivel de masterat sau doctorat în probabilități aplicate, cercetări operaționale și inginerie. Relevanța acestei monografii pentru acreditările academice și profesionale rezidă în rigoarea matematică a tratamentului oferit proceselor decizionale Markov în timp continuu, un domeniu esențial pentru modelarea sistemelor complexe. Autorii, Alexey Piunovskiy și Yi Zhang, reușesc să sintetizeze teoria pe spații Borel, oferind o perspectivă sistematică asupra strategiilor de control general.

Structura volumului este una progresivă, începând cu o descriere detaliată a CTMDP-urilor și a proceselor de salt pur, continuând cu modele de cost scontat și nescontat, și culminând cu modele de control gradual-impulsiv. Această abordare completează perspectiva oferită de lucrarea clasică a lui Martin L. Puterman, Markov Decision Processes, care se concentrează pe un spectru larg de rezultate, aducând în plus o analiză aprofundată a realizabilității strategiilor și a problemelor cu constrângeri funcționale. În contextul operei sale anterioare, Modern Trends in Controlled Stochastic Processes, Alexey Piunovskiy trece aici de la o privire de ansamblu asupra stadiului actual al cercetării la o monografie tehnică, de sine stătătoare, unde fiecare demonstrație este prezentată in extenso.

Spre deosebire de Controlled Markov Processes de E. B. Dynkin, care utilizează un aparat matematic minimal pentru aplicații economice, volumul de față impune un standard ridicat de precizie matematică. Reținem utilitatea anexelor care recapitulrează elementele necesare de analiză reală și probabilități aplicate, făcând din acest volum un instrument de lucru indispensabil pentru cei care dezvoltă modele în epidemiologie, finanțe sau sisteme de așteptare.