Cantitate/Preț
Produs
Total produse
Vezi coșul
Expressive Conversational-Behavior Generation Models for Advanced Interaction within Multimodal User Interfaces de Izidor Mlakar

Expressive Conversational-Behavior Generation Models for Advanced Interaction within Multimodal User Interfaces

Autor Izidor Mlakar, Matej Rojc
en Limba Engleză Hardback – 2016

Găsim în această carte o soluție tehnică riguroasă pentru una dintre cele mai mari provocări din informatică: transformarea unui text arbitrar într-o animație fluidă și expresivă a unui agent conversațional virtual. Rezultatul concret pe care Izidor Mlakar și Matej Rojc îl propun este un sistem capabil să genereze automat gesturi sincronizate cu vocea, eliminând necesitatea adnotării manuale a datelor. Observăm cum autorii descompun procesul în două etape critice: prima etapă extrage intenția și markerii lingvistici din text pentru a planifica comportamentul, iar a doua etapă execută aceste planuri prin framework-ul inovator EVA (Embodied Conversational Agent).

Structura volumului reflectă o progresie logică de la teorie la implementare practică. Analiza pornește de la schemele de adnotare funcțională și descriptivă, trecând prin modelarea prosodiei și ajungând la proceduri ierarhice codificate în XML. Această abordare procedurală permite controlul precis asupra segmentelor de corp care se mișcă în paralel sau consecutiv. Ca și Jan van Kuppevelt în Advances in Natural Multimodal Dialogue Systems, autorii distilează experiența reală în principii acționabile, însă pun un accent mult mai puternic pe realizarea tehnică a animației prin skeletal animation și blend shapes.

Suntem de părere că valoarea acestui volum rezidă în capacitatea sa de a lega analiza semiotică de ingineria grafică. Față de alte lucrări care tratează doar aspectul teoretic al dialogului, Expressive Conversational-Behavior Generation Models for Advanced Interaction within Multimodal User Interfaces oferă specificațiile necesare pentru a construi interfețe multimodale unde agenții virtuali nu doar vorbesc, ci comunică prin gesturi ce par naturale și contextuale. Este o resursă esențială pentru dezvoltatorii care doresc să depășească bariera simplelor interfețe vocale.

Citește tot Restrânge

Preț: 123452 lei

Preț vechi: 178250 lei
-31%

Puncte Express: 1852

Carte disponibilă

Livrare economică 27 mai-10 iunie

 Adaugă în coș

Wish list
Gift list
Am citit!
Adaugă în listă

Specificații

ISBN-13: 9781634829557
ISBN-10: 1634829557
Pagini: 228
Ilustrații: illustrations
Dimensiuni: 180 x 260 x 19 mm
Greutate: 0.6 kg
Editura: Nova Science Publishers Inc
Colecția Nova Science Publishers Inc
Locul publicării:United States

De ce să citești această carte

Această lucrare se adresează cercetătorilor și inginerilor software specializați în inteligență artificială și interfețe om-mașină. Cititorul câștigă o metodologie completă pentru implementarea agenților virtuali expresivi, învățând cum să sincronizeze automat animația 3D cu sinteza vocală. Este un ghid tehnic rar care acoperă întregul flux, de la procesarea limbajului natural la randarea animației în timp real.

Descriere

The aim of the book is to represent a flexible and efficient algorithm and a novel system used for the planning, generation, and realisation of conversational behavior (co-verbal behavior). Such behavior is best described as a set of moving body parts, which are meaningful. In terms of prosody, it is synchronised with the accompanying speech. The movement and shapes generated as a co-verbal behavior represent a contextual link between a repertoire of independent motor skills (shapes, movements, and poses that conversational agent can reproduce and execute), and the intent/meaning of spoken sequences (context). The actual intent/meaning of spoken content is identified through language-dependent linguistic markers and prosody. The knowledge databases used to determine the intent/meaning of text are based on the linguistic analysis and classification of the text into semiotic classes and subclasses achieved through annotation of multimodal corpora based on the proposed EVA annotation scheme. The scheme allows for capturing features at a functional (context-dependent), as well as at a descriptive (context-independent) level. The functional level captures high-level features that describe the correlation between speech and co-verbal behavior, whereas the descriptive level allows us to capture and define body-poses and shapes independently of verbal content and in high-resolution. The annotation scheme, therefore, not only interlinks speech and gesture at a semiotic level, but also serves as a basis for the creation of a context independent repertoire of movement and shapes. The process of generating the co-verbal behavior is, in this book, divided into two phases. The first phase deals with the classification of intent and its synchronisation with the verbal content and prosody. The second phase then transforms the planned and synchronised behavior into a co-verbal animation performed by an embodied conversational agent (ECA). In order to be able to extrapolate intent from arbitrary text-sequences, the algorithm for the formulation of behavior deduces meaning/intent in regard to the semiotic intent. Furthermore, the algorithm considers the linguistic features of arbitrary and un-annotated text and select primitive gestures based on semiotic nuclei, as identified by semiotic classification and further modeled by the predicted prosodic features of speech to be generated by a general text-to-speech system (TTS). The output of the phase for formulation of behavior is represented as a hierarchical procedure encoded in XML format, and as a speech sequence generated by TTS. The procedural description is event-oriented and represents a well-defined structure of consecutive movements of body-parts, as well as of body-parts moving in parallel. The second phase of the novel architecture transforms the procedural descriptions into a series of coherent animations of individual parts of the articulated embodied conversational agent. In this regard a novel ECA-based realisation framework named EVA-framework is also represented. It supports a real-time realisation of procedural animation descriptions and plans on multi-part mesh-based models, by using skeletal animation, blend shape animation, and the animation of predefined (pre-recorded) animated segments. This book, therefore, considers a complete design and implementation of an expressive model for the generation of co-verbal behavior, which is able to transform un-annotated text into a speech-synchronised series of animated sequences.

Cuprins

For Complete Table of Contents, please visit our website at: https://www.novapublishers.com/catalog/product_info.php?products_id=56465