Modeling and Deployment of Digital Twins for Connected and Automated Vehicles

The recently introduced concept of the Digital Twin (DT) currently plays a fundamental role in various application domains, positioning itself as a mature and reliable technology for representing, integrating, and extending the capabilities of real-world entities. These application domains include Industry 4.0, healthcare, smart agriculture, and upcoming Fifth Generation (5G) and Sixth Generation (6G) systems. Furthermore, current trends foresee the adoption of this technology also in the automotive domain, where the digitalization of the vehicle, the driver, and other actors in the road environment enables the design and use of multiple mobility applications characterized by high levels of innovation, safety, automation, and sustainability. Another important aspect in the automotive context is the evolution of the vehicle concept toward the Connected and Automated Vehicle (CAV) paradigm. This paradigm involves vehicles equipped with capabilities for retrieving, processing, and sharing road-context information to enable safe, assisted, and automated driving applications with extremely low latency requirements. Implementing virtual counterparts capable of supporting this paradigm and related safety-critical applications becomes even more complex due to the particularly stringent latency requirements and the necessary computational and communications resources. The main challenges that arise from adopting this paradigm in the automotive context can be summarized as follows: • Ensuring interoperability. The emulation and communication capabilities of virtual counterparts make it possible to represent and share the current status of the paired physical entities. Given the heterogeneity of the automotive context in terms of entities and stakeholders involved, these operations must rely on appropriate approaches capable of describing acquired information in a unique and semantically rich manner to ensure efficiency and effectiveness. • Guaranteeing scalability. Defining and developing an efficient, responsive virtual counterpart framework that minimizes the use of network, computation, and storage resources allows to design applications relying on large numbers of virtual counterparts interacting with each other and with their physical counterparts in real time, without hindering the availability of traditional and widely used services. • Managing counterpart mobility. In a highly dynamic context such as the vehicular domain -characterized by significant mobility of real entities- it is essential to efficiently manage the movement of virtual counterparts toward the closest network nodes in order to meet stringent latency requirements. In this regard, exploiting resources at the edge of the network according to the Edge Computing paradigm is fundamental. In this work, these challenges are addressed by leveraging synergies among various technologies and paradigms, with the goal of defining, developing, and testing a framework for vehicular virtual counterparts characterized by high efficiency, flexibility, and interoperability. The proposed solution relies on several technologies and paradigms, properly coupled and extended, such as the Lightweight Machine-to-Machine (LwM2M) standard proposed by the Open Mobile Alliance (OMA) for semantic description of physical entities and their characteristics, the Message Queuing Telemetry Transport (MQTT) protocol as a messaging protocol, and adequately fine-tuned artificial intelligence models for driver-state prediction and road-object detection. Specifically, these technologies enable, respectively, an efficient and unambiguous representation of acquired data (e.g., vehicle kinematics), a fast and reliable large-scale information exchange, and the processing of raw data derived from the real counterpart’s application context to extract further knowledge. For example, it becomes possible to generate large-scale maps describing the area surrounding vehicles to facilitate their movement, manage routing for vehicle fleets, plan road traffic, and schedule maintenance activities based on the current and predicted state of the vehicle. Additionally, the solution was developed using compact, low-cost hardware platforms and open-source software to allow the creation of prototypes suitable for real small-scale scenarios and enable easy extensions and portability. Extensive experimental studies demonstrated the feasibility, reliability, and scalability of the proposed solution in multiple application contexts. The experimental investigation was complemented by a simulation-based study aimed at validating the efficiency of the virtual-counterpart framework in terms of edge-distributed resource utilization. Furthermore, the simulation study made it possible to evaluate the impact of virtual counterparts in the context of Teleoperated Driving (ToD), a key application in the CAV domain. This application consists of remotely controlling a vehicle in real time, with an operator viewing the scene through video streams received from onboard cameras and sending control commands in the opposite direction. This approach presents scalability issues due to the network resources required for video transmission and the difficulties encountered in providing a reliable and accurate scenario perception to the remote driver. To address this problem, a solution based on vehicle DTs deployed at the network edge was considered; these DTs are capable of providing the driver, through further processing of vehicular data, with a more faithful and even enhanced reconstruction of the context. In particular, the study focused on defining and evaluating an extension of a route-planning algorithm integrated with radio-resource allocation for ToD. This framework identifies routes for a fleet of vehicles to ensure the network resources required for safe teleoperation. The proposed extension aims to select not only the optimal radio access point but also the edge server which is best suited to host the virtual counterparts used for data preprocessing. The goal is to understand the trade-off between migration events and experienced latency under different configurations of edge server and virtual counterpart placement. Despite the encouraging results achieved in terms of scalability, performance, and flexibility, further developments of the proposed DT-based framework are possible. Future research directions include designing additional strategies for representing and sharing acquired information to reduce transmission overhead to and from the virtual counterpart, as well as approaches for efficiently managing its deployment while considering the movements of the physical counterpart.

Il concetto di Digital Twin (DT) recentemente proposto gioca attualmente un ruolo fondamentale in diversi contesti applicativi, proponendosi come una tecnologia matura ed affidabile per rappresentare, integrare ed estendere le capacità di entità del dominio reale. Tali contesti applicativi includono l’industria 4.0, la sanità, l’agricoltura intelligente ed i più moderni e futuri sistemi di comunicazione di quinta e sesta generazione. Inoltre, la tendenza attuale prevede l’utilizzo di questa tecnologia anche nel dominio dell’automotive, dove la digitalizzazione del veicolo, del conducente e degli altri attori propri del contesto stradale permette la definizione e la fruizione di molteplici applicazioni di mobilità caratterizzate da elevati livelli di innovazione, sicurezza, automazione e sostenibilità. Un ulteriore elemento da considerare nel contesto automotive è l’evoluzione del concetto di veicolo verso il paradigma di Connected and Automated Vehicle (CAV). Tale paradigma prevede veicoli con capacità di acquisizione, elaborazione e condivisione di informazioni del contesto stradale per realizzare applicazioni sicure di guida assistita ed automatizzata con bassissimi requisiti di latenza. Implementare delle controparti virtuali in grado di supportare questo paradigma e le relative applicazioni orientate alla sicurezza risulta ancor più complesso per i requisiti di latenza, particolarmente stringenti e le risorse computazionali e di rete richieste. Le principali sfide che l’utilizzo di questo paradigma nel contesto automotive implica possono essere così riassunte: • Assicurare l’interoperabilità. Le capacità di emulazione e di comunicazione delle controparti virtuali consentono di rappresentare e condividere lo stato attuale delle controparti fisiche. Vista l’eterogeneità che caratterizza il contesto automotive, in termini di componenti hardware e software, entità e stakeholder coinvolti, affinché queste operazioni siano efficienti ed efficaci, vanno usati opportuni approcci che consentano di descrivere in maniera univoca e semanticamente ricca le informazioni acquisite. • Garantire la scalabilità. Definire e sviluppare un framework per controparti virtuali efficiente, responsivo e che minimizzi l’uso di risorse di rete, computazione e memorizzazione, permette lo sviluppo di applicazioni basate su un elevato numero di controparti virtuali capaci di interagire tra loro e con le controparti fisiche su strada in tempo reale, senza impedire l’utilizzo dei servizi pre-esistenti. • Gestire la mobilità delle controparti. In un contesto altamente dinamico e caratterizzato da un elevato grado di mobilità delle entità reali come quello veicolare, risulta fondamentale gestire nella maniera più efficiente gli spostamenti delle controparti virtuali sui nodi di rete più prossimi alle entità fisiche per garantire gli stringenti requisiti di latenza richiesti. In questo senso, l’utilizzo delle risorse dislocate alla periferia della rete secondo il paradigma di Edge Computing è fondamentale. In questo elaborato, le sfide precedentemente citate sono state affrontate considerando sinergie tra varie tecnologie e paradigmi con lo scopo di definire, sviluppare e testare un framework per controparti virtuali veicolari caratterizzato da elevata efficienza, flessibilità ed interoperabilità. La soluzione sviluppata si basa su diverse tecnologie e paradigmi, opportunamente estesi ed integrati, quali lo standard Lightweight Machine-to-Machine (LwM2M) proposto dalla Open Mobile Alliance (OMA) per la descrizione semantica delle entità fisiche e delle loro caratteristiche, il protocollo Message Queuing Telemetry Transport (MQTT) come protocollo di messaggistica e modelli di intelligenza artificiale per la predizione dello stato del conducente e la rilevazione di oggetti su strada. In particolare, queste tecnologie consentono, rispettivamente, di avere un’efficiente ed univoca rappresentazione dei dati acquisiti (ad esempio inerenti alla cinematica del veicolo), un rapido ed affidabile scambio di informazioni su larga scala e di processare dati grezzi derivati dal contesto applicativo della controparte reale per ricavare ulteriore conoscenza. Ad esempio, è possibile realizzare mappe su larga scala che descrivono l’area attorno ai veicoli per facilitarne gli spostamenti mediante la condivisione delle informazioni acquisite, gestire gli itinerari per flotte di veicoli, pianificare il traffico veicolare, programmare attività di manutenzione sulla base dello stato attuale e futuro del veicolo. Inoltre, la soluzione sviluppata è stata realizzata usando piattaforme hardware a basso costo e software open-source, in modo da poter realizzare prototipi da utilizzare in scenari reali su piccola scala e consentirne l’estensione. Gli studi sperimentali condotti hanno dimostrato la fattibilità, l’affidabilità e la scalabilità della soluzione proposta in diversi contesti applicativi. Lo studio sperimentale è stato anche accompagnato e completato da uno studio simulativo per verificare l’efficienza del framework per controparti virtuali in termini di risorse dislocate all’edge utilizzate. In aggiunta, lo studio simulativo ha permesso di valutare l’impatto delle controparti virtuali nell’ambito del Teleoperated Driving (ToD), applicazione chiave nel contesto CAV. Nello specifico, tale applicazione prevede di far guidare in tempo reale un veicolo ad un operatore remoto che visualizza la scena tramite flussi video ricevuti dal veicolo e acquisiti dalle telecamere di bordo e invia i comandi di guida in direzione opposta. Questo approccio presenta dei limiti di scalabilità dovuti alle risorse di rete richieste per il trasferimento del video e alle difficoltà riscontrate nel fornire una percezione affidabile ed accurata dello scenario al conducente remoto. Per affrontare questo problema, è stata considerata una soluzione basata su DT del veicolo posizionati alla periferia della rete, capaci di fornire al conducente, grazie ad ulteriori elaborazioni dei dati provenienti dal veicolo, una ricostruzione più fedele ed anche aumentata del contesto. In particolare, lo studio si è focalizzato sulla definizione e valutazione di un’estensione di un algoritmo di route planning integrato all’allocazione delle risorse radio per il ToD. Tale framework identifica degli itinerari per una flotta di veicoli in modo da garantire le risorse di rete necessarie per teleoperarli in sicurezza. L’estensione proposta mira a selezionare sia il punto di accesso radio ma anche il server di un dominio edge più appropriato ad ospitare le controparti virtuali da utilizzare per il preprocessing dei dati provenienti dal veicolo. L’obiettivo è quello di analizzare il trade-off tra il numero di migrazioni e la latenza sperimentata con diverse configurazioni di posizionamento dei server edge e delle controparti virtuali. Nonostante gli incoraggianti risultati raggiunti in termini di scalabilità, prestazioni e flessibilità, sono possibili ulteriori sviluppi della soluzione per applicazioni veicolari proposta e basata sul concetto di DT. Infatti, le future direzioni di ricerca considerano la progettazione di ulteriori strategie per rappresentare e condividere le informazioni acquisite affinché venga ridotto l’overhead di trasmissione da e verso la controparte virtuale ed approcci per gestirne il dislocamento efficientemente e considerando gli spostamenti della controparte reale.