Grâce aux récents progrès des technologies de l'Internet des objets (IoT), de nombreux services en temps réel devraient voir le jour afin d'exploiter les volumes considérables de données transitant vers le cloud depuis divers appareils dans les usines, les foyers et les infrastructures sociales. À mesure que nous progressons vers la conduite autonome grâce aux véhicules connectés, les chercheurs envisagent d'analyser les importantes quantités d'informations générées par ces véhicules, telles que la vitesse et la localisation, qui pourraient ensuite être présentées aux conducteurs sous forme d'alertes, par exemple.
La technologie de traitement de flux, efficace pour le traitement à grande vitesse de volumes de données aussi importants, présente des problèmes car le traitement doit être temporairement interrompu lors de la modification ou de l'ajout de contenu en fonction des ajouts ou des améliorations apportées aux services, ce qui peut retarder la fourniture des services.
Fujitsu a développé une nouvelle architecture de traitement de flux qui bascule automatiquement vers un nouveau programme de traitement de données une fois une tâche de traitement parallélisée terminée. Cette architecture sépare le traitement de flux en deux étapes : la réception des données et leur traitement en temps réel, garantissant ainsi la continuité de ces deux processus (brevet en cours). Lors d'une simulation de réception de quelques dizaines d'octets de données par seconde provenant d'un million de véhicules, Fujitsu a confirmé que cette architecture peut continuer à traiter les données en flux continu tout en ajoutant ou en modifiant des programmes de traitement, avec une augmentation moyenne du temps d'attente inférieure ou égale à cinq millisecondes.
Fujitsu Laboratories ambitionne de commercialiser cette technologie au cours de l'exercice 2018 sur la plateforme Mobility IoT proposée par Fujitsu Limited, et de l'étendre à d'autres secteurs de l'industrie.
Les détails de cette technologie ont été présentés lors de DEIM2018 (Forum sur l'ingénierie des données et la gestion de l'information), une conférence qui s'est tenue à Awara, dans la préfecture de Fukui, au Japon, à partir du 4 mars.
Contexte du développement :
Avec le développement récent des technologies de l’Internet des objets (IoT), les données provenant de toutes sortes d’objets sont désormais collectées et stockées dans des centres de données. L’analyse et l’utilisation de ces données devraient permettre la création de nouveaux services. Dans le cas des véhicules connectés, par exemple, la collecte, l’analyse et l’utilisation des données en temps réel devraient permettre de réduire les embouteillages, d’assister les conducteurs et d’améliorer la sécurité de la conduite autonome (Figure 1).
de
véhicules en mouvement, la méthode la plus efficace consiste à concevoir un système utilisant le traitement de flux pour traiter les données en parallèle, véhicule par véhicule. Afin d'ajouter ou de modifier le programme de traitement en fonction des ajouts et améliorations de service, la méthode actuelle implique de préparer à l'avance deux systèmes de même capacité, d'utiliser l'un pour les opérations, d'apporter des modifications à l'autre, puis de les intervertir rapidement. Cependant, cette méthode exigeait l'arrêt temporaire des deux systèmes pendant que les données, telles que la vitesse ou la position d'un véhicule, étaient stockées dans la mémoire du système utilisé et copiées dans le système mis à jour. Ceci rendait difficile la mise en œuvre de services nécessitant un fonctionnement véritablement continu, comme la transmission en temps réel d'alertes aux véhicules connectés.
De plus, l'acquisition de nouveaux programmes de traitement de bases de données, appelés référentiels, a entraîné une congestion due à de nombreuses requêtes provenant d'un grand nombre d'unités de traitement, ce qui a ralenti le traitement global.
Détails de la nouvelle technologie développée
: Fujitsu Laboratories a développé Dracena, une architecture capable de modifier les programmes de traitement d'un système en cours d'exécution, sans interruption.
Grâce à cette technologie, lorsqu'un contenu de traitement de données est modifié ou ajouté, l'architecture distribue le nouveau programme de traitement sous forme de message – de la même manière que les données sont distribuées – à chaque unité de traitement individuelle, appelée objet, à l'instar des unités de traitement de chaque voiture. Ceci élimine l'impact sur la vitesse de traitement globale dû à la concentration des requêtes dans le référentiel. De plus, en séparant le traitement de la réception des messages intra-objet du traitement des données, cette architecture permet au système d'ajouter le nouveau programme de traitement sans interrompre ni la réception des messages ni le traitement des données en cours, puis de faire basculer simultanément tous les objets vers le nouveau programme. Fujitsu Laboratories a ainsi pu créer une architecture de traitement de flux dans laquelle le programme de traitement des données peut être ajouté ou modifié sans interruption, afin de poursuivre le traitement parallèle sans interrompre le flux de gros volumes de données pour la copie (Figure 2).
Effets :
Les résultats d’une évaluation simulée ont confirmé que, dans un cas d’utilisation où quelques dizaines d’octets de données provenant d’un million de véhicules sont transmis une fois par seconde, cette architecture est capable de fournir des services en continu. Elle y ajoute un service de détection des freinages brusques, alors que le système fournit déjà un service de détection des temps de conduite excessifs, avec une augmentation de la latence moyenne de cinq millisecondes ou moins. Cette architecture permettra la fourniture rapide de services en temps réel nécessitant un fonctionnement ininterrompu et pourra répondre à des enjeux sociétaux, tels que l’assistance à la conduite pour les véhicules connectés, les appareils économes en énergie, la surveillance de la santé et de la sécurité à domicile, et le guidage touristique via smartphone.
De plus, cette architecture permet aux utilisateurs d'adopter une approche progressive : ils commencent par construire un système de base pour une analyse et une utilisation simples, puis ajoutent graduellement de nouveaux services. Dans le secteur automobile, par exemple, il serait possible de commencer par un système qui détecte les alertes de conduite en état d'ivresse à partir des données du volant, puis d'ajouter progressivement de nouveaux services, comme la combinaison de ces données avec des données cartographiques pour détecter les vents latéraux aux sorties de tunnel, ou avec des données d'imagerie pour repérer les véhicules en stationnement illégal. Cette approche devrait améliorer l'efficacité du développement des services.
prévoit
de commercialiser cette technologie au cours de l'exercice 2018, en tant que composante de sa plateforme Mobility IoT. Par ailleurs, Fujitsu ambitionne d'étendre cette technologie au-delà du secteur de la mobilité, vers des domaines commerciaux nécessitant des services en temps réel basés sur des données générées en continu à haute fréquence, comme l'orientation des personnes lors d'événements ou de catastrophes.
