Smart vehicule trajectory prediction in various autonomous driving scenarios
Prédiction intelligente des trajectoires de véhicules, dans différents scenarii de conduite autonome
Résumé
Recent advances in machine learning methods have enabled tremendous progress in autonomous driving, namely through the perception step thanks to deep learning and deep neural networks, combined with all-around progress in sensors, mapping and proprioception techniques. The focus is now therefore shifting towards the next steps in the autonomous pipeline, where prediction plays an important role. Once the surrounding road agents have been detected and tracked, the driving system needs to predict their future trajectory and plan accordingly to have a collision-less course.This trajectory prediction must follow multiple requirements. First, it should obviously be accurate and trustworthy, so that its output can be reliably used in the following processes. The future can present multiple possibilities, from which it may not always be possible to disambiguate solely based on past historical data. The forecast must therefore be multimodal, by predicting multiple simultaneous probable futures. Since the prediction is to be made on all surrounding agents, and these agents behaviors are very much influenced by their interactions with each other, the model should take these interactions into account, and its multimodal predictions should be coherent with each other. Finally, for safety and reliability, the trajectory prediction should be easy to interpret, extensively evaluated, able to provide confidence evaluates and designed with its final use in the pipeline in mind.In the first part of this dissertation, after recapitulating existing non-learning methods for trajectory forecasting, we study different existing representations and approaches for learning-based motion forecasting. We then propose to tackle the trajectory prediction problem using probability heatmaps to facilitate multimodality. We design three different ways of generating these heatmaps and evaluate them against each other and the existing state-of-the-art. We also provide a complete sampling method to extract actual trajectories from these heatmaps, and study the pro and cons of these heatmap methods compared to other commonly used frameworks. In the next chapter, we focus on multi-agent prediction, and more specifically consistent scene-level outputs, for these type of heatmap models through sampling and learned post-processing. Finally, we explore different ways of expanding prediction model evaluation by uncertainty assessment, calibration and cross-dataset generalizability analysis.
Les récentes avancées dans les méthodes d'apprentissage automatique ont permis des progrès considérables dans le domaine de la conduite autonome, notamment dans l'étape de perception, grâce à l'apprentissage profond et aux réseaux de neurones, combinés aux progrès généralisés des capteurs, de la localisation et des techniques de proprioception. L'attention se porte donc désormais sur les étapes suivantes du pipeline de la conduite autonome, où la prédiction joue un rôle important. Une fois que les agents routiers environnants ont été détectés, suivis et filtrés, le système de conduite doit prédire leur trajectoire future et planifier en conséquence pour éviter les collisions.Cette prédiction de trajectoire doit répondre à de multiples exigences. Tout d'abord, elle doit être évidemment précise et sûre, afin que son résultat puisse être utilisé de manière fiable dans les processus suivants. Le futur peut présenter de multiples possibilités, qu'il n'est pas toujours possible de differencier sur la seule base des données historiques passées. La prévision doit donc être multimodale, en prédisant plusieurs futurs probables simultanés. Puisque la prévision doit être faite sur tous les agents environnants, et que les comportements de ces agents sont très influencés par leurs interactions, le modèle doit prendre en compte ces interactions, et ses prévisions multimodales doivent être cohérentes entre elles. Enfin, pour la sécurité et la fiabilité, la prédiction de trajectoire doit être facile à interpréter, largement évaluée, capable de fournir des évaluations de confiance et conçue avec son utilisation finale dans le processus global à l'esprit.Dans la première partie de cette thèse, après avoir récapitulé les méthodes existantes de prévision de trajectoire n'utilisant pas l'apprentissage machine, nous étudions les différentes représentations et approches existantes pour l'estimation de mouvement par apprentissage. Nous proposons ensuite d'aborder le problème de la prédiction de trajectoire en utilisant des grilles probabilistes pour faciliter la multimodalité. Nous concevons trois manières différentes de générer ces cartes thermiques et nous les évaluons les unes par rapport aux autres et par rapport à l'état de l'art existant. Nous fournissons également une méthode d'extraction complète pour obtenir les trajectoires réelles à partir de ces cartes de probabilités, et nous étudions les avantages et les inconvénients de ces méthodes de grilles par rapport à d'autres approches couramment utilisés. Dans le chapitre suivant, nous nous concentrons sur la prédiction multi-agents, et plus particulièrement sur les prédictions cohérentes au niveau de la scène, pour ce type de modèles de grilles par le biais de l'extraction et d'une seconde étape apprise. Enfin, nous explorons différentes manières d'étendre l'évaluation des modèles de prédiction par l'évaluation de l'incertitude, la calibration et l'analyse de la généralisabilité entre jeux de données.
| Origine | Version validée par le jury (STAR) |
|---|