Fuzją danych nazywamy proces integracji wielu źródeł danych w celu uzyskania stabilniejszej, dokładniejszej i użyteczniejszej informacji od tej dostarczonej przez jakiekolwiek pojedyncze źródło. W przypadku pojazdów autonomicznych mamy do czynienia z wieloma niezależnymi sensorami, które mogą dostarczać w sposób bezpośredni, bądź pośredni tej samej informacji. Na przykład GPS oraz lidar mogą dostarczyć dokładną lokalizację, GPS w sposób bezpośredni, podczas gdy lidar poprzez dopasowanie odczytu do wcześniej przygotowanej mapy terenu [LINK do lokalizacji]. Umiejętne ich połączenie prowadzi do lepszego zrozumienia otaczającego świata.
Kluczowym elementem procesu fuzji danych jest określenie momentu czasu ich akwizycji. Stosuje się kilka podejść, od fizycznej synchronizacji sensorów, poprzez programową kontrolę momentu akwizycji, po jedno źródło czasu w systemie, które pozwala jasno określić relacje czasowe pomiędzy danymi.
W zależności od relacji pomiędzy źródłami danych możemy sklasyfikować techniki fuzji danych w następujący sposób:
- Komplementarne – informacje dostarczane przez źródła opisują różne części tej samej sceny, np. dwa lidary umieszczone jeden z przodu i drugi z tyłu pojazdu, pozwalają określić dookólne otoczenie pojazdu.
- Redundantne – gdy dwa lub więcej źródeł dostarczają tego samego typu informacji, np. dwa czujniki GPS pozwalają uzyskać dokładniejszą lokalizację.
- Kooperatywny – gdy dwa lub więcej źródeł pozwalają wytworzyć nową informację, np. dwa czujniki GPS umieszczone w odpowiedniej odległości od siebie dają informację o orientacji.
Fuzja informacji odbywa się na trzech poziomach abstrakcji: pomiarów, charakterystyk i decyzji. Na niskim poziomie pomiarów łączy się dane surowe w celu uzyskania tych samych danych o lepszych parametrach. Na średnim poziomie abstrakcji charakterystyki i cechy (kształty, tekstury, ich pozycje) są łączone, w wyniku czego oczekujemy innych cech, które są potrzebne do wykonania innych zadań np. wykrycia obiektów. Wysoki poziom to fuzja decyzji, w której operujemy na symbolicznych reprezentacjach, takich jak wykryte obiekty czy trajektorie, w celu wypracowanie bardziej prawdopodobnej decyzji (np. fuzja detekcji obiektów z różnych algorytmów).