Когда дело доходит до считывания обстановки вокруг беспилотного автомобиля, можно полагаться на различные показатели в зависимости от того, какие сенсоры установлены на автомобиле. Но все же у каждого сенсора — собственные разрешение, дальность и чувствительность к помехам, что приводит к разным показателям для одной и той же ситуации. Другими словами, ни один из них не совершенен, и иногда их недостатки препятствует надлежащему обнаружению. Сигналы сонара и радара могут быть поглощены; лучи лидара не могут пройти сквозь твердые частицы. Кроме того, отражения и плохое освещение вполне могут вводить камеры в заблуждение.

Беспилотные автомобили призваны улучшить нашу мобильность, а значит, они должны быть безопасны и для пассажиров, и для окружающих. Нельзя разрешить беспилотному автомобилю оказаться не в состоянии обнаруживать пешехода, который внезапно появился перед ним. Из соображений безопасности производители сосредоточивают большие усилия на комбинировании и объединении данных от разных сенсоров, чтобы получить объединенный показатель, который куда лучше любого отдельного показателя. Объединение сенсоров — это зачастую результат использования вариантов фильтра Калмана (таких, как расширенный фильтр Калмана или даже более сложный сигма-точечный фильтр Калмана). Рудольф Калман был венгерским инженером-электриком и изобретателем, иммигрировавшим в Соединенные Штаты во время второй мировой войны. За свои изобретения, нашедшие весьма многочисленные применения в управлении, навигации и контроле транспортных средств, от автомобилей и самолетов до космических кораблей, Калман получил Национальную научную медаль США в 2009 году от президента США Барака Обамы.

Алгоритм фильтра Калмана осуществляет фильтрацию результатов нескольких разных измерений, полученных на протяжении некоторого времени, в единую последовательность показателей, которые обеспечивают реальную оценку (предыдущие показатели были не особенно точны). Это работает так: объект обнаруживается при первом проведении всех измерений и обработке их результатов (фаза прогноза состояния), что позволяет оценить текущую позицию объекта. Затем, когда поступают новые показатели, новые результаты используются для модификации предыдущих, чтобы получить более надежную оценку позиции и скорость объекта (фаза обновления показателей).

Таким образом, беспилотный автомобиль может передать алгоритму показатели сенсоров и использовать их для получения результирующей оценки положения окружающих объектов. Оценка объединяет преимущества показаний всех сенсоров и избегает их недостатков. Это возможно потому, что фильтр использует более сложную версию вероятностей и теоремы Байеса.