在当前帧中显示出运动车辆的前景像素，以及之前帧中的“重影”。
图1：基于三个图像帧的前景/背景检测
上述重影的存在意味着仅有两帧可用于简单运动检测，而不需要目标跟踪和识别。除了重影图像外，在前景中可能会误识别其他像素噪声。可以稍微增加一些运算量，即在算法中引入一个额外的帧来改进前景的图像质量。利用三个帧，确定当前帧和前一帧之间每个像素间的绝对差(图1A)，然后再确定当前帧与下一帧的逐个像素的绝对差，于是，重影目标就会出现在不同的位置上(图1B)。如果两个绝对差都超过了门限，则相应的像素就属于前景。反之属于背景。1A和1B中的重影消失后，仅留下1C中的图像，即为前景。
利用三个图像帧，实现控制环境中的短期视频目标的跟踪和识别是可能的。即便如此，非自适应的解决方案也仅仅适用于高度监管的、场景中没有大变化的短期跟踪应用。当场景或背景变化时，需要用手动的方式重新初始化。否则，错误将随时间累积，导致不可信的结果。
; 自适应检测
由于非自适应解决方案的限制，在VCA应用中，目前正在实现自适应的前景/背景检测。自适应检测维持背景模型，通过对每两个视频帧中的数据进行混合使得该模型连续更新。自适应方案需要的处理量比非自适应方案要多，背景模型中的复杂度也变高。在基本的自适应方案中，算法从当前视频帧中按逐个像素减去背景模型，以便确定前景(这与非自适应算法中的减去后续帧的做法相反)。得到的结果被反馈到模型中，使之自适应即将发生的背景变化，而无需复位。该方案在目标在不断运动或者背景噪声长时间存在的许多视频监控场景中都很有效。
更复杂的前景/背景检测基于统计背景模型，在该模型中，指定帧中的每一个背景像素被建模成一个遵从高斯分布的随机变量。每个像素的均值和标准方差随时间变化，具体取决于每帧中的视频数据。例如，如果在场景中包括河岸和一条河，落到水面上的光线将会使河面像素产生比相对没有什么变化的河岸像素大得多的方差。通过与从背景模型中的相关像素的标准方差导出的门限比较来确定当前帧中的像素是前景还是背景。换句话说，若要指定某个像素为前景，如果随后有大的变化(河流)，则该像素应该呈现一个与背景像素很大的差别，而如果背景像素的变化很小(河岸)，则该差别会很小。
当场景中的不同区域的光条件或噪声电平不同时，该解决方案最有效，因为如果设置一个仅考虑高噪声电平的统一门限，当目标进入到低噪声区域(河岸)时就会消失。
目标跟踪/识别
在前景/背景检测之后，生成一个掩膜图(图1C)。由于存在环境噪声，单个目标的所有部分将不会关联在一起，故在将所有部分关联成整体之前，需要进行形态的扩展计算增强过程。扩展包括在掩膜图上加一个网格，计算网格中每个区域中的前景像素数量，然后计算每个区域中像素的剩余部分，该区域中的数量显示哪些分离的目标应该被关联到一起。
在扩展和分量关联后，为每个目标提供一个包围框，这是一个包括整个目标(因为它将出现在不同的帧中)的小矩形方块，从而产生了图2所示的分割。
图2：目标分割效果示意图
跟踪
跟踪分割后的前景目标包括三步：即预测在当前帧中每个目标应该位于的地方，确定哪一个目标与描述最匹配并矫正目标运动轨迹，以用于下一帧的预测。第一步和第三步由递归式卡尔曼滤波器来实现。因为在一个帧中只能观察目标的位置，还需要利用矩阵运算来快速计算其速度和下一个位置。开始时，滤波器被初始化到相对于背景模型的前景目标的位置上。对于目标被跟踪的每一帧，滤波器预测下一帧中前景目标的相对位置。当场景进入到下一帧时，该滤波器定位目标并矫正其轨迹。
跟踪中的第二步包括数据相关，根据目标特征的相似性来确定目标的相关性。目标的大小，形状和位置可以根据从一帧到下一帧中的包围框和他们的交叠来确定