图像识别系统
详情介绍
图像识别系统
先进的安全车辆（ASV）配备基于摄像头视觉的高级驾驶员辅助系统（ADAS），这种趋势得到了日益迅猛的发展。
此类ADAS采用一个或多个车用摄像头（单目或立体摄像头）通过图像识别技术以检测并识别我们车辆四周的车辆、行人、交通标志等等，以及我们车辆内部的驾驶员和乘客状态。
东芝的图像识别处理器Visconti2（TMPV75系列）集成了RISC型MPE（媒体处理引擎）和图像处理加速器，适用于以上ADAS中的各种图像处理。MPE具有3粒度并行结构，分别是用于任务级并行的多核、用于指令级并行的VLIW（超长指令字）以及用于数据级并行的SIMD（单指令流、多数据流），所以获得了高的图像数据处理性能。图像处理加速器有助于在低功耗条件下进行实时图像处理。下面将举例介绍Visconti2（TMPV75系列）对于以上ADAS的各种图像识别处理应用。
高级驾驶员辅助系统的图像识别应用举例
- 车道偏离警告（LDW）
- 当车辆在高速公路上行驶时，如果在没有车道变换信号的情况下偏离了当前的行驶车道，则车道偏离警告（LDW）系统可以通过检测前后摄像头中的图像数据进行检测车道并向驾驶员发出警告。
- 交通标志识别（TSR）
- 交通标志识别系统（TSR）利用前置单目摄像头的图像数据来识别交通标志并将识别的交通标志信息显示在仪表盘上。该系统可用于比较识别到的车速限制和通过CAN读取车速，并通知司机。
- 前方防撞警告（FCW）
- 前方防撞警告（FCW）通过使用自身车辆的前置立体摄像头或具有毫米波雷达的单目摄像头所获取的图像信息来检测前方车辆，并根据两车之间的距离和本车的速度，对于可能发生的撞车风险向司机发出警告。后方防撞警告（BCW）系统通过使用后置单眼相机中的图像信息来检测本车后方的车辆。
- 变道辅助（LCA）
- 变道辅助（LCA）系统将检测车辆周围对于变道有所防碍的障碍物（比如周围的车辆），并警告驾驶员存在撞车的危险。它可以在车后方采用一个单目摄像头，或是在左后方和右后方各用一个单目摄像头。
- 障碍物检测
- 障碍物检测系统可以检测本车周围的车辆等障碍物，从而提供变道辅助和前方防撞警告。它使用三个单目摄像头（一个在车前，另外两个分别在车辆的右后方和左后方）。
- 左转/右转提醒
- 左转/右转提醒系统利用安装在车辆左侧或右侧的摄像头来检测行人、自行车和摩托车，并警告驾驶员以防止撞到他们。
- 前方行人防撞警告
- 前方行人防撞警告系统通过前置摄像头检测行人并通知驾驶员。红外摄像头应用于夜间（此类系统也称为夜视系统）。倒车防撞（后方行人防撞警告）系统可通过在车辆后方安装摄像头予以实现。
- 驾驶员状态监控（DSM）
- 驾驶员状态监控系统（DSM）可以追踪司机的面部方向，当驾驶员未注意前方路况时予以提醒。
- 俯视停车辅助系统
- 俯视停车辅助系统使用四个鱼眼或广角镜头摄像头来拍摄车辆周围的图像，并将拍摄到的4个图像转换为鸟瞰图，然后合成以上4个图像和本车俯视图并予以显示，以便在停车时提供必要的辅助。
- 高光束辅助
- 该应用用于检测迎面驶来车辆的头灯和前方行驶车辆的尾灯，以便自动选择从高光束至低光束的适当照明范围。
- 交通信号识别
- 该应用用于检测红灯信号并警告驾驶员车辆是否有闯红灯的迹象。
- 一般固定障碍物防撞预警
- 该应用用于检测路上的一般障碍物，包括坠落物体、岩石崩落、塌方和锥形交通路标，警告驾驶员前方存在碰撞危险。
高级驾驶员辅助系统实例
- ADAS: 前方和四周监控解决方案
-
Visconti2（TMPV75系列）和Visconti4（TMPV76系列）图像识别处理器能够实时处理来自1至4个摄像头的输入图像（并且允许同时连接最多8台摄像头）。Visconti2（TMPV75系列）和Visconti4（TMPV76系列）可以并行运行多个ADAS应用，以识别车辆四周的车辆、行人、交通线路、交通标识等。 可能的应用包括：车辆检测和防撞警告；行人检测和防撞警告；车道检测和偏离警告；交通标识识别和红灯信号检测。Visconti2（TMPV75系列）和Visconti4（TMPV76系列）同时具备高性能和低功耗特点。
- ADAS单目摄像头后方监控解决方案（后方监视器、电子后视镜、电子门镜）
-
因采用了单目摄像头的单视频输入接口通道，TMPV7502XBG同时具备高的图像识别性能和低功耗特点（东芝测得的典型值为0.6 W）。 所以，TMPV7502XBG可提供小型封装。它适用于后方监视器、电子后视镜和电子门镜应用，提供车辆和行人识别以及移动物体检测功能。
推荐产品
| 器件型号 | 系列 | CPU | MPE | 图像处理加速器 | 视频输入 | 主要特点 | 封装 |
|---|---|---|---|---|---|---|---|
| TMPV7608XBG | TMPV760 系列 |
两个东芝原创的 32-bit RISC |
8 | 仿射变换、过滤器、直方图、HOG、 增强型CoHOG、匹配、金字塔、SfM |
最多 8通道 |
片上存储器、存储器控制器、CAN、 I2CUART、SPI、PCM、定时器/计数器 外部MCU接口等 |
PFBGA796 |
| TMPV7528XBG | TMPV752 系列 |
东芝原创的 32位RISC MeP和 ARM®Cortex®-A9 MPCore |
4 | 仿射变换、过滤器、直方图、 HOG、匹配 |
最多 4通道 |
片上存储器、存储器控制器、 PCI Express、CAN、I2C、 UART、SPI、 定时器/计数器、 外部MCU接口等 |
PBGA516 |
| TMPV7506XBG |
TMPV750 系列 |
东芝原创的32位 RISC MeP |
|||||
| TMPV7504XBG |
仿射变换、过滤器、直方图、匹配 | 最多 2通道 |
片上存储器、存储器控制器、CAN、 I2C、UART、SPI、PCM、定时器/计数器、 、外部MCU接口等 |
||||
| TMPV7502XBG | 2 | 仿射变换、过滤器、直方图、 HOG、匹配 |
最多1通道 |
片上存储器、存储器控制器、CAN、 I2C、UART、SPI、PCM、定时器/计数器等 |
PLFBGA324 |
* TMPV7608XBG的视频输入接口具有4/8视频开关。
| 器件型号 | 电源 电压 |
DC-DC转换器电源 （输出电压/电流） |
平均负载 效率 |
监控特点 | I2C 通信 | 封装 |
|---|---|---|---|---|---|---|
| TC9580FTG | 工作 电压 范围： 4.5至5.5V |
DCDC1（降压）： 1.15V/3.5A DCDC2（降压）： 3.3V/1.0A DCDC3（降压）： 1.25V或1.53V或1.84V/2.4A DCDC4（step-down）： 1.2V或1.54V或1.84V/0.8A |
90%（典型值）* |
连续监 控电源 电路 |
上电和掉电、 电源电压设置、 电源故障检测、 上电顺序 |
VQFN48 |
*在东芝的测试条件下测量所得，因主板和外部部件条件的不同而有所不同。
| 器件型号 | 输出像素 | 光学格式 | 长宽比 | 帧速率（全）（fps） | 主要功能 | 封装 |
|---|---|---|---|---|---|---|
| TCM3221PBA | 1.3 M（Quad-VGA/720 p） | 1/4 inch | 4:3/16:9 | 30 fps/60 fps | HDR, |
PBGA |
| 器件型号 | 输入 | 输出 | 双向信号 | 特点和功能 | 电源电压 | 封装 |
|---|---|---|---|---|---|---|
| TC358791XBG | HDMI® 1.4 MIPI® CSI-2 MIPI®DSI CVBS SPI IQ |
MIPI® CSI-2 LVDS (双连接、单连接) |
I2S TDM USB3.0 RGMII |
以太网AVB、 连接至汽车 应用处理器 |
MIPI®： 1.2 V CORE/PLL： 1.1 V HDMI®/USB2.0： 3.3 V RGMII： 2.5V LVDS/USB3.0： 1.8 V I/O： 1.8 V and 3.3 V |
PFBGA257 |