深入淺出Camera技術(shù)原理與架構(gòu)分析

Camera攝像頭是我們生活當(dāng)中極其常見的產(chǎn)品了，遍布生活方方面面，也與我們自身息息相關(guān), 以下是一些常見不同種類的攝像頭:

雖然攝像頭種類繁多，但其主要架構(gòu)與成像原理是相通的，硬件架構(gòu)如下所示, 決定其整體質(zhì)量的就是鏡頭, 圖像處理芯片,傳感器三大組件:

1). 外界物體通過鏡頭生成的光學(xué)圖像投射到圖像傳感器(Sensor);

2). 圖像傳感器(Sensor)將光信息轉(zhuǎn)為變?yōu)閿?shù)字圖像電信號;

3). 上一步的信號送到DSP芯片進(jìn)行計算，并轉(zhuǎn)換為主流標(biāo)準(zhǔn)的RGB/YUV圖像格式;

4). 接下來通過數(shù)據(jù)線或其它通道傳入CPU，并生成文件用于展示, 此時人就看到了圖像;

基于以上基礎(chǔ)原理，再繼續(xù)分析其核心框架:

上面架構(gòu)圖中主要涉及到了MIPI，CSI，ISP等幾個核心概念，下面進(jìn)行逐一介紹

1. MIPI

由國際MIPI聯(lián)盟為移動應(yīng)用處理器制定的開放標(biāo)準(zhǔn)移動產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface)。

MIPI聯(lián)盟即移動產(chǎn)業(yè)處理器接口（MIPI）聯(lián)盟，由美國德州儀器（TI）、 意法半導(dǎo)體（ST）、 英國ARM和芬蘭諾基亞（Nokia）4家公司共同成立，旨在定義并推廣用于移動應(yīng)用處理器接口的開放標(biāo)準(zhǔn)。

2. CSI

主機(jī)處理器與攝像頭模塊之間的高速串行接口;專門針對攝像頭芯片的接口而設(shè)計, 有速率高，低功耗的特點, 極大的支持了高清攝像頭領(lǐng)域的發(fā)展。

CSI層級定義如下:

1). 應(yīng)用層（Application Layer）

該層主要用于不同場景對數(shù)據(jù)的處理過程，對于發(fā)送方，多為camera生成數(shù)據(jù)，對于接收方，多為SOC對數(shù)據(jù)進(jìn)行處理。

2). 協(xié)議層（Protocol Layer）

CSI-2協(xié)議可以使用SOC上的一個物理接口實現(xiàn)多條數(shù)據(jù)流的傳輸。協(xié)議層規(guī)定了如何對多條數(shù)據(jù)流進(jìn)行標(biāo)記和交織，從而使每條數(shù)據(jù)流能夠正確地重建。

(1).像素字節(jié)轉(zhuǎn)換層（Pixel/Byte Packing/Unpacking Layer）

CSI-2能夠支持多種多樣的像素格式，對于發(fā)送方，在數(shù)據(jù)發(fā)送之前，需要根據(jù)像素格式，將像素數(shù)據(jù)轉(zhuǎn)換為對應(yīng)的字節(jié)流；對于接收方，在將數(shù)據(jù)提供給應(yīng)用層之前，需要將字節(jié)流數(shù)據(jù)轉(zhuǎn)換為像素數(shù)據(jù)。

(2).低級協(xié)議層（Low Level Protocol）

LLP指的是SoT與EoT之間的數(shù)據(jù)包字節(jié)流協(xié)議，LLP的最小單元為字節(jié)。

(3).Lane管理器（Lane Management）

為了適應(yīng)不同場景下對帶寬的要求，CSI-2規(guī)定了Lane的數(shù)量是可拓展的。因此，在面臨多Lane同時傳輸時，發(fā)送方需要對字節(jié)流進(jìn)行公平分流（distributor），接收方則需要對多Lane數(shù)據(jù)進(jìn)行合并（merger）。

3).物理層（PHY Layer）

PHY層指定了傳輸媒介，在電氣層面從串行bit流中捕捉“0”與“1”，同時生成SoT與EoT等信號。CSI的硬件部分包括C-PHY、D-PHY，實際上使用的主要是D-PHY。

2. ISP

ISP(Image Signal Processor)即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。

它在相機(jī)系統(tǒng)中占有核心主導(dǎo)的地位，是構(gòu)成相機(jī)的重要設(shè)備。ISP 通過一系列數(shù)字圖像處理算法完成對數(shù)字圖像的效果處理。

小優(yōu)智能科技采用了領(lǐng)先的攝像頭硬件與算法處理技術(shù)，在3D視覺與建模領(lǐng)域深耕多年，并取得了重要且具有較大影響力的技術(shù)專利與研究成果。

注：圖片來源包圖網(wǎng)、知乎。