Intel RealSense D435i(實感技（jì）術)概（gài）覽，本文對Intel RealSense D435i 3D麵部和動作捕捉功能（néng）做簡要介紹

前段時間CES的（de）報道滿天飛，網上逛了幾圈，感覺料猛的還數Intel：老樹（shù）開新花，推出14nm的第五代酷睿處理器；在智能可穿戴（dài）設（shè）備及（jí）物聯網上雄起；RealSense實感技術開啟未來人機交互（hù）模式。之前總聽老哥講，鼠標鍵盤這些傳統交互模（mó）式統治了二三十年，目（mù）前（qián）跟蹤（zōng）識別爆火且技（jì）術趨於成熟，新的交互革命快要打響了（le）。看RealSense這（zhè）陣勢，估計（jì）不出三（sān）五年新（xīn）的（de）交互便會普及（jí）開（kāi）來。

英（yīng）特爾早在2012年左右就著重研（yán）發實感（gǎn）技術，當時叫Perceptual Computing，即感知計算，並開（kāi）放英特爾® 感知計算軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因特爾感知（zhī）計算挑戰賽，吸引眾（zhòng）多開發者參（cān）與。隨（suí）著技術完（wán）善與成熟，2014年（nián）初更名為RealSense，即實感技術，而後發布了新的Intel® RealSense™ SDK 2014 ，同時舉（jǔ）行2014英特爾®RealSense™應用挑戰賽。

基於（yú）此（cǐ）技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架構（gòu）：SDK core,I/O module和Capability modules組（zǔ）成整個SDK堆棧（zhàn）的基礎。SDK core管理I/O module和Capability modules同（tóng）時組織並管理管線的執行。I/O module捕獲設備的輸入數（shù）據而（ér）後發送數據到輸出設備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模（mó）式檢測和識別算法（麵部跟蹤和檢測、手（shǒu）部跟蹤、手勢識別、語音識（shí）別及合成等）。

各功能：手部和（hé）手指跟蹤、麵部分析、語音識別、背景移除、目標跟蹤、增強現實、3D掃描。

1. 手

SDK將手抽象出骨架，並從背景中剝離出來（lái）。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個點的位置和方向，如圖。左右（yòu）手是區分的，因而（ér）可以雙手進行交互。

手勢識別：包括靜態手勢識別和動態手勢識別。SDK中內嵌了一係列手（shǒu）勢如下圖。你可（kě）以用內嵌的這些手勢組合出（chū）新（xīn）的手勢，也可以根據手骨架上那22個點位置創建出（chū）新的手勢。

動態手勢識別（bié）：靜態（tài）手勢可以單獨使用，當然也可以組合使用形成一定的動作。組合時要求開始的手勢和結束的手勢都已在手勢識別係統（tǒng）中注冊。

SDK給（gěi）出了（le）一（yī）係列動作如下：

2．臉

臉部檢（jiǎn）測（cè）：SDK提供準確的3D臉部檢測和跟（gēn）蹤，且可（kě）以（yǐ）同時跟蹤4張人臉。每張人臉用長方（fāng）形來標記，你可以獲得長方形的XYZ坐標。與2D跟蹤相比，3D頭部跟蹤在頭部運（yùn）動（dòng）方麵更給力。

臉部識別：SDK提供識別（bié）特定人（rén）臉的能力。特定ID對應注冊的特定人臉，並將（jiāng）此人臉的信息存儲到人（rén）臉庫的（de）內存中。如果同張人臉被注冊多次，那這張人臉被正確識（shí）別的機會將會增大。當沒被（bèi）識別的（de）人臉出現時，識別模塊將與數據庫中的可能數據進行比對，如（rú）果（guǒ）找（zhǎo）到匹配則（zé）返回此人臉對應的ID。

用戶（hù）不用擔心（xīn）自己的頭像被存儲，因（yīn）為存儲的隻（zhī）是算法從（cóng）圖像中提（tí）取的特征的集合。

頭的運動：SDK提供頭部運動的3D方向：俯（fǔ）仰、左右（yòu）轉動、左右偏轉，如（rú）圖。

所以可以輕鬆獲得用戶頭部指向哪裏。也可以以此做粗略的（de）眼神跟蹤，下一版將會推出更精細的眼神跟蹤。

標記點跟蹤：SDK提供臉部78個標記點的跟蹤以（yǐ）提高臉部識（shí）別和分析的準確度。在圖像和坐標（biāo）係中給出這（zhè）78個標記點的位（wèi）置（zhì）。臉部標記點跟蹤支持頭像（xiàng）創建、臉（liǎn）部動畫、擬態及簡單的表情識別。可以直接用這些點或這些（xiē）點的相對位置來作分析。不管你（nǐ）有沒有劉海、戴不戴眼鏡，這種標（biāo）記點跟蹤都支持。但用戶（hù）頭部在屏幕（mù）30度內（nèi）效果*好（hǎo）。

麵部表情識別：SDK也包括更（gèng）高級的麵部（bù）表情識別。這（zhè）使得你創建卡通頭像更簡單。每一種表情有1到（dào）100的強度等（děng）級使得你做的動畫更平滑自然。SDK中表情：

情感識別：SDK中的情感識別（bié）算法用的是（shì）2D RGB數據。情感模塊是獨（dú）立的（de）模（mó）塊，並非臉部模塊的一部分。為保障情感識別（bié）正常（cháng）工作，圖像中的人臉至少要有48×48個像素。此算法並不局限於RGB數據，灰度數據同樣可行。利（lì）用SDK，你可以（yǐ）檢測並估計以下六種原始情感的強度。

頭像控製：SDK通過結合（hé）麵部表（biǎo）情及78個標記點提供簡單的頭像控（kòng）製功能。SDK提供動畫角色的示例代（dài）碼（mǎ），使你的應用可（kě）以適（shì）應任何臉型並（bìng）把用戶頭像動畫化。

應用（yòng）場景：

3. 語音

主要包括語音命令和控製、聽寫、從文字轉譯成語（yǔ）音等功能。隻（zhī）支持英語（yǔ），語音識別對成年（nián）人效果（guǒ）*好。

語音識別：分為（wéi）命（mìng）令模式和聽寫模式（shì）。命令模（mó）式（shì）需提前設定命令列表（biǎo），特定命令綁定（dìng）特（tè）定動作。聽寫模式內置了一個通用的詞典，包括50k個常用（yòng）單詞。如（rú）果你覺得不夠用，也可以自己添加詞典中沒有的單詞。聽寫模式限時30秒。命令（lìng）和聽寫模式（shì）不可同時開啟。

語音分析（xī）：SDK也可以（yǐ）根據（jù）文本動態的生成語音，由女聲讀出。

4. 背（bèi）景移除（chú）

可以實時的移除背景並替換成新（xīn）的背（bèi）景。

應用場景：

5. 目（mù）標跟蹤

Metaio*3D目標跟（gēn）蹤模塊提供基於光學的跟蹤技（jì）術，可以跟蹤視頻序列或場景中的目標物。Metaio工具箱可以訓練、創建並編輯3D模型，這些（xiē）模型可以傳給各種目標檢測及跟蹤算法（fǎ）。

跟（gēn）蹤技（jì）術支持平麵的2D目標（biāo）跟蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增強現（xiàn）實

用音頻、視頻、圖像或其他信息來添加、增強或補充英特爾實感技術遊戲的內容。

7. 三維掃描和（hé）打印

可以掃描、編輯、打印和分享（xiǎng）三（sān）維物體，並與 3D Systems展開合作。

目前因特爾（ěr）已經與騰訊（xùn）合（hé）作創立遊戲創新實驗室（shì），推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京東（dōng）因特爾聯合創新實驗室”，推出虛擬試（shì）衣、3D物品展示等，使實感技術落地電商平台。同時因特爾自己也在不（bú）斷推出自己的實感技術產品。這不前兩天（tiān）在北京推（tuī）出其全新的第（dì）五代（dài）酷睿處理器家（jiā）族，搭載此（cǐ）處理（lǐ）器（qì）的多款產（chǎn）品還配備了英特爾實（shí）感技術，看來這項技術很快就（jiù）會遍地開花。

隻要你的處理（lǐ）器是第四代及（jí）四代以後英特爾® 酷睿™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝像頭（tóu）就可以下載SDK玩起來。估計（jì）不久聯想（xiǎng）、戴爾、華碩、宏基、惠普等等搭（dā）載第五代酷睿處理器並內嵌因特爾3D攝像頭的超很本、二合一及一體（tǐ）機設備就會上市，那時玩起來會（huì）更爽。

資料來源：RealSenseSDKdesignGuidelinesGold

補充（chōng）一點自己的實際體會：

1.基於結構光方案的深（shēn）度相機，受光（guāng）線影響很大，下午（wǔ）太陽光照進來，深度數據殘缺嚴重，這個就是所謂的激光散斑（bān）受強光淹沒掉（diào）了。

2.手勢識別中，靜態手勢，手型識（shí）別效果不錯。同時，對著深度相機方向的手勢運動，識別效果（guǒ）也不（bú）錯。但左右方（fāng）向的（de）運動手（shǒu）勢，效果（guǒ）很差。主要是視場角小，深度數據殘缺嚴重（chóng）。

3.SDK可支（zhī）持多個設備同時鏈接 。采用一台設備（bèi），一個線程來管理維護。線程內部，SDK所有（yǒu）功能都支持。也就是多個設備互不影響。

4.手（shǒu）勢，采用22點骨（gǔ）架模型。大致的手型是（shì）可以捕捉的， 但是容易受到環境光影響，在準確獲取手部動作時還是考慮使用專業的數據手套設備，比如WONGLOVE數據手套。

5.手勢識別，在20~55cm範圍內可用。其實，整體來看，隻（zhī）能是小範圍運動情況了。