本文是本人的經(jīng)驗(yàn)總結(jié)，不代表標(biāo)準(zhǔn)理論，有錯誤請指正；

主要講解上下雙相機(jī)定位貼合的原理和實(shí)現(xiàn)過程，包括各種標(biāo)定、組合使用及具體的halcon源碼實(shí)現(xiàn)，適用于的X、Y、Z三軸加一旋轉(zhuǎn)軸系統(tǒng)，如模組組成的多軸系統(tǒng)、Scara四軸機(jī)器、六軸機(jī)器人（在運(yùn)行過程中保證幾個自由度不動，運(yùn)行即可）

一、標(biāo)定介紹

1.標(biāo)定模型A：相機(jī)固定（夾具不旋轉(zhuǎn)）

夾具夾取產(chǎn)品或者標(biāo)定塊，選取一個特征，開始進(jìn)行標(biāo)定

X軸、Y軸移動一個位置，記錄軸的物理坐標(biāo)：（Qx1，Qy1）

提取圖像中對應(yīng)特征點(diǎn)，圖像像素坐標(biāo)：（Px1，Py1）

運(yùn)動第N位置，記錄下點(diǎn)位軸軸坐標(biāo)（QxN，QyN），t提取像素坐標(biāo)：（PxN，PyN）

一般9點(diǎn)、16點(diǎn)，特征均勻分布在圖像的各個位置即可

halcon算子計(jì)算：

假如把上面記錄的點(diǎn)轉(zhuǎn)化成halcon的使用的方式，如下：

Px：=［1，2，3］

Py：=［1，2，3］

Qx：=［3，9，12］

Qy：=［3，9，12］

九點(diǎn)標(biāo)定使用（仿射變換，最少三個點(diǎn)），不能消除鏡頭和相機(jī)畸變

vector_to_hom_mat2d （Px， Py， Qx ， Qy， HomMat2D）

HomMat2D就是得到矩陣

此案例不需要標(biāo)定旋轉(zhuǎn)中心，使用 Affine_Trans_Point_2d（HomMat2D，ProductCol，ProductRow，Qx，Qy）;Qx，Qy為變換后的機(jī)械坐標(biāo)，可直接發(fā)給機(jī)器人做移動處理。

2.標(biāo)定模型B：相機(jī)移動（不旋轉(zhuǎn)）

相機(jī)固定到X或者Y軸上，不能旋轉(zhuǎn)，這種是大部分設(shè)備的移動相機(jī)的模式，黃色部分是可旋轉(zhuǎn)的、當(dāng)時很多設(shè)備這黃色部分是包含Z軸或者上下放料氣缸。

標(biāo)定時，把標(biāo)定特征的產(chǎn)品或者標(biāo)定塊放在相機(jī)下方位置固定不動

移動相機(jī)（即移動軸），每走一個點(diǎn)，記錄下點(diǎn)位軸軸坐標(biāo)（QxN，QyN），提取像素坐標(biāo)：（PxN，PyN）

halcon算子計(jì)算：

**把上面記錄的點(diǎn)轉(zhuǎn)化成halcon的使用的方式，如下：

Px：=［1，2，3］

Py：=［1，2，3］

Qx：=［3，9，12］

Qy：=［3，9，12］

**九點(diǎn)標(biāo)定使用（仿射變換）

vector_to_hom_mat2d （Px， Py， Qx ， Qy， HomMat2D）

HomMat2D就是得到矩陣，注意雖然計(jì)算過程和模型A一模一樣，但是矩陣的使用是不相同，后面會有說明

3.標(biāo)定模型C：相機(jī)固定（夾具旋轉(zhuǎn)）

首先實(shí)際固定相機(jī)的項(xiàng)目，基本上夾具都是可以旋轉(zhuǎn)的，因?yàn)槲覀內(nèi)A取的產(chǎn)品肯定有角度偏差，然后通過下方固定相機(jī)的拍照，補(bǔ)償貼合，這也是固定相機(jī)意義所在。

所以標(biāo)定模型A只能補(bǔ)償Dx、Dy（X軸、Y軸偏差），適用的實(shí)際項(xiàng)目情況還是比較特殊的；當(dāng)前模型需要補(bǔ)償出角度，但是這個匹配找到產(chǎn)品的角度并不是旋轉(zhuǎn)一下這個角度就好，這會產(chǎn)生一下偏差，這也新手迷惑，或者經(jīng)常面試問的一個問題，只有了解這個問題定位才算入門。

1)基本的補(bǔ)償流程

首先為大家講一個整體的補(bǔ)償過程，是怎樣產(chǎn)生補(bǔ)償?shù)?，旋轉(zhuǎn)補(bǔ)償和平移補(bǔ)償?shù)膮^(qū)別。

放大模型如下:

這是一個放大的模型，軸心和夾具中心不重合，就算我們的夾具中心和旋轉(zhuǎn)軸中心是重合，但是我們夾取或者吸取產(chǎn)品也不能保證產(chǎn)品的中心和旋轉(zhuǎn)中心重合，所以結(jié)論：涉及旋轉(zhuǎn)必須進(jìn)行旋轉(zhuǎn)標(biāo)定，不然每次貼合總會帶有旋轉(zhuǎn)產(chǎn)生的誤差。下面分析這個旋轉(zhuǎn)到底是怎樣帶來誤差的，也就是我們旋轉(zhuǎn)標(biāo)定到底在計(jì)算什么東西。

這一部分也同時解釋怎樣去補(bǔ)償這個旋轉(zhuǎn)誤差。

上圖的放大模型從下往上看，簡化模型在坐標(biāo)系中，一定搞清楚這里，不然后面旋轉(zhuǎn)起來就沒辦法理解了

紅色圓圈：旋轉(zhuǎn)軸中心

黃色圓圈：夾具中心，這個夾具肯定很大，這里代表其中心位置，在后面計(jì)算中沒有意義

連線：表示剛性連接（就是兩者固定在一起的）

項(xiàng)目中，我們先抓一個產(chǎn)品訓(xùn)練模板，就是模板位置，如下圖

梯形綠色部分：抓取的基準(zhǔn)位置產(chǎn)品

模板位置和夾具中心重合，夾具的中心沒有實(shí)際意義，因?yàn)閵A具只要把產(chǎn)品抓取進(jìn)行，我們匹配得到的點(diǎn)位數(shù)據(jù)是產(chǎn)品的位置，九點(diǎn)標(biāo)定也是標(biāo)定特征的數(shù)據(jù)，和夾具中心沒有任何關(guān)系，我們直接把模板位置的產(chǎn)品中心當(dāng)做夾具中心也行。

實(shí)際項(xiàng)目中，訓(xùn)練好后，我們就會手動移動軸或者機(jī)械手到要放的位置，這就是示教一個標(biāo)準(zhǔn)放置位置M1（x，y，u）（x/y軸坐標(biāo)值，旋轉(zhuǎn)軸U軸值，后面會用到，記住），然后就是抓取產(chǎn)品拍照，補(bǔ)償貼合。

所以當(dāng)前模板產(chǎn)品位置的偏差（0，0，0）

當(dāng)我們的抓取的一個待放的產(chǎn)品時，它此時的位置可能和我們示教產(chǎn)品的位置不同，這里相當(dāng)于匹配中心，偏移了（1，1，），旋轉(zhuǎn)了45度，如下圖：

同時注意產(chǎn)品是夾具抓取的，所以旋轉(zhuǎn)軸、夾具、產(chǎn)品是一體，旋轉(zhuǎn)和平移都是一體進(jìn)行的。

講到這里，我們很多時候可能開始在這幅上糾結(jié)了，想怎么去補(bǔ)償、旋轉(zhuǎn)等等，試了半天，發(fā)現(xiàn)補(bǔ)償還是不對，最后發(fā)現(xiàn)不知道怎會搞了，蒙了，我在哪里，我是誰？？

這里我就要給大家一個定位的這種問題的通用的思路，讓人不至于最后懵掉，說到這里，你們難道不點(diǎn)個贊，收藏一下，打賞一下？？

第一步，首先明確我們的目標(biāo)，就是我們到底在做啥，抓這個產(chǎn)品放到我們的目標(biāo)問題，所以我們不要在上面圖的位置分析。

第二步，假設(shè)我們上面的產(chǎn)品沒有偏差，直接把產(chǎn)品移動到我們的目標(biāo)位置：標(biāo)準(zhǔn)放置位置M1（x，y，u），放下產(chǎn)品

第三步，確定我們的看看位置到底是怎樣偏差的，然后就知道我們該怎樣旋轉(zhuǎn)平移了。

第四步，最后推理出補(bǔ)償，看見上面圖，大家可能感覺很簡單了，黃色表示標(biāo)準(zhǔn)位置貼的產(chǎn)品，綠色表示當(dāng)前產(chǎn)品位置，但是一定要明確上面的圖是在我們產(chǎn)品放置位置俯視產(chǎn)生的，所以這個補(bǔ)償（Dx，Dy，Du）只要直接疊加到M1（x，y，u）上，即得到我們最終的運(yùn)動位置M2（x+Dx，y+Dy，u+Du），軸或者機(jī)器人直接運(yùn)動到這個位置，放下產(chǎn)品即可。

第五步，計(jì)算這個偏差補(bǔ)償（Dx，Dy，Du），這是我們回到抓取產(chǎn)品的拍照位置，如下圖：

是不是位置和上面一張?jiān)诋a(chǎn)品位置放置點(diǎn)的一模一樣，所以直接在這里計(jì)算，就可以計(jì)算這個偏差。

同時我這么強(qiáng)調(diào)產(chǎn)品放置位置和拍照位置，除了讓大家了解一個正常定位的補(bǔ)償流程和思路外，就是得出一個結(jié)論：固定的下相機(jī)（僅僅這種模型的相機(jī)），它作用是通過計(jì)算最后得一個偏差，而不是要去計(jì)算一些絕對位置；

而絕對貼合的位置是由其他相機(jī)或者示教等等產(chǎn)生的；合在一起就組成一個完成補(bǔ)償。

現(xiàn)在可以回到正題，這個旋轉(zhuǎn)到是怎樣產(chǎn)生誤差的。

我們只要綠色產(chǎn)品位置移動到黃色位置即可，流程如下：

第一步：移動產(chǎn)品產(chǎn)生的偏差（1，1）：

紅色旋轉(zhuǎn)中心坐標(biāo)就變成了（-2，-2），綠色產(chǎn)品中心（0，0）

第二步：旋轉(zhuǎn)角度45°，一定記住旋轉(zhuǎn)中心在紅色圓圈

因?yàn)榫G色產(chǎn)品中和旋轉(zhuǎn)中心的距離2√2 ，綠色產(chǎn)品中心位置：（-2，2√2-2）

所以可以看出，經(jīng)過平移和旋轉(zhuǎn)并不能把產(chǎn)品移動到目標(biāo)位置，發(fā)現(xiàn)還差一個偏差（-2，2√2-2）（就是旋轉(zhuǎn)后坐標(biāo)減去旋轉(zhuǎn)前坐標(biāo)），這樣解決前面的疑惑僅直接旋轉(zhuǎn)獲得的角度不正確，會出現(xiàn)一個偏差。

這里點(diǎn)位和角度都很特殊，后面會講通用的角度位置偏差怎么通過Halcon算子計(jì)算。

同時，一定要注意在我們計(jì)算這個偏差的時候，我們用到了旋轉(zhuǎn)中心的坐標(biāo)；但是非常遺憾的問題，我們在做九點(diǎn)校正的時候（根據(jù)標(biāo)定模型A），標(biāo)定的基準(zhǔn)是標(biāo)定特征的中心，而不是旋轉(zhuǎn)中心，實(shí)際項(xiàng)目中我們夾具抓取標(biāo)定塊進(jìn)行標(biāo)定，根本做不到把旋轉(zhuǎn)中心和標(biāo)定特征的中心重合，所以我們就需要通過旋轉(zhuǎn)標(biāo)定找到旋轉(zhuǎn)中心并消除它。

不容易啊，終于回歸本部分的正題了，開始標(biāo)定了。

此模式：相機(jī)固定，夾具旋轉(zhuǎn)，忘記了的看看上面模型圖片。

2） 首先九點(diǎn)標(biāo)定

首先夾具旋轉(zhuǎn)位置選擇，一定要注意因?yàn)閵A具是可以旋轉(zhuǎn)的，所以當(dāng)我們夾住產(chǎn)品開始標(biāo)定時，我們選取那個角度就行標(biāo)定呢？

這個角度要選好，因?yàn)?，這就是我們抓取拍照或者飛拍的時候也需要保持這個角度姿態(tài)，如果不是這個角度，需要重新經(jīng)過一個計(jì)算轉(zhuǎn)換回去才行，這里需要大神來幫忙補(bǔ)充一下；因?yàn)槲椰F(xiàn)在遇到的項(xiàng)目暫時還沒有要求這個，因?yàn)橹灰D(zhuǎn)好的姿態(tài)標(biāo)定就可以滿足。

基本要求：

A、角度肯定能到拍照位置能拍照，別選一個角度導(dǎo)致軸或者機(jī)器人最后根本就走不到拍照點(diǎn)

B、選擇這個角度姿態(tài)，有利于我們在定點(diǎn)旋轉(zhuǎn)時，能夠旋轉(zhuǎn)更大的角度，因?yàn)樾D(zhuǎn)標(biāo)定找圓心，其實(shí)就是定點(diǎn)旋轉(zhuǎn)我們的標(biāo)定特征，然后擬合找圓心，很明顯點(diǎn)分布的角度越大，精度越高（沒有做過旋轉(zhuǎn)的，不理解沒關(guān)系，后面講解，到時回來看看就知道怎么回事了）；200°旋轉(zhuǎn)效果已經(jīng)非常好了，很多時候因?yàn)橐曇昂蜋C(jī)構(gòu)問題，能到達(dá)90°就已經(jīng)可以了；

九點(diǎn)標(biāo)定過程：

當(dāng)這個旋轉(zhuǎn)角度確定后，九點(diǎn)標(biāo)定就變成了了標(biāo)準(zhǔn)模型A，過程就不詳細(xì)講了，這時就得到了一個矩陣：HomMat2D。

我們前面提到過這個矩陣其實(shí)就是兩個坐標(biāo)系轉(zhuǎn)換關(guān)系，這里是指下相機(jī)的圖片上像素坐標(biāo)和標(biāo)定特征中心的物理坐標(biāo)的關(guān)系，但是上面我們知道了，我們需要的是下相機(jī)的圖片上像素坐標(biāo)和旋轉(zhuǎn)中心的物理坐標(biāo)的關(guān)系，所以下面進(jìn)行旋轉(zhuǎn)標(biāo)定。

【拓展閱讀：下面都是廢話，控制不住自己想寫，刪掉又可惜，拓展閱讀】

說一個題外話，那如果遇到項(xiàng)目的旋轉(zhuǎn)臂很長，視野不夠大，旋轉(zhuǎn)幾度都沒有，這種項(xiàng)目有嗎？肯定有啊。如果你們誰遇到了，由于讀到這里受啟發(fā)，是不是回來幫忙點(diǎn)個贊呢。方法就是旋轉(zhuǎn)后，標(biāo)定特征離開視野，只需要平移到視野中，提取特征計(jì)算后要減去這個平移值在擬合（我沒有這樣做過，也不敢列出來，沒有實(shí)際驗(yàn)證過，本文中講知識和halcon算子肯定都是項(xiàng)目實(shí)戰(zhàn)驗(yàn)證過的，但是這方法肯定可行，或者那個大神做過幫忙解答一下）；

大神：ihalcon管理員sc6231565 解答來了：標(biāo)定模型C10圖片（ihalcon管理員sc6231565提供的圖片）視野很小，旋轉(zhuǎn)軸有很長情況：

還有一個小訣竅，如果精度不是太高，兩個點(diǎn)就行，一個點(diǎn)記錄，然后直接轉(zhuǎn)180度，再記錄，直接就是直徑了，兩個點(diǎn)計(jì)算物理點(diǎn)相加除以2就是圓心，具體你們自己看著辦吧，是不是感覺處處是驚喜啊，又學(xué)到了一招。

網(wǎng)上搜索相機(jī)標(biāo)定，一大堆像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系，還有手眼標(biāo)定里面的各個坐標(biāo)系都不要去考慮，九點(diǎn)標(biāo)定就是相機(jī)得到的圖像像素坐標(biāo)與軸或者機(jī)器人的X、Y物理坐標(biāo)的關(guān)系，就是兩個平面坐標(biāo)的轉(zhuǎn)換，不要去復(fù)雜話你的系統(tǒng)考慮中間問題。

所以六軸機(jī)器人來做九點(diǎn)標(biāo)定，第一步應(yīng)該是建立與工作平面平行的平面，然后再這個平面移動做九點(diǎn)標(biāo)定，至于這個機(jī)器人的這個新坐標(biāo)系怎么建立就找搞機(jī)器人的就行；當(dāng)然如果要求不高，忽略。

3） 旋轉(zhuǎn)標(biāo)定

首先選擇一個定點(diǎn)，記錄下點(diǎn)物理坐標(biāo)P1（x，y），然后如下圖繞著紅色的旋轉(zhuǎn)中心旋轉(zhuǎn)，黃色表示標(biāo)定的特征中心，灰色表示相機(jī)的圖像，并且可以從圖像看出，左邊的旋轉(zhuǎn)角度可能旋轉(zhuǎn)90-120之間，其他位置已經(jīng)跑出圖像外了，而右邊的旋轉(zhuǎn)半徑短（標(biāo)定特征中心和旋轉(zhuǎn)中心距離，實(shí)際項(xiàng)目機(jī)械結(jié)構(gòu)決定的），視野大，所以旋轉(zhuǎn)大于200度，保證特征在視野內(nèi)。

再次強(qiáng)調(diào)這個旋轉(zhuǎn)的前提，在定點(diǎn)P1（x，y）不變的位置進(jìn)行旋轉(zhuǎn)，這個點(diǎn)是“初始角度”的標(biāo)定特征中心的坐標(biāo)，而不是旋轉(zhuǎn)中心的坐標(biāo)。

計(jì)算過程如下：

記錄第一個點(diǎn)物理點(diǎn)P1（x，y），提取特征中心的像素為（Prx1，Pry1）

旋轉(zhuǎn)一個小角度，

記錄第二個點(diǎn)物理點(diǎn)P1（x，y），提取特征中心的像素為（Prx2，Pry2）

咦，怎么物理點(diǎn)都沒變呢都是P1呢，肯定啊，X，Y軸都沒有動，X/Y坐標(biāo)肯定不變?。患热徊蛔?yōu)樯兑崴兀驗(yàn)槲抑篮芏嗳艘晦D(zhuǎn)起來又懵逼了，又不清楚自己在哪里了；一定搞清楚什么在變動，什么不變。

旋轉(zhuǎn)第N個點(diǎn)物理點(diǎn)P1（x，y），提取特征中心的像素為（PrxN，PryN）

具體多少個點(diǎn)，旋轉(zhuǎn)16-20個點(diǎn)完全夠了。

現(xiàn)在已知的條件：定點(diǎn)物理點(diǎn)P1（x，y），一系列像素坐標(biāo)（PrxN，PryN），還是有我們前面九點(diǎn)標(biāo)定矩陣HomMat2D（不要忘了）。

求?。?？

一團(tuán)亂，求取啥呢？一定不要忘了我們的初衷，得到旋轉(zhuǎn)中心坐標(biāo)和圖像的像素坐標(biāo)的關(guān)系，本質(zhì)上呢：就是一個矩陣：HomMat2D_C1（模型C矩陣）

求?。篐omMat2D_C1

下面將是本文章中第一個核心知識，直接項(xiàng)目用的Halcon源碼。

自動化行業(yè)真的有一道門檻，你回發(fā)現(xiàn)在網(wǎng)上很難找到一些基礎(chǔ)的源碼或者直接可用的資料，大多數(shù)是原理性或者思路性的東西，但是只要你進(jìn)入一家公司，就很輕松獲得一些自己非常難查詢到的東西，知識的流動最終變成人的流動，從一公司帶到另一個公司。如果什么知識都可以查到，公司不是完蛋了嗎？別人都把好東西放到網(wǎng)上，讓別人來搶我的飯碗嗎？我在說我自己嗎，哈哈？所以想要打破這道膜，只有進(jìn)入他，找一個這樣的公司就行了啊，但是本公司只收有這方面工作經(jīng)驗(yàn)的人，真tmd尷尬？怎么辦呢？？當(dāng)時聯(lián)系網(wǎng)站管理報個培訓(xùn)班啊啊?。。∷砸磺写嬖诙际呛侠淼陌?。

第一步，擬合點(diǎn)計(jì)算：

*九點(diǎn)標(biāo)定的矩陣

HomMat2D：=［0.0202215， 3.43298e-005， -27.1543， 3.20314e-005， -0.0202298， 75.8988］

*旋轉(zhuǎn)點(diǎn)集的像素坐標(biāo)，例如如下

Prx：=［0，1，2，3，4，5，6］

Pry：=［0，1，2，3，4，5，6］

for Index ：= 0 to |Prx|-1 by 1

*通過矩陣轉(zhuǎn)換一個點(diǎn)到另一點(diǎn)的算子

affine_trans_point_2d （HomMat2D， Prx［Index］， Pry［Index］， Qx， Qy）

Qrx［Index］：=Qx

Qry［Index］：=Qy

Endfor

最核心的一個算子：affine_trans_point_2d，就是一個矩陣轉(zhuǎn)換點(diǎn)。

就是把一系列的像素點(diǎn)for循環(huán)轉(zhuǎn)換為物理坐標(biāo)點(diǎn)，用來擬合圓，

上面就算已經(jīng)得到我們的物理的擬合點(diǎn)Qrx， Qry

第二步，擬合圓：

*擬合圓

*先生成輪廓

gen_contour_polygon_xld （Contour， Qry， Qrx）

*輪廓擬合圓，算法要選擇‘geotukey’，自己看說明文檔

fit_circle_contour_xld （Contour， ‘geotukey’， -1， 0， 0， 3， 2， Row_C， Column_C， Radius_C， StartPhi， EndPhi， PointOrder）

擬合圓不細(xì)講，網(wǎng)上都有，得到我們的圓心（Column_C，Row_C）（注意這里X，Y坐標(biāo)和行、列坐標(biāo)區(qū)別），半徑：Radius_C

完了嗎？肯定沒有啊，我們要明白我們的初衷，求旋轉(zhuǎn)中心坐標(biāo)和圖像的像素坐標(biāo)的關(guān)系：HomMat2D_C1（模型C矩陣），現(xiàn)在還不是呢

第三步，計(jì)算偏差：

既然已經(jīng)知道旋轉(zhuǎn)中心坐標(biāo)，那我們就可以求出標(biāo)定中心和旋轉(zhuǎn)中心的偏差：

還記的上面的我們是在P1（x，y）做的定點(diǎn)旋轉(zhuǎn)，同時也是“初始角度”的標(biāo)定特征中心的坐標(biāo)

halocn計(jì)算偏差：

*定點(diǎn)P1

x：=1

y：=1

Dx_C：=Column_C-x

Dy_C：=Row_C-y

P1為拍照點(diǎn)，模板的中心點(diǎn)

這就是一個固定偏差值，代表是標(biāo)定點(diǎn)特征中心和旋轉(zhuǎn)中心的偏差；

同時一定要理解，這個偏差也是九點(diǎn)標(biāo)定的旋轉(zhuǎn)軸的角度的姿態(tài)計(jì)算得到；

如果我們旋轉(zhuǎn)軸的角度發(fā)生改變，這個偏差是會變的；

如果項(xiàng)目的補(bǔ)償每次都有偏差。你查查你的項(xiàng)目，遇到過這種情況嗎，補(bǔ)償不穩(wěn)定。（因?yàn)樾D(zhuǎn)中心標(biāo)定不準(zhǔn)導(dǎo)致的）

完成了嗎？可以說完成，也可以說沒有完成。

我們得到了Dx_C ， Dy_C，HomMat2D，已經(jīng)可以用了，你們可以去看看你們的項(xiàng)目，很多都這樣就是了，我開始也這樣保存到本地就完了，后來我才發(fā)現(xiàn)還有優(yōu)化的空間，讓我們的計(jì)算更加優(yōu)雅。

同時如果你們的定位項(xiàng)目中出現(xiàn)sin，cos等待三角函數(shù)時，那肯定可以優(yōu)化，因?yàn)闃?biāo)定都是坐標(biāo)點(diǎn)（x，y）的關(guān)系，點(diǎn)到點(diǎn)都可以通過矩陣實(shí)現(xiàn)，最主要是halcon已經(jīng)提供這些庫，學(xué)會用就行。

至于這樣怎么樣有優(yōu)化，為什么這樣優(yōu)化必須放在使用這些矩陣的一章來進(jìn)行分析了。

固定旋轉(zhuǎn)終于講完了，從簡單到復(fù)雜一步步來，搞清楚了嗎？沒搞過的，搞不清楚拿起筆畫一畫啊，打開halcon17.12，自己模擬一下特殊點(diǎn)驗(yàn)證一下啊，都是高中的一些平面幾何知識，你只需要把設(shè)備模型抽象出來，halcon數(shù)學(xué)的算子都有啊，話都說到這里了，如果不動手自己理解，到時只有項(xiàng)目實(shí)戰(zhàn)試試也行。

如果現(xiàn)在最簡單的旋轉(zhuǎn)你不理解一下，到時下面我們開始旋轉(zhuǎn)相機(jī)的時候，你會懵逼掉的。

如果搞清楚了，恭喜你，其實(shí)大家說的飛拍的項(xiàng)目的單相機(jī)補(bǔ)償，你可以搞起了；至于怎樣使用上面三個參數(shù)，我相信你通過我上面講的基本補(bǔ)償流程，試幾次應(yīng)該就能搞出來。因?yàn)轱w拍的項(xiàng)目基本都是這種模型。

4. 標(biāo)定模型D：相機(jī)移動（可旋轉(zhuǎn)）

這個模型如上圖，黃色部分旋轉(zhuǎn)U軸，上面固定相機(jī)，表示相機(jī)和我們的夾具一起旋轉(zhuǎn)，為啥會出現(xiàn)這種模式呢，就我個人的遇到的情況，就是因?yàn)橛蠸cara機(jī)器人安裝需求或者限制，導(dǎo)致必須要這樣安裝如下圖：

模型D和模型B就是相機(jī)可以旋轉(zhuǎn)，如果我們拍照的時候，保持旋轉(zhuǎn)軸的角度和標(biāo)定的一致，其實(shí)就相當(dāng)于相機(jī)在我們整個過程中是沒有旋轉(zhuǎn)的，等同于模型B；

同時我先要說明，如果這個九點(diǎn)標(biāo)定的角度和拍照時旋轉(zhuǎn)軸的角度不同，計(jì)算有哪些變化，我沒有是實(shí)現(xiàn)過，如果哪位大神實(shí)現(xiàn)過，給點(diǎn)提示；后面如果有時間，我也實(shí)際測試一下任意角度拍照的變換，到時更新給大家。

實(shí)際項(xiàng)目過程中，保持拍照的旋轉(zhuǎn)軸的角度和標(biāo)定的一致這個很容易實(shí)現(xiàn)，首先先選擇一個拍照的角度，然后再按照這個角度進(jìn)行九點(diǎn)標(biāo)定即可，后面就按照中模式就行講解。

1） 九點(diǎn)標(biāo)定

選擇一個拍照的姿態(tài)，確定旋轉(zhuǎn)軸的角度，然后就開始九點(diǎn)標(biāo)定，過程和模型B相同。

這里不詳解，得到矩陣：HomMat2D

2） 旋轉(zhuǎn)標(biāo)定

如果只是它當(dāng)做模型B來使用，不進(jìn)行旋轉(zhuǎn)標(biāo)定一樣可以使用；在模型B的部分講得比較簡單，這里做一些說明。

上相機(jī)到底來干什么的？

這里也回顧一下，我們上面講的模型C的相機(jī)也就是下相機(jī)的作用，它是來計(jì)算用于貼合或者裝配產(chǎn)品的抓取的偏差。

而上相機(jī)用來確定被貼或者被放置的產(chǎn)品的位置偏差，就是我們的貼合的目標(biāo)位置每次都是變動的，這也很好理解，就是當(dāng)前貼合設(shè)備在當(dāng)前產(chǎn)品貼合了，下一個產(chǎn)品進(jìn)來（皮帶軌道傳入或者機(jī)器手放入），這個產(chǎn)品的位置和上一次都有一些小的偏差，這樣就導(dǎo)致了貼合的目標(biāo)位置每次有變動，這是就需要我們的上相機(jī)先計(jì)算目標(biāo)的貼合位置。

如果是高精度的定位模具來放置目標(biāo)產(chǎn)品，這是不需要上相機(jī)來。

同時一定要理解的是：這里移動相機(jī)的九點(diǎn)標(biāo)定得到的結(jié)果是相機(jī)的物理坐標(biāo)與目標(biāo)位置的像素坐標(biāo)的關(guān)系，因?yàn)橄鄼C(jī)移動，目標(biāo)位置即貼合位置在相機(jī)下方不動的，通過圖像的像素坐標(biāo)計(jì)算。

但是我們最終要去貼合的時候，是夾具夾取貼合物品放到目標(biāo)位置，需要是夾具的位置與目標(biāo)位置的關(guān)系，但是通過模型B和模型D發(fā)現(xiàn)，我們的相機(jī)和夾具的位置關(guān)系是固定不變的，存在一個固定的機(jī)械偏差（Mx，My）。

這里說的夾具位置其實(shí)就是指旋轉(zhuǎn)中心，不要因?yàn)樯厦娴乃妮S機(jī)器人圖，以為我標(biāo)的夾具位置才是它的中心，一定注意這個夾具是不能旋轉(zhuǎn)的，應(yīng)該說沒有必要，我們四軸機(jī)器人的末尾都帶有一個旋轉(zhuǎn)軸，通過這個軸實(shí)現(xiàn)旋轉(zhuǎn)；模型B中的夾具可能自帶旋轉(zhuǎn)，但是本質(zhì)上兩種都一樣的，結(jié)論就是夾具的中心就是旋轉(zhuǎn)中心。

同時也到這里我們也整理出上下相機(jī)貼合的第一張核心補(bǔ)償關(guān)系圖：

這張圖已經(jīng)包含所有本文章的需要講解的上下相機(jī)定位貼合的標(biāo)定和補(bǔ)償?shù)恼麄€思路，非常有利于你理清你的整個思路。突然靈光一閃想到搞這樣一張圖，花了很多時間的整理這張圖。

說明一下本文章圖未做說明均為原創(chuàng)，可以免費(fèi)用于任何用途，請注明作者網(wǎng)名即可，需要圖片原稿進(jìn)行繼續(xù)創(chuàng)作或修改，可qq加群或直接聯(lián)系我，免費(fèi)。

上面這張圖，不說清除睡不著覺，

主要這張圖不是上下對稱的，上下相機(jī)的標(biāo)定關(guān)系完全不同，請細(xì)心看每一個字，整個文章就是按照上面圖來講解的。

A、上下相機(jī)的輸入不同，下相機(jī)：用于貼合的產(chǎn)品；上相機(jī)：目標(biāo)產(chǎn)品的位置

B、最后標(biāo)定中心的關(guān)系以不同：下相機(jī)：標(biāo)定特征中心，上相機(jī)：移動相機(jī)的物理位置

C、上下相機(jī)的標(biāo)定得到的轉(zhuǎn)換關(guān)系（就是我們標(biāo)定的轉(zhuǎn)換矩陣）不同：下相機(jī)：貼合物的像素坐標(biāo)與旋轉(zhuǎn)中心的關(guān)系；上相機(jī)：目標(biāo)貼合位置與旋轉(zhuǎn)中心的關(guān)系

D、上下相機(jī)關(guān)系紐帶：就是旋轉(zhuǎn)中心。

E、計(jì)算目的不同：下相機(jī)：求取的貼合物的偏差；上相機(jī)：求取的是目標(biāo)的絕對位置

F、同時也要注意上相機(jī)的如果沒有旋轉(zhuǎn)，沒有旋轉(zhuǎn)標(biāo)定，這里的其實(shí)就是上文提到的：因?yàn)橄鄼C(jī)和夾具的位置關(guān)系是固定不變的，存在一個固定的機(jī)械偏差（Mx，My），就是這個偏差值。

通過上面的圖，你可以站在一個整體或者更高的角度理解，為什么進(jìn)行標(biāo)定及其意義在哪里，同時上下相機(jī)補(bǔ)償?shù)臅r候你也可以按照這個圖中的思路去完成，讓你思路更清晰，難道不應(yīng)該點(diǎn)個贊，關(guān)注一下，點(diǎn)個喜歡啊??？？

模型B的上相機(jī)的與旋轉(zhuǎn)中心的固定偏差（Mx，My），在使用過程中，可以直接使用機(jī)械圖紙中的測量值，當(dāng)然安裝等等誤差不可能等于這個理論值，有微小偏差；但是在我們示教貼合第一個產(chǎn)品時，我們會手動示教出一個固定的偏差，這個示教的偏差已經(jīng)包含了上面的微小偏差，所以可以不用標(biāo)定這個偏差；

如果項(xiàng)目需要標(biāo)定這個偏差，做一個專用的標(biāo)定夾具在旋轉(zhuǎn)中心，標(biāo)定塊向下點(diǎn)一個點(diǎn)或者旋轉(zhuǎn)中心對位一個點(diǎn)，記錄下機(jī)械點(diǎn)，然后移動上相機(jī)讓這個點(diǎn)在圖像中心，這樣就計(jì)算出這個固定偏差（Mx，My），這里就不詳解。

對于本部分模型而言，因?yàn)橄鄼C(jī)可以旋轉(zhuǎn)，所以可以直接通過旋轉(zhuǎn)標(biāo)定進(jìn)行計(jì)算出固定偏差（Mx，My）。

如下：

在四軸機(jī)器人調(diào)整到定點(diǎn)P2（x，y）不變的位置進(jìn)行旋轉(zhuǎn)，選擇一個好的角度和位置，這樣選擇旋轉(zhuǎn)位置前面也講過，相機(jī)下方放置一個固定標(biāo)定特征，然后旋轉(zhuǎn)軸每次固定角度旋轉(zhuǎn)拍出，旋轉(zhuǎn)拍照。

計(jì)算過程如下：

記錄第一個點(diǎn)物理點(diǎn)P2（x，y），提取特征中心的像素為（Prx1，Pry1）

旋轉(zhuǎn)一個小角度，

記錄第二個點(diǎn)物理點(diǎn)P2（x，y），提取特征中心的像素為（Prx2，Pry2）

旋轉(zhuǎn)第N個點(diǎn)物理點(diǎn)P2（x，y），提取特征中心的像素為（PrxN，PryN）

現(xiàn)在已知的條件：定點(diǎn)物理點(diǎn)P2（x，y），一系列像素坐標(biāo)（PrxN，PryN），還是有我們前面九點(diǎn)標(biāo)定矩陣HomMat2D（不要忘了）。

這些過程都和模型C的旋轉(zhuǎn)一樣，只是這個模型的相機(jī)在移動。

求取的固定偏差（Mx，My）

Halcon計(jì)算如下：

第一步，擬合點(diǎn)計(jì)算：

*九點(diǎn)標(biāo)定的矩陣

HomMat2D：=［0.0202215， 3.43298e-005， -27.1543， 3.20314e-005， -0.0202298， 75.8988］

*旋轉(zhuǎn)點(diǎn)集的像素坐標(biāo)，例如如下

Prx：=［0，1，2，3，4，5，6］

Pry：=［0，1，2，3，4，5，6］

for Index ：= 0 to |Prx|-1 by 1

*通過矩陣轉(zhuǎn)換一個點(diǎn)到另一點(diǎn)的算子

affine_trans_point_2d （HomMat2D， Prx［Index］， Pry［Index］， Qx， Qy）

Qrx［Index］：=Qx

Qry［Index］：=Qy

Endfor

已經(jīng)得到我們的物理的擬合點(diǎn)Qrx， Qry

第二步，擬合圓：

*擬合圓

*先生成輪廓

gen_contour_polygon_xld （Contour， Qry， Qrx）

*輪廓擬合圓，算法要選擇‘geotukey’，自己看說明文檔

fit_circle_contour_xld （Contour， ‘geotukey’， -1， 0， 0， 3， 2， Row_D， Column_D， Radius_D， StartPhi， EndPhi， PointOrder）

擬合圓不細(xì)講，網(wǎng)上都有，得到我們的圓心（Column_D，Row_D）（注意這里X，Y坐標(biāo)和行、列坐標(biāo)區(qū)別），半徑：Radius_D

Radius_D就是相機(jī)到旋轉(zhuǎn)中心距離，拿直尺量一下對比一下，如果相差很離譜那肯定是計(jì)算哪里有問題，查找一下問題

同時這里也給大家說一下非常非常寶貴有用的項(xiàng)目經(jīng)驗(yàn)，我覺得下面兩句話就值得10金幣，會給大家節(jié)約很多驗(yàn)證標(biāo)定的正確的時間，怎樣去驗(yàn)證標(biāo)定的正確性（后面不再說明了）：

驗(yàn)證九點(diǎn)標(biāo)定是否正確：

計(jì)算九點(diǎn)標(biāo)定后，圖像中心的坐標(biāo)經(jīng)過矩陣轉(zhuǎn)換得到物理坐標(biāo)，運(yùn)動到這個點(diǎn)，計(jì)算圖像中的標(biāo)定物體的像素坐標(biāo)應(yīng)該是圖像中心的坐標(biāo)，先看看這個是否正確，然后在驗(yàn)證旋轉(zhuǎn)

驗(yàn)證旋轉(zhuǎn)標(biāo)定是否正確：

圖像中心的坐標(biāo)經(jīng)過矩陣轉(zhuǎn)換得到物理坐標(biāo)，然后加上計(jì)算的偏差，然后運(yùn)動到這個點(diǎn)：如果模型C：發(fā)現(xiàn)旋轉(zhuǎn)中心在圖像中心就是正確的；如果模型D：發(fā)現(xiàn)旋轉(zhuǎn)中心在標(biāo)定特征的正上方就是正確的。

第三步，計(jì)算偏差：

既然已經(jīng)知道旋轉(zhuǎn)中心坐標(biāo)，那我們就可以求出標(biāo)定中心和旋轉(zhuǎn)中心的偏差：

還記的上面的我們是在P2（x，y）做的定點(diǎn)旋轉(zhuǎn)

halocn計(jì)算偏差：

*定點(diǎn)P2

x：=1

y：=1

Mx：=Column_D-x

My：=Row_D-y

二、上下雙相機(jī)貼合模型

整個補(bǔ)償?shù)乃悸芳斑^程都在第一章的模型D中已經(jīng)講過，這里就不再進(jìn)行分析了。

整體思路：

上相機(jī)作用：確定貼合的產(chǎn)品的放置位置

下相機(jī)作用：確定抓取或者吸取料的偏差值

1. 貼合模型：模型B + 模型C

上圖是當(dāng)前貼合項(xiàng)目的主流的模型，了解這種模型整個補(bǔ)償過程，其他變種模型也基本雷同，上圖中的部件組成不進(jìn)行詳細(xì)講解，見上文即可。

工作流程，后面的講解也按照以下流程進(jìn)行，如下圖：

A、產(chǎn)品進(jìn)入當(dāng)前工位（軌道流入或者機(jī)器人抓入），如圖三個位置需要貼料

B、X.Y軸移動到剝料機(jī)位置，抓取料

C、運(yùn)動到下相機(jī)位置拍照，計(jì)算偏差

D、X.Y軸運(yùn)動到貼合位置，加上偏差進(jìn)行貼料

E、產(chǎn)品離開當(dāng)前工位，等待下一個產(chǎn)品

當(dāng)然有些設(shè)備，可以先取料下相機(jī)拍照計(jì)算好偏差，等待產(chǎn)品流入，在上相機(jī)拍照后直接貼合，更加實(shí)際需求設(shè)計(jì)流程。

2. 上相機(jī)計(jì)算貼合位置

產(chǎn)品到位，X、Y軸運(yùn)動到設(shè)置好的拍照點(diǎn)機(jī)械點(diǎn)M1（x，y），

上相機(jī)拍照，視覺匹配處理得到當(dāng)前產(chǎn)品像素坐標(biāo)C1（x，y，u），

回顧一下標(biāo)定模型B得到的九點(diǎn)標(biāo)定矩陣，這里定義矩陣為：HomMat2D_B，

同時上文還講到了模型B的上相機(jī)的與旋轉(zhuǎn)中心的固定偏差（Mx，My），

通過上面我們就可以計(jì)算貼合的位置：

第一步：

大家可能都知道，是求像素轉(zhuǎn)換的坐標(biāo)：

*九點(diǎn)標(biāo)定的矩陣

HomMat2D_B：=［0.0202215， 3.43298e-005， -27.1543， 3.20314e-005， -0.0202298， 75.8988］

*當(dāng)前產(chǎn)品像素坐標(biāo)C1（x，y，u），得轉(zhuǎn)換坐標(biāo)：QC1（x，y）

Xc1：=2.5

Yc1：=2.5

affine_trans_point_2d （HomMat2D_B， Xc1， Yc1， Qxc1， Qyc1）

第二步：

給大家說一個說一個比較隱藏概念：

相機(jī)的九點(diǎn)標(biāo)定都是有位置基準(zhǔn)的。

下相機(jī)九點(diǎn)因?yàn)橄孪鄼C(jī)固定不變，這個基本是不動的，同時下相機(jī)拍照時候都是料運(yùn)動到下相機(jī)的視野中，所以下相機(jī)九點(diǎn)標(biāo)定的矩陣直接用就行。

但是對于上相機(jī)來說，相機(jī)運(yùn)動的，拍照位置也是變動的，和九點(diǎn)標(biāo)定位置肯定不同，所以計(jì)算出來肯定存在偏差。下面解釋一下為什么會有基準(zhǔn)：

相機(jī)在位置1進(jìn)行拍照，假設(shè)在位置1紅圓點(diǎn)的正上方，這樣像素就是圖像中心（Width/2，Height/2，）；

相機(jī)運(yùn)動到位置2，假設(shè)也是在位置2紅圓點(diǎn)的正上方，這樣像素也是（Width/2，Height/2）;

上面兩次像素都進(jìn)過第一步計(jì)算，因?yàn)樽儞Q矩陣都是HomMat2D_B，所以計(jì)算出來的物理坐標(biāo)肯定一樣的，但是實(shí)際上拍照時兩個位置拍照的，所以物理坐標(biāo)應(yīng)該是不一樣的。

所以這里需要找到九點(diǎn)標(biāo)定的基準(zhǔn)位置，九點(diǎn)標(biāo)定九個位置，哪個位置是基準(zhǔn)？

就是最特殊點(diǎn)，那就是像素坐標(biāo)的（0，0）點(diǎn)，同時要記住像素中的特殊點(diǎn)都是有物理意義的：

所以第二步的計(jì)算過程：

*標(biāo)定的基準(zhǔn)點(diǎn)（0，0），得轉(zhuǎn)換坐標(biāo)：Base（x，y）

affine_trans_point_2d （HomMat2D_B， 0， 0， Xbase， Ybase）

第三步

計(jì)算當(dāng)前點(diǎn)Qup（x，y）：

Qxup=Xm1-Xbase-Qxc1-Mx

Qyup=Ym1-Ybase-Qyc1-My

（當(dāng)前貼合坐標(biāo)=當(dāng)前X、Y軸物理坐標(biāo)-標(biāo)定基準(zhǔn)坐標(biāo)-當(dāng)前計(jì)算像素坐標(biāo)-相機(jī)與旋轉(zhuǎn)中心偏差）

上面要減去第一步計(jì)算的坐標(biāo)QC1（x，y）坐標(biāo)，就是相機(jī)移動，相對于下面的固定拍照的產(chǎn)品說在圖像中是向反方向移動。同時最可怕的一點(diǎn)如果不知道移動相機(jī)計(jì)算出來的坐標(biāo)用減，那永遠(yuǎn)試不出來正確的補(bǔ)償，說多了都是淚。。

這里其實(shí)你已經(jīng)可以做一些點(diǎn)膠機(jī)等類似模型項(xiàng)目了，實(shí)話說吧，上面就是核心的代碼，我想你在其他地方找不到吧，點(diǎn)個贊啊。說句心里話，我好像有點(diǎn)違規(guī)

編輯：jq