运行环境:
Win10系统,64位,Anaconda3
python 3.7.4(基于anaconda环境)
opencv 3.4.6
Visual Studio 2017
硬件:DS-2CD3T86FWDV2-I5S
相机SDK:CH-HCNetSDKV6.1.6.45_build20210302_win64
一、前言
首先,海康网络相机的读取和工业相机不是同一个SDK包,工业相机的SDK包去海康机器人下载,网络相机的SDK包去海康威视下载。工业相机控制软件MVS目录下有python SDK包使用示例,非常方便,但是网络相机的SDK就只给了C++之类的了(吐槽)。
python调用海康威视视频画面主要有两种方式,一种是使用rtsp流,看网上资料说rtsp取流会比较延迟卡顿,如果对实时性要求较高(与网页预览效果相当),可以采用在python中调用HikVision的SDK读取IP相机的方式试验,帧率和网页预览效果相当。
import cv2url = "rtsp://[username]:[password]@[ip]/Streaming/Channels/2"
# 示例 "rtsp://admin:12345@192.168.1.64/Streaming/Channels/2"
# rtsp默认端口为554,可缺省,若更改过需要将[ip]部分加上端口号,例如192.168.1.64:554
cap = cv2.VideoCapture(url)
ret, frame = cap.read()
while ret:ret, frame = cap.read()cv2.imshow("frame", frame)if cv2.waitKey(1) & 0xFF == ord('q'):break
cv2.destroyAllWindows()
cap.release()
但我自己将网页预览效果、rtsp取流效果和SDK调取视频流三种方式同时进行,观察视频画面延时情况却发现网页预览效果最快,延迟约2秒,rtsp比网页约慢1秒不到,但竟然比SDK调取要快一点点点点???(gif图帧率有限)可能是我的打开姿势不太对,但暂时不打算深究优化了,使用rtsp只能取流而已,但是用SDK可以根据手册进行各种二次开发,因此使用SDK还是必要的。如果只是需要视频流做视觉项目的试验的话,rtsp足矣。
本文整理了网上仅有的几位大佬的资料,结合了自身踩坑经验,将python调用海康SDK进行相机取流的流程重新整理了一份,有错漏可以评论区留言一下。
二、准备工作
1.海康SDK下载
下载地址:https://open.hikvision.com/download
选硬件产品,选择自己对应的系统平台版本,我这边选的是设备网络SDK_Win64 (CH-HCNetSDKV6.1.6.45_build20210302_win64.zip文件) ; 解压后得到 CH-HCNetSDKV6.1.6.45_build20210302_win64 文件夹;
该文件夹下主要是头文件和库文件,很扯的是文件夹竟然用中文命名的,所以要把文件夹名字分别改为include和lib。(我习惯如此命名)
2.安装OpenCV
我自己用的是github上的opencv3.4.6版本,扩展包l另搜opencv_contrib,用cmake编译即可,教程自己找。
3.安装Swig
Swig全称为Simplified Wrapper and Interface Generator,简化包装器和接口生成器,作用就是向脚本语言(tcl,perl,python等)提供了C和C++的接口,简而言之就是用来封装库的。
下载链接:http://www.swig.org/download.html
将解压后的文件夹路径添加到系统环境变量PATH中。
4.下载boost库
下载地址:https://www.boost.org/users/download/
待会儿需要将其解压到工程目录下即可,后续会贴图说明。
5.下载OpenCV-swig接口文件
下载地址:https://github.com/renatoGarcia/opencv-swig
后续需要将lib目录下的opencv文件夹和opencv.i接口文件复制到工程目录下。
三、操作步骤
1.使用swig编译生成python和C++数据交换需要的.py和.cxx文件
创建三个文件,分别为HKIPcamera.h,HKIPcamera.cpp和HKIPcamera.i,内容分别为:
HKIPcamera.h
#include <opencv2/opencv.hpp>
using namespace cv;void init(char* ip, char* usr, char* password);
Mat getframe();
void release();
HKIPcamera.cpp
#include <opencv\cv.h>
#include <opencv\highgui.h>
#include <opencv2\opencv.hpp>
#include <iostream>
#include <time.h>
#include <cstdio>
#include <cstring>
#include <iostream>
#include <windows.h>
#include "HCNetSDK.h"
#include "plaympeg4.h"#define USECOLOR 1using namespace cv;
using namespace std;//--------------------------------------------
int iPicNum = 0;//Set channel NO.
LONG nPort = -1;
HWND hWnd = NULL;
CRITICAL_SECTION g_cs_frameList;
list<Mat> g_frameList;
LONG lUserID;
NET_DVR_DEVICEINFO_V30 struDeviceInfo;
HANDLE hThread;
LONG lRealPlayHandle = -1;void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{int col, row;unsigned int Y, U, V;int tmp;int idx;for (row = 0; row < height; row++){idx = row * widthStep;int rowptr = row * width;for (col = 0; col < width; col++){tmp = (row / 2)*(width / 2) + (col / 2);Y = (unsigned int)inYv12[row*width + col];U = (unsigned int)inYv12[width*height + width * height / 4 + tmp];V = (unsigned int)inYv12[width*height + tmp];outYuv[idx + col * 3] = Y;outYuv[idx + col * 3 + 1] = U;outYuv[idx + col * 3 + 2] = V;}}
}//解码回调 视频为YUV数据(YV12),音频为PCM数据
void CALLBACK DecCBFun(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{long lFrameType = pFrameInfo->nType;if (lFrameType == T_YV12){
#if USECOLOR//int start = clock();static IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量 yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);//int end = clock();
#elsestatic IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endifEnterCriticalSection(&g_cs_frameList);//g_frameList.push_back(pImg);g_frameList.push_back(cv::cvarrToMat(pImg));LeaveCriticalSection(&g_cs_frameList);
}///实时流回调
void CALLBACK fRealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{DWORD dRet;switch (dwDataType){case NET_DVR_SYSHEAD: //系统头if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号{break;}if (dwBufSize > 0){if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)){dRet = PlayM4_GetLastError(nPort);break;}//设置解码回调函数 只解码不显示if (!PlayM4_SetDecCallBack(nPort, DecCBFun)){dRet = PlayM4_GetLastError(nPort);break;}//打开视频解码if (!PlayM4_Play(nPort, hWnd)){dRet = PlayM4_GetLastError(nPort);break;}}break;case NET_DVR_STREAMDATA: //码流数据if (dwBufSize > 0 && nPort != -1){BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);while (!inData){Sleep(10);inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);OutputDebugString(L"PlayM4_InputData failed \n");}}break;}
}void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{char tempbuf[256] = { 0 };switch (dwType){case EXCEPTION_RECONNECT: //预览时重连printf("----------reconnect--------%d\n", time(NULL));break;default:break;}
}bool OpenCamera(char* ip, char* usr, char* password)
{lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);if (lUserID == 0){cout << "Log in success!" << endl;return TRUE;}else{printf("Login error, %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return FALSE;}
}
DWORD WINAPI ReadCamera(LPVOID IpParameter)
{//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);//cvNamedWindow("Mywindow", 0);//cvNamedWindow("IPCamera", 0);//HWND h = (HWND)cvGetWindowHandle("Mywindow");//h = cvNamedWindow("IPCamera");//---------------------------------------//启动预览并设置回调数据流 NET_DVR_CLIENTINFO ClientInfo;ClientInfo.lChannel = 1; //Channel number 设备通道号ClientInfo.hPlayWnd = NULL; //窗口为空,设备SDK不解码只取流ClientInfo.lLinkMode = 1; //Main StreamClientInfo.sMultiCastIP = NULL;LONG lRealPlayHandle;lRealPlayHandle = NET_DVR_RealPlay_V30(lUserID, &ClientInfo, fRealDataCallBack, NULL, TRUE);if (lRealPlayHandle < 0){printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n", NET_DVR_GetLastError());return -1;}elsecout << "码流回调成功!" << endl;Sleep(-1);if (!NET_DVR_StopRealPlay(lRealPlayHandle)){printf("NET_DVR_StopRealPlay error! Error number: %d\n", NET_DVR_GetLastError());return 0;}NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return 0;
}void init(char* ip, char* usr, char* password) {//HANDLE hThread;//LPDWORD threadID;//---------------------------------------// 初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);OpenCamera(ip, usr, password);InitializeCriticalSection(&g_cs_frameList);hThread = ::CreateThread(NULL, 0, ReadCamera, NULL, 0, 0);
}Mat getframe() {Mat frame1;EnterCriticalSection(&g_cs_frameList);while (!g_frameList.size()) {LeaveCriticalSection(&g_cs_frameList);EnterCriticalSection(&g_cs_frameList);}list<Mat>::iterator it;it = g_frameList.end();it--;Mat dbgframe = (*(it));(*g_frameList.begin()).copyTo(frame1);frame1 = dbgframe;g_frameList.pop_front();//imshow("camera", frame1);//waitKey(1);g_frameList.clear(); // 丢掉旧的帧LeaveCriticalSection(&g_cs_frameList);return(frame1);
}void release() {::CloseHandle(hThread);NET_DVR_StopRealPlay(lRealPlayHandle);//关闭预览NET_DVR_Logout(lUserID);//注销用户NET_DVR_Cleanup();
}
HKIPcamera.i
/* Example of wrapping a C function that takes a C double array as input using* numpy typemaps for SWIG. */
%module HKIPcamera
%include <opencv/mat.i>
%cv_mat__instantiate_defaults
%header %{/* Includes the header in the wrapper code */#include "HKIPcamera.h"
%}%include "HKIPcamera.h"
新建一个文件夹,命名为 HicVision_python_SDK(可任意命名),将上述3个文件与上面提及的opencv-swig-master\lib下的opencv文件夹和opencv.i 这两个文件复制到 HicVision_python_SDK文件夹下,然后将解压的boost_1_76_0文件夹也一并拷贝到这个目录下。
打开cmd,进入到刚才创建的HicVision_python_SDK文件夹下,将D:\Tools\opencv\build\include替换为你的OpenCV的include路径(用exe安装的和cmake来build出来的路径好像稍微有点区别),使用如下命令会生成蓝色箭头所指的HKIPcamera_wrap.cxx和 HKIPcamera.py两个文件 (下文用到);
E:\HicVision_python_SDK>swig -ID:\Tools\opencv\build\include -python -c++ HKIPcamera.i
2.修改海康SDK下的plaympeg4.h文件
该文件在CH-HCNetSDKV6.1.6.45_build20210302_win64\include目录下:
用NotePad++打开(别的也行),在下述语句的"C"和__之间需要增加空格,否则会导致编译报错(不要把中文注释复制进去,自己在文件里改就好)。即:
#if defined( _WINDLL)//原本为#define PLAYM4_API extern "C"__declspec(dllexport) #define PLAYM4_API extern "C" __declspec(dllexport)
#else //原本为#define PLAYM4_API extern "C"__declspec(dllexport) #define PLAYM4_API extern "C" __declspec(dllimport)
#endif
3.使用VS2017编译生成动态链接库dll文件
文件->新建项目->Windows桌面向导,新建项目名称HKIPcamera。(建议一致)
应用程序类型选动态链接库(.dll),勾选空项目。
在属性管理器,Release|x64右键,属性,C/C++,常规,SDL检查改为否。
其中,VC++目录添加如下路径:(请根据实际安装位置补全其全路径名称,我这边省去了安装路径名了~)
包含目录:
Anaconda3\include
Anaconda3\Lib\site-packages\numpy\core\include
HicVision_python_SDK\boost_1_76_0
CH-HCNetSDKV6.1.6.45_build20210302_win64\include
库目录:
Anaconda3\libs
HicVision_python_SDK\boost_1_76_0\libs
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib\HCNetSDKCom
…………………………………………分割线……………………………………
补充说明:
如果没安装并配置过opencv,请自己找教程将opencv的包含目录、库目录和附加依赖项添加好,例如:
包含目录:
库目录:
附加依赖项:(如果你是exe安装,可能只有release用的opencv_world346.lib,和debug用的opencv_world346d.lib)
…………………………………………分割线……………………………………
预处理器:
WIN32
NDEBUG
_CONSULE
_CRT_SECURE_NO_WARNINGS
且在通用属性->常规->字符集中选择使用多字节字符集(这个依据实际错误情况来修改,我是遇到这方面的问题,此处仅做补充)
C/C++,代码生成,运行库选的是多线程DLL(/MD)
完成以上步骤后,右键工程项目名选择生成,之后会在工程x64文件夹下的Release文件夹下生成.dll和.lib文件如下(红色):
复制一份 HKIPcamera.dll 文件并重命名为 _HKIPcamera.pyd 到该目录下,并将海康SDK中的 HCNetSDKCom 文件夹拷贝过来==(这个步骤很重要!!!!)==,以及将上文中用swig生成的 HKIPcamera.py 也复制过来(如上图蓝色)
最后编写了个test.py也放在上图目录下,其内容如下(主要用来检测是否编译成功了):
import HKIPcamera
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2ip = str('10.167.93.111') # 摄像头IP地址,要和本机IP在同一局域网
name = str('admin') # 管理员用户名
pw = str('abcd1234') # 管理员密码
HKIPcamera.init(ip, name, pw)
# HKIPcamera.getfram()
#for i in range(100):
while(True):t = time.time()fram = HKIPcamera.getframe()t2 = time.time()cv2.imshow('123', np.array(fram))cv2.waitKey(1)print(t2-t)time.sleep(0.1)
HKIPcamera.release()
time.sleep(5)
HKIPcamera.init(ip, name, pw)
网上资料都是到这里就告诉你可以用了,但此时你可能会惊奇地发现根本用不了,可能会import _HKIPcamera失败,告诉你找不到dll。
此时你需要将CH-HCNetSDKV6.1.6.45_build20210302_win64\lib下的18个dll文件全部放到python工程的根目录下,也就是和之前的_HKIPcamera.pyd 等文件放在同一个目录下。
然后就可以成功加载dll运行了,至此,python调用海康SDK控制相机的操作流程结束。
四、踩坑经历
为什么这个lib目录已经添加到了环境变量也还是找不到这些dll,我看网上资料说python会优先加载Scripts下的dll,然后是环境变量和项目根目录下的dll,我也使用sys.path.append()将上图lib文件夹添加到环境变量中也依旧报错找不到dll,最后也没整明白为什么不行。
在将18个dll放进根目录之前,我首先用VS2017创建一个新的控制台项目,按编译dll时的项目属性,将包含目录、库目录等设置好,将HKIPcamera.h和hkipcamera.cpp添加进来,再创建一个main.cpp,main.cpp内容如下:(使用时将ip,用户名,密码改为自己相机的)
#include <stdio.h>
#include <iostream>
#include "Windows.h"
#include "HCNetSDK.h"
#include <time.h>
using namespace std;void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser);void main() {//---------------------------------------// 初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);//---------------------------------------// 注册设备LONG lUserID;//登录参数,包括设备地址、登录用户、密码等NET_DVR_USER_LOGIN_INFO struLoginInfo = { 0 };struLoginInfo.bUseAsynLogin = 0; //同步登录方式strcpy(struLoginInfo.sDeviceAddress, "192.168.1.64"); //设备IP地址struLoginInfo.wPort = 8000; //设备服务端口strcpy(struLoginInfo.sUserName, "admin"); //设备登录用户名strcpy(struLoginInfo.sPassword, "12345"); //设备登录密码//设备信息, 输出参数NET_DVR_DEVICEINFO_V40 struDeviceInfoV40 = { 0 };lUserID = NET_DVR_Login_V40(&struLoginInfo, &struDeviceInfoV40);if (lUserID < 0){printf("Login failed, error code: %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return;}//---------------------------------------//启动预览并设置回调数据流LONG lRealPlayHandle;NET_DVR_PREVIEWINFO struPlayInfo = { 0 };struPlayInfo.lChannel = 1; //预览通道号struPlayInfo.dwStreamType = 0; //0-主码流,1-子码流,2-码流3,3-码流4,以此类推struPlayInfo.dwLinkMode = 0; //0- TCP方式,1- UDP方式,2- 多播方式,3- RTP方式,4-RTP/RTSP,5-RSTP/HTTPstruPlayInfo.bBlocked = 1; //0- 非阻塞取流,1- 阻塞取流lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);if (lRealPlayHandle < 0){printf("NET_DVR_RealPlay_V40 error\n");NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return;}Sleep(10000);//---------------------------------------//关闭预览NET_DVR_StopRealPlay(lRealPlayHandle);//注销用户NET_DVR_Logout(lUserID);//释放SDK资源NET_DVR_Cleanup();return;
}
运行后会报错Login error,29,如果你打开HKIPcamera.cpp,结合海康SDK里的设备网络SDK使用手册.chm,查询NET_DVR_GetLastError返回的错误号29是提示操作设备失败。
bool OpenCamera(char* ip, char* usr, char* password)
{lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);if (lUserID == 0){cout << "Log in success!" << endl;return TRUE;}else{printf("Login error, %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return FALSE;}
}
此时从开始配置这个SDK调用环境已经三天过去了,从环境变量到文件名反复核对校验都没法解决这个代号29的操作失败问题。海康的客服打电话让我从官网沟通技术专家,然而排队一下午都没个人工接待,最后一心烦就把SDK所有dll文件放在一起,发现就可以用了……
最后感谢一下以下文章作者分享经验!
https://www.ryannn.com/archives/hikvision
https://blog.csdn.net/c20081052/article/details/95082377
https://blog.csdn.net/GottaYiWanLiu/article/details/106187962