运行环境：

Win10系统，64位，Anaconda3
python 3.7.4(基于anaconda环境)
opencv 3.4.6
Visual Studio 2017
硬件：DS-2CD3T86FWDV2-I5S
相机SDK：CH-HCNetSDKV6.1.6.45_build20210302_win64

一、前言

首先，海康网络相机的读取和工业相机不是同一个SDK包，工业相机的SDK包去海康机器人下载，网络相机的SDK包去海康威视下载。工业相机控制软件MVS目录下有python SDK包使用示例，非常方便，但是网络相机的SDK就只给了C++之类的了（吐槽）。
海康工业相机python SDK示例
python调用海康威视视频画面主要有两种方式，一种是使用rtsp流，看网上资料说rtsp取流会比较延迟卡顿，如果对实时性要求较高（与网页预览效果相当），可以采用在python中调用HikVision的SDK读取IP相机的方式试验，帧率和网页预览效果相当。

import cv2url = "rtsp://[username]:[password]@[ip]/Streaming/Channels/2"
# 示例 "rtsp://admin:12345@192.168.1.64/Streaming/Channels/2"
# rtsp默认端口为554，可缺省，若更改过需要将[ip]部分加上端口号，例如192.168.1.64:554
cap = cv2.VideoCapture(url)
ret, frame = cap.read()
while ret:ret, frame = cap.read()cv2.imshow("frame", frame)if cv2.waitKey(1) & 0xFF == ord('q'):break
cv2.destroyAllWindows()
cap.release()

但我自己将网页预览效果、rtsp取流效果和SDK调取视频流三种方式同时进行，观察视频画面延时情况却发现网页预览效果最快，延迟约2秒，rtsp比网页约慢1秒不到，但竟然比SDK调取要快一点点点点？？？（gif图帧率有限）可能是我的打开姿势不太对，但暂时不打算深究优化了，使用rtsp只能取流而已，但是用SDK可以根据手册进行各种二次开发，因此使用SDK还是必要的。如果只是需要视频流做视觉项目的试验的话，rtsp足矣。
网页预览效果、rtsp取流、SDK取流效果对比
本文整理了网上仅有的几位大佬的资料，结合了自身踩坑经验，将python调用海康SDK进行相机取流的流程重新整理了一份，有错漏可以评论区留言一下。

二、准备工作

1.海康SDK下载

下载地址：https://open.hikvision.com/download

选硬件产品，选择自己对应的系统平台版本，我这边选的是设备网络SDK_Win64 （CH-HCNetSDKV6.1.6.45_build20210302_win64.zip文件）；解压后得到 CH-HCNetSDKV6.1.6.45_build20210302_win64 文件夹；

该文件夹下主要是头文件和库文件，很扯的是文件夹竟然用中文命名的，所以要把文件夹名字分别改为include和lib。（我习惯如此命名）

2.安装OpenCV

我自己用的是github上的opencv3.4.6版本，扩展包l另搜opencv_contrib，用cmake编译即可，教程自己找。

3.安装Swig

Swig全称为Simplified Wrapper and Interface Generator，简化包装器和接口生成器，作用就是向脚本语言(tcl，perl，python等)提供了C和C++的接口，简而言之就是用来封装库的。
下载链接：http://www.swig.org/download.html
环境变量配置
将解压后的文件夹路径添加到系统环境变量PATH中。

4.下载boost库

下载地址：https://www.boost.org/users/download/
待会儿需要将其解压到工程目录下即可，后续会贴图说明。

5.下载OpenCV-swig接口文件

下载地址：https://github.com/renatoGarcia/opencv-swig
后续需要将lib目录下的opencv文件夹和opencv.i接口文件复制到工程目录下。

三、操作步骤

1.使用swig编译生成python和C++数据交换需要的.py和.cxx文件

创建三个文件，分别为HKIPcamera.h，HKIPcamera.cpp和HKIPcamera.i，内容分别为：
HKIPcamera.h

#include <opencv2/opencv.hpp>
using namespace cv;void init(char* ip, char* usr, char* password);
Mat getframe();
void release();

HKIPcamera.cpp

#include <opencv\cv.h>
#include <opencv\highgui.h>
#include <opencv2\opencv.hpp>
#include <iostream>
#include <time.h>
#include <cstdio>
#include <cstring>
#include <iostream>
#include <windows.h>
#include "HCNetSDK.h"
#include "plaympeg4.h"#define USECOLOR 1using namespace cv;
using namespace std;//--------------------------------------------
int iPicNum = 0;//Set channel NO.
LONG nPort = -1;
HWND hWnd = NULL;
CRITICAL_SECTION g_cs_frameList;
list<Mat> g_frameList;
LONG lUserID;
NET_DVR_DEVICEINFO_V30 struDeviceInfo;
HANDLE hThread;
LONG lRealPlayHandle = -1;void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{int col, row;unsigned int Y, U, V;int tmp;int idx;for (row = 0; row < height; row++){idx = row * widthStep;int rowptr = row * width;for (col = 0; col < width; col++){tmp = (row / 2)*(width / 2) + (col / 2);Y = (unsigned int)inYv12[row*width + col];U = (unsigned int)inYv12[width*height + width * height / 4 + tmp];V = (unsigned int)inYv12[width*height + tmp];outYuv[idx + col * 3] = Y;outYuv[idx + col * 3 + 1] = U;outYuv[idx + col * 3 + 2] = V;}}
}//解码回调 视频为YUV数据(YV12)，音频为PCM数据
void CALLBACK DecCBFun(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{long lFrameType = pFrameInfo->nType;if (lFrameType == T_YV12){
#if USECOLOR//int start = clock();static IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到图像的Y分量  yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB图像static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);//int end = clock();
#elsestatic IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endifEnterCriticalSection(&g_cs_frameList);//g_frameList.push_back(pImg);g_frameList.push_back(cv::cvarrToMat(pImg));LeaveCriticalSection(&g_cs_frameList);
}///实时流回调
void CALLBACK fRealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{DWORD dRet;switch (dwDataType){case NET_DVR_SYSHEAD:    //系统头if (!PlayM4_GetPort(&nPort)) //获取播放库未使用的通道号{break;}if (dwBufSize > 0){if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)){dRet = PlayM4_GetLastError(nPort);break;}//设置解码回调函数 只解码不显示if (!PlayM4_SetDecCallBack(nPort, DecCBFun)){dRet = PlayM4_GetLastError(nPort);break;}//打开视频解码if (!PlayM4_Play(nPort, hWnd)){dRet = PlayM4_GetLastError(nPort);break;}}break;case NET_DVR_STREAMDATA:   //码流数据if (dwBufSize > 0 && nPort != -1){BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);while (!inData){Sleep(10);inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);OutputDebugString(L"PlayM4_InputData failed \n");}}break;}
}void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{char tempbuf[256] = { 0 };switch (dwType){case EXCEPTION_RECONNECT:    //预览时重连printf("----------reconnect--------%d\n", time(NULL));break;default:break;}
}bool OpenCamera(char* ip, char* usr, char* password)
{lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);if (lUserID == 0){cout << "Log in success!" << endl;return TRUE;}else{printf("Login error, %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return FALSE;}
}
DWORD WINAPI ReadCamera(LPVOID IpParameter)
{//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);//cvNamedWindow("Mywindow", 0);//cvNamedWindow("IPCamera", 0);//HWND  h = (HWND)cvGetWindowHandle("Mywindow");//h = cvNamedWindow("IPCamera");//---------------------------------------//启动预览并设置回调数据流 NET_DVR_CLIENTINFO ClientInfo;ClientInfo.lChannel = 1;        //Channel number 设备通道号ClientInfo.hPlayWnd = NULL;     //窗口为空，设备SDK不解码只取流ClientInfo.lLinkMode = 1;       //Main StreamClientInfo.sMultiCastIP = NULL;LONG lRealPlayHandle;lRealPlayHandle = NET_DVR_RealPlay_V30(lUserID, &ClientInfo, fRealDataCallBack, NULL, TRUE);if (lRealPlayHandle < 0){printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n", NET_DVR_GetLastError());return -1;}elsecout << "码流回调成功！" << endl;Sleep(-1);if (!NET_DVR_StopRealPlay(lRealPlayHandle)){printf("NET_DVR_StopRealPlay error! Error number: %d\n", NET_DVR_GetLastError());return 0;}NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return 0;
}void init(char* ip, char* usr, char* password) {//HANDLE hThread;//LPDWORD threadID;//---------------------------------------// 初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);OpenCamera(ip, usr, password);InitializeCriticalSection(&g_cs_frameList);hThread = ::CreateThread(NULL, 0, ReadCamera, NULL, 0, 0);
}Mat getframe() {Mat frame1;EnterCriticalSection(&g_cs_frameList);while (!g_frameList.size()) {LeaveCriticalSection(&g_cs_frameList);EnterCriticalSection(&g_cs_frameList);}list<Mat>::iterator it;it = g_frameList.end();it--;Mat dbgframe = (*(it));(*g_frameList.begin()).copyTo(frame1);frame1 = dbgframe;g_frameList.pop_front();//imshow("camera", frame1);//waitKey(1);g_frameList.clear();   // 丢掉旧的帧LeaveCriticalSection(&g_cs_frameList);return(frame1);
}void release() {::CloseHandle(hThread);NET_DVR_StopRealPlay(lRealPlayHandle);//关闭预览NET_DVR_Logout(lUserID);//注销用户NET_DVR_Cleanup();
}

HKIPcamera.i

/*  Example of wrapping a C function that takes a C double array as input using*  numpy typemaps for SWIG. */
%module HKIPcamera
%include <opencv/mat.i>
%cv_mat__instantiate_defaults
%header %{/*  Includes the header in the wrapper code */#include "HKIPcamera.h"
%}%include "HKIPcamera.h"

新建一个文件夹，命名为 HicVision_python_SDK（可任意命名），将上述3个文件与上面提及的opencv-swig-master\lib下的opencv文件夹和opencv.i 这两个文件复制到 HicVision_python_SDK文件夹下，然后将解压的boost_1_76_0文件夹也一并拷贝到这个目录下。
在这里插入图片描述
打开cmd，进入到刚才创建的HicVision_python_SDK文件夹下，将D:\Tools\opencv\build\include替换为你的OpenCV的include路径（用exe安装的和cmake来build出来的路径好像稍微有点区别），使用如下命令会生成蓝色箭头所指的HKIPcamera_wrap.cxx和 HKIPcamera.py两个文件（下文用到）；

E:\HicVision_python_SDK>swig -ID:\Tools\opencv\build\include -python -c++ HKIPcamera.i

2.修改海康SDK下的plaympeg4.h文件

该文件在CH-HCNetSDKV6.1.6.45_build20210302_win64\include目录下：
在这里插入图片描述
用NotePad++打开（别的也行），在下述语句的"C"和__之间需要增加空格，否则会导致编译报错（不要把中文注释复制进去，自己在文件里改就好）。即：

#if defined( _WINDLL)//原本为#define PLAYM4_API  extern "C"__declspec(dllexport) #define PLAYM4_API  extern "C" __declspec(dllexport) 
#else //原本为#define PLAYM4_API  extern "C"__declspec(dllexport) #define PLAYM4_API  extern "C" __declspec(dllimport) 
#endif

3.使用VS2017编译生成动态链接库dll文件

文件->新建项目->Windows桌面向导，新建项目名称HKIPcamera。（建议一致）
在这里插入图片描述
应用程序类型选动态链接库(.dll)，勾选空项目。

在属性管理器，Release|x64右键，属性，C/C++，常规，SDL检查改为否。

其中，VC++目录添加如下路径：（请根据实际安装位置补全其全路径名称，我这边省去了安装路径名了~）
包含目录：

Anaconda3\include
Anaconda3\Lib\site-packages\numpy\core\include
HicVision_python_SDK\boost_1_76_0
CH-HCNetSDKV6.1.6.45_build20210302_win64\include

库目录：

Anaconda3\libs
HicVision_python_SDK\boost_1_76_0\libs
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib
CH-HCNetSDKV6.1.6.45_build20210302_win64\lib\HCNetSDKCom

…………………………………………分割线……………………………………
补充说明：

如果没安装并配置过opencv，请自己找教程将opencv的包含目录、库目录和附加依赖项添加好，例如：
包含目录：
在这里插入图片描述
库目录：

附加依赖项：（如果你是exe安装，可能只有release用的opencv_world346.lib，和debug用的opencv_world346d.lib）

…………………………………………分割线……………………………………
预处理器：

WIN32
NDEBUG
_CONSULE
_CRT_SECURE_NO_WARNINGS

且在通用属性->常规->字符集中选择使用多字节字符集（这个依据实际错误情况来修改，我是遇到这方面的问题，此处仅做补充）

C/C++，代码生成，运行库选的是多线程DLL（/MD）

完成以上步骤后，右键工程项目名选择生成，之后会在工程x64文件夹下的Release文件夹下生成.dll和.lib文件如下（红色）：
在这里插入图片描述
复制一份 HKIPcamera.dll 文件并重命名为 _HKIPcamera.pyd 到该目录下，并将海康SDK中的 HCNetSDKCom 文件夹拷贝过来==（这个步骤很重要！！！！）==，以及将上文中用swig生成的 HKIPcamera.py 也复制过来（如上图蓝色）

最后编写了个test.py也放在上图目录下，其内容如下（主要用来检测是否编译成功了）：

import HKIPcamera
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2ip = str('10.167.93.111')  # 摄像头IP地址，要和本机IP在同一局域网
name = str('admin')       # 管理员用户名
pw = str('abcd1234')        # 管理员密码
HKIPcamera.init(ip, name, pw)
# HKIPcamera.getfram()
#for i in range(100):
while(True):t = time.time()fram = HKIPcamera.getframe()t2 = time.time()cv2.imshow('123', np.array(fram))cv2.waitKey(1)print(t2-t)time.sleep(0.1)
HKIPcamera.release()
time.sleep(5)
HKIPcamera.init(ip, name, pw)

网上资料都是到这里就告诉你可以用了，但此时你可能会惊奇地发现根本用不了，可能会import _HKIPcamera失败，告诉你找不到dll。
在这里插入图片描述
此时你需要将CH-HCNetSDKV6.1.6.45_build20210302_win64\lib下的18个dll文件全部放到python工程的根目录下，也就是和之前的_HKIPcamera.pyd 等文件放在同一个目录下。

然后就可以成功加载dll运行了，至此，python调用海康SDK控制相机的操作流程结束。

四、踩坑经历

为什么这个lib目录已经添加到了环境变量也还是找不到这些dll，我看网上资料说python会优先加载Scripts下的dll，然后是环境变量和项目根目录下的dll，我也使用sys.path.append()将上图lib文件夹添加到环境变量中也依旧报错找不到dll，最后也没整明白为什么不行。

在将18个dll放进根目录之前，我首先用VS2017创建一个新的控制台项目，按编译dll时的项目属性，将包含目录、库目录等设置好，将HKIPcamera.h和hkipcamera.cpp添加进来，再创建一个main.cpp，main.cpp内容如下：（使用时将ip，用户名，密码改为自己相机的）

#include <stdio.h>
#include <iostream>
#include "Windows.h"
#include "HCNetSDK.h"
#include <time.h>
using namespace std;void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser);void main() {//---------------------------------------// 初始化NET_DVR_Init();//设置连接时间与重连时间NET_DVR_SetConnectTime(2000, 1);NET_DVR_SetReconnect(10000, true);//---------------------------------------//设置异常消息回调函数NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);//---------------------------------------// 注册设备LONG lUserID;//登录参数，包括设备地址、登录用户、密码等NET_DVR_USER_LOGIN_INFO struLoginInfo = { 0 };struLoginInfo.bUseAsynLogin = 0; //同步登录方式strcpy(struLoginInfo.sDeviceAddress, "192.168.1.64"); //设备IP地址struLoginInfo.wPort = 8000; //设备服务端口strcpy(struLoginInfo.sUserName, "admin"); //设备登录用户名strcpy(struLoginInfo.sPassword, "12345"); //设备登录密码//设备信息, 输出参数NET_DVR_DEVICEINFO_V40 struDeviceInfoV40 = { 0 };lUserID = NET_DVR_Login_V40(&struLoginInfo, &struDeviceInfoV40);if (lUserID < 0){printf("Login failed, error code: %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return;}//---------------------------------------//启动预览并设置回调数据流LONG lRealPlayHandle;NET_DVR_PREVIEWINFO struPlayInfo = { 0 };struPlayInfo.lChannel = 1;       //预览通道号struPlayInfo.dwStreamType = 0;       //0-主码流，1-子码流，2-码流3，3-码流4，以此类推struPlayInfo.dwLinkMode = 0;       //0- TCP方式，1- UDP方式，2- 多播方式，3- RTP方式，4-RTP/RTSP，5-RSTP/HTTPstruPlayInfo.bBlocked = 1;       //0- 非阻塞取流，1- 阻塞取流lRealPlayHandle = NET_DVR_RealPlay_V40(lUserID, &struPlayInfo, NULL, NULL);if (lRealPlayHandle < 0){printf("NET_DVR_RealPlay_V40 error\n");NET_DVR_Logout(lUserID);NET_DVR_Cleanup();return;}Sleep(10000);//---------------------------------------//关闭预览NET_DVR_StopRealPlay(lRealPlayHandle);//注销用户NET_DVR_Logout(lUserID);//释放SDK资源NET_DVR_Cleanup();return;
}

运行后会报错Login error，29，如果你打开HKIPcamera.cpp，结合海康SDK里的设备网络SDK使用手册.chm，查询NET_DVR_GetLastError返回的错误号29是提示操作设备失败。

bool OpenCamera(char* ip, char* usr, char* password)
{lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);if (lUserID == 0){cout << "Log in success!" << endl;return TRUE;}else{printf("Login error, %d\n", NET_DVR_GetLastError());NET_DVR_Cleanup();return FALSE;}
}

此时从开始配置这个SDK调用环境已经三天过去了，从环境变量到文件名反复核对校验都没法解决这个代号29的操作失败问题。海康的客服打电话让我从官网沟通技术专家，然而排队一下午都没个人工接待，最后一心烦就把SDK所有dll文件放在一起，发现就可以用了……

最后感谢一下以下文章作者分享经验！

https://www.ryannn.com/archives/hikvision
https://blog.csdn.net/c20081052/article/details/95082377
https://blog.csdn.net/GottaYiWanLiu/article/details/106187962