参考文献:
NTU RGB+D动作识别数据集
NTU-RGBD骨架数据分析
NTU-RGBD Dataset
NTU RGB + D动作识别数据集由56,880个动作样本组成,包含每个样本的RGB视频,深度图序列,3D骨架数据和红外视频。此数据集由3个Microsoft Kinect v.2相机同时捕获。RGB视频的分辨率为1920×1080,深度图和红外视频均为512×424,3D骨架数据包含每帧25个主要身体关节的三维位置(如下图所示)。
120类动作
- A1。喝水。
- A2。吃顿饭/零食。
- A3。刷牙。
- A4。梳理头发。
- A5。下降。
- A6。拾起。
- A7。扔。
- A8。坐下
- A9。站立(从坐姿)。
- A10。鼓掌。
- A11。读。
- A12。写作。
- A13。撕纸。
- A14。穿外套。
- A15。脱掉外套。
- A16。穿鞋。
- A17。脱鞋。
- A18。戴上眼镜。
- A19。摘下眼镜。
- A20。戴上帽子。
- A21。脱下帽子。
- A22。振作起来。
- A23。挥手。
- A24。踢东西。
- A25。伸到口袋里。
- A26。跳(一只脚跳)。
- A27。跳起来。
- A28。拨打电话/接听电话。
- A29。玩手机/平板电脑。
- A30。在键盘上键入。
- A31。用手指指着某个东西。
- A32。自拍照。
- A33。检查时间(从手表)。
- A34。两只手一起擦。
- A35。点头/鞠躬。
- A36。摇头。
- A37。擦脸。
- A38。礼炮。
- A39。将手掌放在一起。
- A40。双手交叉在前面(例如停下来)。
- A41。打喷嚏/咳嗽。
- A42。令人。目结舌。
- A43。下降。
- A44。触头(头痛)。
- A45。触摸胸部(胃痛/心脏疼痛)。
- A46。背痛(腰酸)。
- A47。摸脖子(脖子痛)。
- A48。恶心或呕吐情况。
- A49。使用风扇(用手或纸)/感觉温暖。
- A50。拳打/打别人。
- A51。踢别人。
- A52。推别人。
- A53。拍拍对方。
- A54。用手指指向另一个人。
- A55。拥抱其他人。
- A56。给别人东西
- A57。触摸别人的口袋。
- A58。握手。
- A59。走向彼此。
- A60。彼此分开。
- A61。戴上耳机。
- A62。摘下耳机。
- A63。在篮子里射击。
- A64。弹跳球。
- A65。网球拍挥杆。
- A66。杂耍乒乓球。
- A67。安静(非常)。
- A68。轻拂头发。
- A69。竖起大拇指。
- A70。拇指向下。
- A71。做出好的迹象。
- A72。做胜利的手势。
- A73。主食书。
- A74。数钱。
- A75。剪指甲。
- A76。剪纸(使用剪刀)。
- A77。弹响手指。
- A78。打开瓶子。
- A79。嗅(闻)。
- A80。蹲下。
- A81。抛硬币。
- A82。折叠纸。
- A83。装满纸。
- A84。玩魔方。
- A85。在脸上涂上霜。
- A86。将奶油涂抹在手背上。
- A87。放在袋子上。
- A88。脱下袋子。
- A89。把东西放进袋子里。
- A90。从袋子里取出东西。
- A91。打开一个盒子。
- A92。移动重物。
- A93。握拳。
- A94。扔帽子/帽子。
- A95。举起双手(两只手)。
- A96。交叉双臂。
- A97。手臂圈。
- A98。手臂摆动。
- A99。当场运行。
- A100。踢屁股(向后踢)。
- A101。交叉脚趾触摸。
- A102。侧踢。
- A103。打哈欠。
- A104。舒展自己。
- A105。擤。
- A106。用东西打别人。
- A107。对其他人持刀。
- A108。撞倒别人(撞到身体)。
- A109。抢别人的东西。
- A110。用枪射击其他人。
- A111。步行。
- A112。击掌。
- A113。干杯和饮料。
- A114。与他人一起搬运东西。
- A115。拍张别人的照片。
- A116。关注其他人。
- A117。在别人的耳边低语。
- A118。与他人交流。
- A119。用手支持某人。
- A120。猜手指游戏(玩剪刀石头布)。
骨架文件命名格式:
S001C001P001R001A001.skeleton
S:设置号,“ NTU RGB + D”数据集包括设置号在S001和S017之间的文件/文件夹,而“ NTU RGB + D 120”数据集包括设置号在S001和S032之间的文件/文件夹。
C:相机ID,共有三架
P:人物ID,P001表示一号动作执行人,但并非每个人都执行了所有动作
R:同一个动作的表演次数
A:动作类别
骨骼文件示例
103 #每个skeleton文件第一行的数字为该骨架序列的总帧数#从第二行开始分别为每一帧的信息
1 #第一帧第一个数字为当前帧body数量(如1或2)#下一行十个数包含了身体信息'''body_info_key =['bodyID', 'clipedEdges', 'handLeftConfidence','handLeftState', 'handRightConfidence', 'handRightState','isResticted', 'leanX', 'leanY', 'trackingState']'''72057594037931101 0 1 1 1 1 0 0.02764709 0.05745083 225 #骨架joint数量,下面25行12列数据就是这25个joints的信息joint_info,
'''
joint_info_key = ['x', 'y', 'z', 'depthX', 'depthY', 'colorX', 'colorY','orientationW', 'orientationX', 'orientationY','orientationZ', 'trackingState']
'''
0.2181153 0.1725972 3.785547 277.419 191.8218 1036.233 519.1677 -0.2059419 0.05349901 0.9692109 -0.1239193 2
0.2323292 0.4326636 3.714767 279.2439 165.8569 1041.918 444.3235 -0.2272637 0.05621852 0.964434 -0.1227094 2
0.2457799 0.6877249 3.633897 281.1529 139.0885 1047.837 367.3966 -0.2486043 0.0660736 0.9535829 -0.1565561 2
0.2128507 0.8079225 3.581995 278.1617 125.6969 1039.476 328.9554 0 0 0 0 2
0.1109304 0.6111551 3.716962 267.2831 148.2511 1007.479 393.5405 0.2179059 0.7353331 -0.6371263 -0.07663021 2
0.100875 0.4286715 3.742593 266.2123 166.5774 1004.187 446.2603 0.03366299 0.7429995 -0.0668001 -0.6650987 1
0.1186992 0.3428923 3.556542 268.5588 173.2219 1011.711 465.4302 -0.5255184 0.8340511 0.1235747 -0.1136605 1
0.1165352 0.3173672 3.550741 268.3543 175.7982 1011.131 472.8558 -0.1148792 0.9877279 -0.0299019 -0.1014999 2
0.3449145 0.5740387 3.588655 291.5822 149.8556 1078.05 398.4594 -0.1106443 0.771432 0.5446612 -0.3098302 2
0.4211396 0.3847547 3.627778 298.8716 169.6459 1098.838 455.4754 0.06063642 0.961247 0.2020273 0.1775176 2
0.1918999 0.3189077 3.540756 276.1781 175.5411 1033.77 472.192 0.4641625 0.2649592 -0.3935434 0.7479796 2
0.1298675 0.317039 3.542577 269.7591 175.7559 1015.225 472.7473 0.6194489 0.3464894 -0.3181734 0.6284853 2
0.162766 0.1745395 3.778471 272.0995 191.6048 1020.896 518.4943 -0.05136763 -0.6810405 0.7174643 -0.1370778 2
0.1975115 -0.1360554 3.904381 274.8451 221.2371 1028.12 604.0775 -0.1458015 -0.5206363 0.1335629 0.8305664 2
0.2442706 -0.4201995 4.054147 278.3998 246.4292 1037.602 676.7612 -0.04763737 0.1068644 0.244998 0.9624379 2
0.2040377 -0.476396 4.094294 274.5897 251.0867 1026.418 690.1627 0 0 0 0 2
0.2699234 0.1678491 3.730005 282.8167 192.0363 1052.036 519.8357 -0.2298583 0.6472055 0.644957 -0.3351428 2
0.3105748 -0.1462299 3.818383 286.1002 222.5039 1060.931 607.8004 0.08184162 0.837252 0.1252462 0.5259509 2
0.3428889 -0.433214 3.943258 288.1872 248.7218 1066.199 683.3955 0.2016301 0.9774966 0.05738356 0.02351441 2
0.2951482 -0.5017325 3.968896 283.5814 254.7903 1052.752 700.8542 0 0 0 0 2
0.2425592 0.6247278 3.656055 280.6673 145.8599 1046.329 386.8308 -0.2489336 0.06207102 0.9568546 -0.1364125 2
0.1200176 0.2955468 3.532409 268.7763 177.8907 1012.419 478.8939 0 0 0 0 2
0.0989792 0.3459614 3.527539 266.6139 172.6136 1006.227 463.6581 0 0 0 0 2
0.08710064 0.2988889 3.54619 265.3322 177.6662 1002.409 478.2144 0 0 0 0 2
0.1268453 0.2813963 3.549525 269.4193 179.4981 1014.19 483.5357 0 0 0 0 2