深度学习解决Unable to allocate 33.6 GiB for an array with shape (60000, 224, 224, 3) and data type float32

news/2024/11/6 7:17:45/

深度学习时,常常要处理超大文件。因此,常常引起电脑故障。当电脑的内存16G,虚拟内存16G,读入34G的数组,发生错误:Unable to allocate 33.6 GiB for an array with shape (60000, 224, 224, 3) and data type float32。解决办法:

在win10设置-查找-高级设置-性能选项-虚拟内存-选自定义大小-按C盘剩余空间选择尽可能大的分页文件上限。本机300GC盘剩余容量170G,先将虚拟内存从16G扩大到36G没有成功,再扩大到66G。

 重启系统后,经较长时间运算终于成功读入大型数组了。读毕,占用虚拟内存36G。

 总结,机器学习+深度学习要求:c盘容量至少要有200G,内存16G,显存4G以上。不然,容纳多系统(如Windows+Linux)、多环境(如Conda+Tensorflow)、多软件及其不同版本(如Python+R)后,再有足够虚拟内存进行运算。


http://www.ppmy.cn/news/601614.html

相关文章

运行kafka控制台报错:Topic XXX not present in metadata after 60000 ms.解决

kafka消息队列项目运行后报org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: Topic XXX not present in metadata after 60000 ms.错误, 可以尝试找到kafka的server.properties文件,进入记事本模…

Springboot连接kafka异常Failed to update metadata after 60000 ms.

异常信息: [Consumer clientIdconsumer-1, groupIdtest] Connection to node -1 could not be established. Broker may not be available. WARN 10176 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientIdproducer-1] Connecti…

MemoryError: Unable to allocate array with shape (60000, 28, 28) and data type float 32等类似情况

MemoryError: Unable to allocate array with shape (60000, 28, 28) and data type float 32等类似情况,不要担心,办法很简单,解决办法如下: 1.引起此类问题的原因是电脑虚拟内存占用太大,因此只需要修改电脑的虚拟内…

Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

问题描述 kafka producer/consumer连接kafka broker超时,报错日志: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 解决办法 假如:kafka broker部署在172.17.162.198(主机名为…

kafka生产者报错Failed to update metadata after 60000 ms.

背景 由于新增一个对接渠道,系统要对Kafka的消息进行消费,由于对接方目前没有环境,所以自己本地开发,并且使用环境中的一台kafka作为开发使用,本地自己设置producer和consumer,分别作为生产者和消费者。 …

关于mysql报 loopWaitCount 0, wait millis 60000 错误的解决办法

最近遇到个比较奇怪的问题,用户的网站百万级访问量,最近没有修改程序,也没有改过其他地方,最近总是运行20几个小时左右tomcat就假死一次,访问无响应!!经常过检查 日志发现 里面报了一个错误 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30…

Kafka问题(3):Failed to allocate memory within the configured max blocking time 60000 ms

记录kafka出现的问题,原因,与对应场景下的解决方案. 造成问题方式有很多种,这里只是记录遇到的或已知的,若有遗漏情况欢迎补充 由于问题很多出现在生产环境,故敏感信息已屏蔽,不影响问题介绍 文章目录 环境…

com.alibaba.druid.pool.GetConnectionTimeoutException:loopWaitCount 0, wait millis 60000,active 50

druid异常—— Caused by: com.alibaba.druid.pool.GetConnectionTimeoutException: loopWaitCount 0, wait millis 60000, active 50at com.alibaba.druid.pool.DruidDataSource.pollLast(DruidDataSource.java:1375)at com.alibaba.druid.pool.DruidDataSource.getConnectio…