failed to create new OS thread (have 20 already； errno=11)

排查

这条错误信息来自于 Go 语言的运行时系统，表明在尝试创建新的操作系统线程时失败了。错误的原因和建议的解决方案如下：

错误原因：
- failed to create new OS thread (have 20 already; errno=11)：这表明程序已经创建了20个线程，尝试创建第21个线程时遇到了问题。errno=11 是一个系统错误码，通常表示 EAGAIN，即资源暂时不可用，通常是因为没有足够的资源（在这个情况下是线程）来满足请求。
资源限制：
- 操作系统对用户可以创建的进程和线程数量有限制。这个限制可以通过 ulimit 命令在 Unix-like 系统中查看和设置。
解决方案：
- 检查当前限制：使用 ulimit -u 查看当前用户的最大进程数限制。
- 增加限制：如果需要，可以通过 ulimit -u <new_limit> 来增加最大用户进程数。这里的 <new_limit> 是你希望设置的新限制值。
- 永久设置：更改 /etc/security/limits.conf 文件来永久增加这个限制，添加或修改以下行：
```
*               soft    nofile      <new_limit>
*               hard    nofile      <new_limit>
```
  其中 * 代表所有用户，nofile 是可以打开的文件描述符的数量，这通常与进程和线程的限制相关。
程序优化：
- 检查程序是否有不必要的线程创建，或者是否可以使用线程池来减少线程的数量。
- 优化程序逻辑，减少对线程的依赖，可能通过使用 Go 的并发特性（goroutines）和通道（channels）来实现。
系统资源：
- 确保系统有足够的资源来支持更多的线程。如果系统资源紧张，可能需要优化应用程序或升级硬件。
错误日志：
- 这个错误通常会记录在应用程序的日志中，查看完整的错误日志可能会提供更多上下文信息。

请注意，过多的线程可能会导致资源竞争和上下文切换，进而影响程序性能。因此，在增加线程数量之前，最好先尝试优化应用程序的并发模型。

统计和确定是哪些进程使用了大量的系统资源

要统计和确定是哪些进程使用了大量的系统资源，导致无法创建新的线程，您可以使用多种命令行工具来检查进程和线程的使用情况。以下是一些常用的方法：

ps 命令：
使用 ps 命令可以列出当前运行的进程及其状态。例如：
```
ps aux
```
这个命令会显示进程的详细信息，包括用户、CPU 和内存使用率等。
top 命令：
top 提供了一个实时更新的进程列表，按 CPU 使用率排序。您可以使用它来快速识别消耗最多资源的进程：
```
top
```
htop 命令（如果可用）：
htop 是 top 命令的一个增强版本，提供了一个彩色的界面和更友好的用户交互：
```
htop
```
pstree 命令：
pstree 以树状图的形式显示进程及其父进程关系，有助于理解进程之间的层次结构：
```
pstree
```
lsof 命令：
lsof 列出打开的文件列表，可以帮助您找到使用特定资源（如文件、套接字等）的进程：
```
lsof
```
ulimit 命令：
ulimit 显示或设置用户可以创建的最大进程数和文件描述符数的限制：
```
ulimit -u
```
nproc 命令：
nproc 显示系统上的可用处理器数量，这有助于了解系统可以同时处理多少线程：
```
nproc
```
sysctl 命令：
sysctl 用于读取和设置系统内核参数，包括进程和线程的限制：
```
sysctl kernel.pid_max
```
审计日志：
查看系统的审计日志，如 /var/log/syslog 或使用 journalctl，可能会记录有关资源使用和限制的信息。
资源使用报告：
使用 sar 命令可以生成系统资源使用的历史报告，帮助分析资源使用趋势：
```
sar
```
strace 命令：
strace 可以跟踪进程执行的系统调用，有助于了解进程的行为和可能的资源瓶颈：
```
strace -p <pid>
```
pmap 命令：
pmap 显示进程的内存映射，有助于识别内存使用情况：
```
pmap <pid>
```