【C/C++】web服务器项目开发总结【请求 | 响应 | CGI】

ops/2024/9/20 1:29:51/ 标签: 服务器, c++, 开发语言, centos

  博客主页:花果山~程序猿-CSDN博客

文章分栏:Linux_花果山~程序猿的博客-CSDN博客

关注我一起学习,一起进步,一起探索编程的无限可能吧!让我们一起努力,一起成长!

在这里插入图片描述

目录

一,背景

二,目标

三,基本描述

四,技术特点

网络基本认识补充

web服务器(http服务器工作原理)

http 1.0与http 1.1

区分URI & URL & URN

五,技术要点 

1. http请求&响应

2. 请求方法

3.http响应报文状态码设置

4.CGI机制

CGI实现原理

5.线程池优化


嗨!收到一张超美的图,愿你每天都能顺心!

一,背景

http 协议被广泛使用,从移动端, pc 端浏览器, http 协议无疑是打开互联网应用窗口的重要协议, http 在网络应用层中的地位不可撼动,是能准确区分前后台的重要协议。

二,目标

http 协议的理论学习,从零开始完成 web 服务器开发,坐拥下三层协议,从技术到应用。

三,基本描述

        采用C/S 模型,编写支持中小型应用的 http ,并结合 mysql ,理解常见互联网应用行为,做完该项目,你可以从技术上完全理解从你上网开始,到关闭浏览器的所有操作中的技术细节。

四,技术特点

  • 网络编程(TCP/IP协议, socket流式套接字,http协议)
  • 多线程技术
  • cgi技术
  • shell脚本
  • 线程池

项目定位:研发岗

开发环境:centos7 + vim/g++/vscode + c/c++

网络基本认识补充

web服务器(http服务器工作原理)

http 1.0与http 1.1

目前主流的浏览器使用http1.1

http1.0优点:

  • 简单快速,HTTP服务器的程序规模小,因而通信速度很快。
  • 灵活,HTTP允许传输任意类型的数据对象,正在传输的类型由Content-Type加以标记。
  • 无连接,每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。(http/1.0具有的功能,http/1.1兼容)
http 协议每当有新的请求产生,就会有对应的新响应产生。协议本身并不会保留你之前的一切请求或者响应,这是为了更快的处理大量的事务,确保协议的可伸缩性。

http1.1的优化:可是,随着web的发展,因为无状态而导致业务处理变的棘手起来。比如保持用户的登陆状态(由于无状态,所以每次访问不知道用户信息,而又不可能让用户每次登录)

http/1.1 虽然也是无状态的协议,但是为了保持状态的功能,引入了 cookie 技术

区分URI & URL & URN

URI, uniform resource identifier ,统一资源标识符,用来唯一的标识一个资源
URL, uniform resource locator ,统一资源定位符,它是一种具体的 URI ,即 URL 可以用来标识一个资源,而且还指明了如何locate 这个资源。
URN,uniform resource name ,统一资源命名,是通过名字来标识资源,比如 mailto:javanet@java.sun.com

例如:

URI: /home/index.html
URL: www.xxx.com:/home/index.html

五,技术要点 

1. http请求&响应

下面是对应的示意图

请求详细的:

响应详细的: 

在此项目中对请求,响应报文头进行简化,代表大致即可,主要是首行和正文

测试工具:telnet(linux),postman(windows)

2. 请求方法

GET(多服务器请求资源):

  • GET 请求中的参数会被附加在 URL 后面,因此可以被浏览器缓存,并且可以在浏览历史中看到,也可能被记录在网络日志中。这使得 GET 请求不适合传输敏感信息。
  • 有浏览器URL长度限制;
  • 安全性较差;

POST(多向服务器上传数据):

  • POST 请求的数据不会显示在 URL 中,也不会被缓存或保存在历史记录中,因此相对更安全。
  • 数据在正文,大小没有URL限制;
  • 正文信息,不会被URL记录,安全性较高;

等等其他请求方法用的少,感兴趣可以查查

3.http响应报文状态码设置

HTTP 状态码( HTTP Status Code )是用以表示服务器 HTTP 响应状态的 3 位数字代码客户端(浏览器)通过状态码,就可以知道服务
器端是否正确的处理的请求,如果不正确,是因为什么原因导致的( 404

如:

200  OK

404  资源未找到

具体状态码详细可以查看详细资料

4.CGI机制

        CGI(Common Gateway Interface) 是 WWW 技术中最重要的技术之一,有着不可替代的重要地位。 CGI 是外部应用程序(CGI 程序)与 WEB 服务器之间的接口标准,是在 CGI 程序和 Web 服务器之间传递信息的过程。
        浏览器除了从服务器下获得资源(网页,图片,文字等),有时候还有能上传一些东西(提交表单,注册用户之类的),看看我们目前的http只能进行获得资源,并不能够进行上传资源,所以目前 http 并不具有交互式
为了让我们的网站能够实现交互式,我们需要使用CGI完成,时刻记着,我们目前是要写一个 http ,所以, CGI 的所有交互细节,都需要我们来完成。
理论上,可以使用任何语言来编写CGI 程序(如:java,php等以及脚本语言)。
实现原理图

CGI实现原理

我们知道带参数的GET和POST是携带数据的,处理数据是需要程序运行才能得到结果,server线程中执行程序的就有 execl程序替换法,将子进程替换为能处理数据的程序,
但execl是进程替换,server线程替换则会替换整个server进程,所以需要server线程fork出的子进程进行替换即可。
接下来,需要进程通信,传递从请求中获取的参数,我们可以通过匿名管道法(接口:pipe)
我们知道进程替换会保留原有的 文件描述符表,环境变量,信号处理程序(保留旧进程的信号处理方式)等
子进程创建好后,那子进程如何获取参数?
(1)环境变量传递
适合条件:参数量小,如带参的GET方法
接口:  putenvgetenv来设置,读取环境变量
(2)进程间通信
适合条件:参数量大,如POST方法

 而进行程序替换后,我们并不知道具体的管道描述符,因此在替换前,需要将pipe的输入输出重定向给标准输入输出,这样子进程只需要使用cout(1),cin(0)即可与向父进程(server线程)进行进程间通信,传递参数&结果。

期间也需要通过环境变量告知子进程参数大小

CGI代码如下:

int ProcessCGI(){std::string tmp_iurlb = ".";tmp_iurlb += address;int output[2]; // 线程发数据int inget[2]; // 线程接收结果pipe(output);pipe(inget);pid_t pd = fork();// 线程为主视角if (pd == 0){// 子close(output[1]);close(inget[0]);// 1.接收数据,准备程序替换std::string room = "METHOD=";   //请求类型环境变量room += method;putenv((char *)room.c_str());std::string tmp;          // get参数 环境变量std::string room_length;  // post正文的长度环境变量if (method == "POST"){room_length = "CONTENT-LENHTH=";room_length += std::to_string(content_length);putenv((char *)room_length.c_str());}else if (method == "GET" && parameter.size() != 0){tmp = "PARAMENTER=";tmp += parameter;putenv((char *)tmp.c_str());}// std::cerr << "debug : excel:" << address.c_str() <<  std::endl;// 约定:子进程只需从标准输入输出进行获取数据dup2(output[0], 0);dup2(inget[1], 1);execl(("." + address).c_str(), nullptr); // 疑问:既然通过环境变量来传参数,那buff到时候传过去的就是close(0);close(1);std::cerr << "GET EXECL FAIL:" << std::endl;return -1;}else if (pd > 0){// 父close(output[0]);close(inget[1]);if (method == "POST");{const char* str = request_body.c_str();int total = 0;int size = 0;                while ((total <= content_length) && (size = write(output[1], str + total, request_body.size() - total) > 0)){total += size;}}//接收CGI 返回值while (1){char x = 'g';int set =  read(inget[0], &x, 1);if ( x == '\n')break;httpresponse.Respone_body.push_back(x);}// std::cout << "res CGI:" << httpresponse.Respone_body << std::endl;int status = 0;waitpid(pd, &status, 0); // 线程阻塞试等待if (WIFEXITED(status) == 0)Logmessage(WARN, "CGI exit with error code");close(output[1]);close(inget[0]);return 0;}

5.线程池优化

优化如下:
  • 大量链接过来导致服务器内部进程或者线程暴增,进而导致服务器效率严重降低或者挂掉
  • 节省链接请求到来时,创建线程的时间成本
  • 服务器的效率在一个恒定的稳定区间内(线程个数不增多,CPU调度成本不变)

本项目采用曾经线程池博客进行简单修改,参考博客:

线程池小项目【Linux & C/C++】(踩坑分享)_c++linux项目-CSDN博客

下面用一张示意图梳理一下流程: 

线程池的方法支持中,小型程序,如需支持大程序并发,需要使用epoll,以及一些在外部通过文本控制参数。
六,项目扩展
1),技术扩展
  • 实现支持http1.1,长连接,以及处理链接管理,黏包问题
  • 支持更高并发的epoll
  • 添加redis,mysql等
  • 实现为该请求转发器(代理服务)
  • 尝试打包成组件,实现http快速搭建
后续会结合其他项目来扩展。
2),应用扩展
  • 个人简历
  • 个人博客等等

项目代码

Linux: 从0到1 - Gitee.com

结语

   本小节就到这里了,感谢小伙伴的浏览,如果有什么建议,欢迎在评论区评论,如果给小伙伴带来一些收获,请动动你发财的小手点个免费的赞,你的点赞和关注永远是博主创作的动力源泉。


http://www.ppmy.cn/ops/105705.html

相关文章

Python(TensorFlow)和MATLAB及Java光学像差导图

&#x1f3af;要点 几何光线和波前像差计算入瞳和出瞳及近轴光学计算波前像差特征矩阵方法计算光谱反射率、透射率和吸光度透镜像差和绘制三阶光线像差图和横向剪切干涉图分析瞳孔平面焦平面和大气湍流建模神经网络光学像差计算透镜光线传播几何偏差计算像差和像散色差纠正对齐…

2024版最新渗透测试工具大全(非常详细)零基础入门到精通,收藏这一篇就够了

所有工具仅能在取得足够合法授权的企业安全建设中使用&#xff0c;在使用所有工具过程中&#xff0c;您应确保自己所有行为符合当地的法律法规。如您在使用所有工具的过程中存在任何非法行为&#xff0c;您将自行承担所有后果&#xff0c;所有工具所有开发者和所有贡献者不承担…

统计学习方法与实战——统计学习方法概论

统计学习方法概论 文章目录 统计学习方法概论前言章节目录导读 实现统计学习方法的步骤统计学习方法三要素模型模型是什么? 策略损失函数与风险函数常用损失函数ERM与SRM 算法 模型评估与模型选择过拟合与模型选择 正则化与交叉验证泛化能力生成模型与判别模型生成方法判别方法…

打卡第60天------图论

加油&#xff01;尽管前面的道路很困难&#xff0c;但是依然要坚持下去✊。 在算法训练营我学到了很多东西&#xff0c;对于算法的方法来说真的是涨知识了&#xff0c;对于我一个非科班出身&#xff0c;半路转行的干IT的人来说真的给予了我很大的帮助。我会继续回头看代码随想录…

无人机之传感器篇

无人机的传感器系统是其实现自主飞行、导航、避障、目标识别和环境感知等功能的关键部分。以下是对无人机中常见传感器的详细解析&#xff1a; 一、主要传感器类型 GPS&#xff08;全球卫星定位系统&#xff09; 功能&#xff1a;提供无人机的位置和导航信息。 原理&#x…

Vulnhub:hacksudo search

靶机下载地址。下载完成后&#xff0c;在VirtualBox中导入虚拟机&#xff0c;系统处理器修改为2&#xff0c;网卡配置修改为桥接。 信息收集 主机发现 扫描攻击机同网段存活主机。 nmap 192.168.31.0/24 -Pn -T4 靶机ip&#xff1a;192.168.31.218 端口扫描 nmap 192.168…

HTTP协议到HTTPS的Java客户端改造

前言 由于安全原因&#xff0c;我们公司对外暴露的接口通过HTTP协议的方式在未来的某一天将被彻底关闭。 从那以后&#xff0c;外部客户在调用我公司的接口时就只能通过HTTPS协议。 本篇文章的目的就是安全的指导外部客户的客户端开发人员或者有类似需求的Java开发人员&…

【TheMisto.AI】Flux最强线稿模型实际效果测评(附安装方法)

原文链接&#xff1a;【TheMisto.AI】Flux最强线稿模型实际效果测评&#xff08;附安装方法&#xff09; (chinaz.com) 不知道有没有小伙伴去测试一下哈&#xff0c;上一篇文章用的都是官方提供的参考图&#xff0c;经常关注Flux的小伙伴也知道那些ControlNet买家秀和卖家秀基…

Express Response类深度解析:全面掌握属性与方法,提升开发效率

在Express框架中&#xff0c;Response对象是一个非常重要的组成部分。它代表了HTTP响应&#xff0c;并提供了一系列的方法和属性来操作这个响应。本文将深入全面地讲解Express的Response类&#xff0c;包括其所有属性和方法&#xff0c;并通过代码示例进行说明。 Response对象…

GPT-4 vs LLaMA3.1:核心技术架构与应用场景对比

目录 前言 一、GPT-4 的核心技术架构 1.1 Transformer 结构概述 1.2 GPT-4 的主要组成部分 1.3 GPT-4 的创新与改进 二、LLaMA3.1 的核心技术架构 2.1 模型概述 2.2 LLaMA3.1 的主要组成部分 2.3 LLaMA3.1 的创新与改进 三、GPT-4 和 LLaMA3.1 的主要差异 3.1 模型规…

python学习11:函数/方法的定义与调用

# 1&#xff09;定义和调用 # def 方法名([参数]): # 方法体 # [return 返回值]# 调用 方法名([参数]) 案例1&#xff1a;没有返回值 # 案例1&#xff1a;没有返回值 def login_info():username xxxpwd 123456print(我的信息是&#xff1a;用户名{username},密码是…

【Redis】Redis 典型应⽤ - 缓存 (cache)

Redis 典型应⽤ - 缓存 cache 什么是缓存使⽤ Redis 作为缓存缓存的更新策略1) 定期⽣成2) 实时⽣成 缓存预热, 缓存穿透, 缓存雪崩 和 缓存击穿关于缓存预热 (Cache preheating)关于缓存穿透 (Cache penetration)关于缓存雪崩 (Cache avalanche)关于缓存击穿 (Cache breakdown…

centOS如何查看并放行防火墙3306端口

在CentOS系统中&#xff0c;您可以使用firewall-cmd命令来检查防火墙规则&#xff0c;确认是否放行了3306端口。以下是步骤和示例代码&#xff1a; 首先&#xff0c;确保您的系统上安装了firewalld服务。如果未安装&#xff0c;请使用以下命令安装&#xff1a; sudo yum insta…

From Man vs Machine to Man + Machine

From Man vs. Machine to Man Machine: The Art and AI of Stock Analyses 论文阅读 文章目录 From Man vs. Machine to Man Machine: The Art and AI of Stock Analyses 论文阅读 AbstractConstruction and Performance of the AI AnalystMethodologyThe Performance of Ana…

xml转txt,适应各种图片格式,如jpg,png,jpeg,PNG,JPEG等

xml转txt&#xff0c;适应各种图片格式&#xff0c;如jpg&#xff0c;png&#xff0c;jpeg&#xff0c;PNG&#xff0c;JPEG等 import xml.etree.ElementTree as ET import os import cv2 import numpy as np import globclasses []def convert(size, box):dw 1. / (size[0]…

Ajax的$.post(),$.get(),$.ajax 方法请求都是默认异步请求

. p o s t ( ) &#xff0c; .post()&#xff0c; .post()&#xff0c;.get()&#xff0c;$.ajax 方法请求都是默认异步请求&#xff0c;所以如果要用到返回的结果&#xff0c;则要考虑异步问题&#xff0c;不然可能会变量出现未定义之类的情况。 改成同步的方法&#xff1a; …

Training language models to follow instructionswith human feedback

Abstract 将语言模型做得更大并不会自动提高它们遵循用户意图的能力。例如&#xff0c;大型语言模型可能会生成不真实、有毒或对用户不有帮助的输出。换句话说&#xff0c;这些模型并未与用户对齐&#xff08;aligned&#xff09;。本文展示了一种通过人类反馈来对齐语言模型与…

yolo训练策略--使用 Python 和 OpenCV 进行图像亮度增强与批量文件复制之(图像增强是按梯度变化优化)

接上个博客&#xff1a; https://blog.csdn.net/weixin_43269994/article/details/141753412优化如下函数&#xff1a; def augment_and_copy_files(base_folder, image_filename, num_augmentations2, vgain_range(1, 1.5), process_labelsTrue, process_annotationsTrue):b…

[B站大学]Zotero7教程

参考资料: https://www.bilibili.com/video/BV1PSvUetEQX 2. 账号注册与同步 本节内容参考zotero中文社区文档&#xff1a;https://zotero-chinese.com/user-guide/sync 2.1 数据同步 首先注册一个Zotero官方账户。登录账号密码。 2.2 文件同步 按照文档&#xff0c;推荐…

ElasticSearch学习笔记(三)RestClient操作文档、DSL查询文档、搜索结果排序

文章目录 前言5 RestClient操作文档5.4 删除文档5.4 修改文档5.5 批量导入文档 6 DSL查询文档6.1 准备工作6.2 全文检索查询6.3 精准查询6.4 地理坐标查询6.5 复合查询6.5.1 相关性算分6.5.2 布尔查询 7 搜索结果处理7.1 排序7.1.1 普通字段排序7.1.2 地理坐标排序 前言 Elast…