通过与AI代理结对编程在集成课程中促进AI辅助学习循环的方法

本篇论文提出了一种新的方法论，利用人工智能（AI）技术的最新进展，为学生制定一个AI辅助的代码学习循环。这种方法在现有的学习过程中创新性地融入了结对编程，以增强学生的互动式学习体验。以下是论文的主要内容概述：

摘要(Abstract)：

提出了一种新方法，利用AI技术来辅助学生学习编程。
方法包括将示例代码转化为脚手架代码作为练习，通过教师与AI的配对来实现。
脚手架代码作为学生在硬件平台上迭代完成和调试的练习，与专家AI助手一起。
通过评估不同代码版本之间的语义相似性来评估该方法。
案例研究表明该方法有希望，并讨论了发现和未来工作。

I. 概述(Overview)：

生成式人工智能（GenAI）展示了其在大型语言模型中编码知识的潜力。
许多大学部署了ChatGPT等GenAI工具，以支持教学和学习活动。
提出了一种创新方法，通过AI模型建立互动学习循环，增强学生在电子与电气工程（EEE）学科核心课程中的学习体验。

II. 预备知识(Preliminaries)：

介绍了大型语言模型（LLMs）、提示和上下文的概念。
解释了结对编程的概念，包括专家和新手的角色。

III. 方法论(Methodology)：

描述了AI辅助学习循环的概述，包括脚手架代码生成、互动式代码补全和语义评估。
- A. 脚手架代码生成(Scaffold Code Generation)：
  - 教师与AI代理配对，生成基于示例代码的脚手架代码。
  - 教师作为导航者检查生成的脚手架代码。
  - 该方法假设现有的学习过程中的示例代码（C⋆）对教师（I）是可用的。
  - 教师与AI代理（A1）配对，形成专家-专家的合作关系，其中A1作为驱动者，基于C⋆生成脚手架代码（C◦），而教师作为导航者检查生成的C◦。
  - 该方法需要教师提供人类测试预言机（O），以确定测试代码的正确性。
  - 教师通过评估C◦中的注释与C⋆中的代码语句的一致性来确保C◦的指令正确性。
  - 通过采用高效的AI代理，可以解决教师从头开始制作详细脚手架代码耗时的问题，同时确保代码质量，避免误导学生产生错误的补全代码（C•）。
- B. 互动式代码补全(Interactive Code Complement)：
  - 学生尝试独立完成脚手架代码，并与硬件平台互动式调试。
  - 对于无法独立完成的练习，学生与AI代理配对，以专家-新手模式生成补全代码。
  - 学生尝试独立完成教师提供的脚手架代码（C◦），并基于硬件平台H的输出效果进行互动式调试。
  - 学生可以根据H的反馈和控制台输出，迭代地调试和重新编译代码，最终产生补全代码版本（C•）。
  - 如果学生在上述过程中无法产生预期的C•，该方法允许在这些练习中使用LLMs。
  - 学生（S）与AI代理（A2）配对，形成专家-新手的模式，以产生C•。
  - 学生作为驱动者完成C◦，而A2作为导航者协助学生完成和调试代码。
  - 这样，学生总能在A2的保障下产生在H上可工作的C•，就像在传统过程中获得示例代码一样，同时还能从与AI代理的结对编程中受益。
- C. 语义评估(Semantic Assessment)：
  - 使用自动系统（如Moss）和手动测试来评估生成代码与原始代码之间的语义差异。
  - 提出的方法的可行性在很大程度上取决于C•和C⋆之间的语义差异。
  - 提供了两种语义差异评估类型：自动评估和手动评估。
    - 自动评估：使用Moss系统，这是一个在学术界广泛使用的自动系统，用于确定两段代码的相似性。
    - 手动评估：为了补充Moss系统，应用O(C⋆, C•)来避免在评估中误报。
  - 在评估中报告了Moss的语义相似性得分和O的语义等价性结果。