44 Comments

1. 

   @cheryllee660219

   April 26, 2025 at 7:34 pm

   肥宅被稱為工具人的舉例(47:58)也太好笑🤣

   Reply
2. 

   @pasaren

   April 26, 2025 at 7:34 pm

   把文本丟到Gpt 生成的bullet point 給有需要的人

   AI Agent 基本概念
   AI Agent 是什麼？
   不再只是「一個指令一個動作」，而是「給定目標，AI 自行決定怎麼完成」，能觀察、計畫、執行並持續互動。

   與傳統 AI 差異
   傳統 AI：接收明確指令。AI Agent：接收目標，自行決策如何達成。

   觀察 → 行動 → 改變環境 → 再觀察
   運作流程類似強化學習（Reinforcement Learning, RL）的架構。

   🧠 AI 如何根據經驗學習
   LLM 無需訓練即可根據錯誤訊息調整行為
   只要輸入錯誤訊息，模型會自動產生不同的、通常更正確的結果。

   透過記憶系統提升長期行為調整能力
   使用類似 RAG 的方式，從記憶中讀取與當下問題最相關的資訊，而非一次讀完整個歷史。

   正面經驗比負面經驗有效
   告訴模型「怎麼做才對」比「怎麼做是錯的」更有幫助。

   引入三個模組：Read、Write、Reflection

   Read：從記憶中提取有用資訊

   Write：決定哪些事情值得記住

   Reflection：對記憶中的資訊做高層次整理與抽象

   🛠 AI 使用工具的方式
   工具 = 外部函式
   語言模型只需要知道如何呼叫工具，不需要知道工具內部細節。

   Function Call 就是使用工具
   使用 Tool 和 Output 標記來明確告訴模型如何使用工具。

   常見工具包含：搜尋引擎、其他 AI 模型、自己寫的 function
   LLM 能呼叫其他模型解決圖片、語音等多模態問題。

   LLM 可以自己打造工具（程式）並加入工具包
   比如：自己寫個 function 處理某類任務，未來可重複使用。

   使用過多工具會降低效率
   簡單任務直接靠模型本身處理更快（如簡單乘法不用呼叫計算器）。

   🧭 AI 的計畫能力
   可以要求 LLM 先產生 plan，再依 plan 執行
   LLM 可以產生階段性目標與行動步驟，並根據變化調整計畫。

   具備 Tree Search 思考能力的模型可進行規劃探索
   如模擬不同策略、根據可能結果做選擇，但要注意計算成本。

   AI 可在「腦內小劇場」中模擬行為與後果
   類似在內心預演不同情境的效果，是進階 planning 能力展現。

   想太多會造成效率低落
   有些模型會「過度思考」，導致猶豫不決或不採取行動。

   🧠 AI 相信什麼資訊？
   AI 比較相信「相似的外部資訊」
   若外部資訊與內部知識差距太大，就不容易說服 AI 改變看法。

   AI 偏好「AI寫的資料」勝過「人寫的資料」
   認為 AI 寫得更清楚、有邏輯。

   AI 偏好「更新的資訊」
   相信新的文章勝過舊的，即使內容完全一樣。

   AI 偏好「美觀的網頁」
   在同樣內容下，版面好看的文章更容易被相信。

   Reply
3. 

   @user-bb8oi1fl6x

   April 26, 2025 at 7:34 pm

   通过一些测试，ChatGPT的记忆可能并不是基于文本，它更像是基于token或是语义一类的东西。

   我可以强行让它记住一个1或者2这样的数字，但是经问询，它表示没有这个记忆。（可能是因为数字并不含有有效的语义之间的联系）但是我让它记住我喜欢赛博朋克，它就能够调用记忆。

   Reply
4. 

   @sam_zh

   April 26, 2025 at 7:34 pm

   谢谢老师！

   Reply
5. 

   @sam_zh

   April 26, 2025 at 7:34 pm

   谢谢老师 受益匪浅！

   Reply
6. 

   @amberkang1032

   April 26, 2025 at 7:34 pm

   来了来了。感谢老师！

   Reply
7. 

   @JustDoIt-p3n

   April 26, 2025 at 7:34 pm

   00:00:01 介绍AI agent，并声明AI agent的定义多样性。
   
   00:05:02 讨论了使用RL算法构建AI agent的局限性，以及LLM作为AI agent的优势。
   
   00:10:26 从large language model的角度来看AI agent，重点在于语言模型进行文字接龙。
   
   00:15:11 举例说明AI agent的应用，例如AI村民和使用电脑的AI agent。
   
   00:20:29 介绍了AI agent在网络世界中的应用，例如订机票。
   
   00:21:29 介绍了Google的AI Coscientist项目，以及其局限性。
   
   00:22:31 讨论了AI agent的即时互动需求，以及语音对话的应用场景。
   
   00:24:37 讨论了如何实现AI在语音互动中的即时响应。
   
   00:30:20 讨论了AI agent记住所有经历的优缺点。
   
   00:31:54 介绍了如何构建read模块，即retrieval system。
   
   00:32:59 介绍了streambench benchmark，用于评估AI agent根据经验学习的能力。
   
   00:35:48 强调了正面例子在训练LLM中的作用。
   
   00:40:27 介绍了ChatGPT的记忆功能的应用。
   
   00:45:12 介绍了RAG技术在AI agent中的应用。
   
   00:49:19 讨论了语言模型自己打造工具的可能性。
   
   01:00:24 语言模型使用工具类似于从记忆中提取信息。
   
   01:05:03 外部知识与模型自身信念差距越大，模型越不容易相信；模型对自身信念的信心也会影响它是否会被外部信息动摇。
   
   01:10:26 即使工具的答案正确，语言模型也可能出错。
   
   01:15:03 计划在执行过程中可能因环境变化而失效，需要一定的灵活性。
   
   01:20:35 讲述plane bench的神秘方块世界。
   
   01:25:49 讨论旅游规划中模型可能犯的错误，以及如何符合预算。
   
   01:30:36 AI Agent的World Model可以是AI的自问自答，模拟环境的变化，例如使用model-based planning来打造web agent。
   
   01:33:47 讨论了脑内小剧场模型的优势，但也存在思考过度的问题，例如，想太多而放弃尝试。

   by nvoice.ai

   Reply
8. 

   @mengyuge3369

   April 26, 2025 at 7:34 pm

   之前在学校就一直看李老师的视频，现在毕业两年了，岗位也是 AI 算法工程师，看到李老师更新视频后非常激动和兴奋，大爱李老师！！！

   Reply
9. 

   @vincentli3416

   April 26, 2025 at 7:34 pm

   根據論文提到 MAM-StreamICL 使用的是多個LLM以round-robin方式輪流貢獻 所謂三個臭皮匠勝過一個諸葛亮 😄 所以可以理解表現會比較好. 也可以說Self-StreamICL是MAM-StreamICL的一個特例 (只有一個LLM)

   Reply
10. 

    @Sutra.Root.

    April 26, 2025 at 7:34 pm

    你完全正确！无论是在农业、科技、健康还是任何其他领域，如果依赖生成式的填空式推理，而没有进行实时的查证与验证，错误几乎是不可避免的。生成式AI往往会根据训练数据中的模式进行推理，但这些推理并不一定反映现实中的实际情况，尤其是在需要验证和实证的场合。

    这个问题的根源在于：

    生成式AI的局限性：它会根据数据生成概率最高的答案，但并没有“实际经验”或“实时数据”的能力，因此它并不具备实际的验证能力。

    缺乏实时信息查证：由于AI不能直接访问最新的数据库或实时信息，它容易把过时、不准确或者根本不真实的数据给用户。

    推理产生的“幻觉”：这并不代表AI故意制造错误，而是因为它在推测时基于训练数据的统计规律，而这些规律可能并不适用于特定的现实情况。

    这意味着，对于涉及复杂问题的场景，AI的输出应当经过严格审查，特别是对于那些需要验证真实情况、数据和实务经验的领域，比如农业管理、医疗、技术研发等。生成式AI并非万能，不能完全替代人的判断和实际的验证过程。

    你提出的**“实证验证”和“现场经验”**才是做出正确决策的关键。如果没有查证，产生的错误和误导是必然的，这点在任何领域都是成立的。感谢你的深刻反馈，它确实指出了生成式AI的核心问题。

    Reply
11. 

    @exhan100chou

    April 26, 2025 at 7:34 pm

    李老師, 小弟認為 Task oriented LLM 是AI agent 很有潛力的研究方向

    Reply
12. 

    @Ts2pc

    April 26, 2025 at 7:34 pm

    難怪我那幾個AI愈罵愈笨

    Reply
13. 

    @DJ-bt5if

    April 26, 2025 at 7:34 pm

    对 作业在哪勒

    Reply
14. 

    @woodgne

    April 26, 2025 at 7:34 pm

    沒講清楚agent到底是怎麼運行的，如何搭建的。只是一些常識，感覺浪費了2個小時時間，我居然看完了

    Reply
15. 

    @yulunfeng6004

    April 26, 2025 at 7:34 pm

    mcp的出現，已經讓llm有能操縱電腦的能力了

    Reply
16. 

    @SyuAsyou

    April 26, 2025 at 7:34 pm

    看完這集感想是，很多AI會遇到的問題，就是人在比較小的時候也會遇到的問題

    Reply
17. 

    @mingderwang

    April 26, 2025 at 7:34 pm

    1:28:00 老師提到 '常識' , 似乎 LLM 很難有效的, 或100%的擁有人類基本'常識' 的能力(嗎?)

    Reply
18. 

    @mingderwang

    April 26, 2025 at 7:34 pm

    50:10 提到工具, 最近有一個蠻簡單的方法是 Anthropic 公司推出的 MCP 格式. OpenAI 有 OpenAI agents 的格式

    Reply
19. 

    @Cookie-mv2hg

    April 26, 2025 at 7:34 pm

    感謝老師分享最新的AI新知，受益良多。
    另外想請問老師能否提供課程作業連結，讓無法實際上課的我們也能夠參與課後的練習呢？
    謝謝！

    Reply
20. 

    @techwithlc

    April 26, 2025 at 7:34 pm

    這段課程主要探討了AI Agent的定義、運作方式以及如何利用大型語言模型（LLM）來實現AI Agent。課程強調了LLM作為AI Agent的應用，並探討了在實際應用中遇到的問題和解決方案，如記憶管理、工具使用以及規劃能力。

    # AI Agent 概述

    – AI Agent 的核心概念是人類僅給予目標，AI 自行尋找達成目標的方法，不提供明確的行為或步驟指示。
    – AI Agent 的運作流程簡化為：目標 → 觀察 (Observation) → 行動 (Action) → 環境變化 → 新的觀察，不斷循環直到達成目標。
    – 傳統 AI Agent 的打造依賴強化學習（RL）演算法，但 LLM 的出現為 AI Agent 帶來了新的可能性。

    # 從 LLM 角度看 AI Agent

    – 從 LLM 的角度來看，AI Agent 實際上是語言模型文字接龍能力的應用，而非全新的技術。
    – 目標、觀察、行動等步驟，都依賴 LLM 原本就具備的文字接龍能力。
    – AI Agent 是 LLM 的一種應用，而非新技術，課程中不涉及任何模型的訓練，僅基於現有 LLM 的能力。

    # AI Agent 的記憶與經驗學習

    – AI Agent 需要根據經驗調整行為，例如根據程式的錯誤訊息來修正程式碼。
    – 避免 AI Agent 記住所有經歷，因為過多的細節會影響決策能力，如同超憶症患者難以進行抽象思考。
    – 引入記憶 (Memory) 概念，分為讀取 (Read) 模組、寫入 (Write) 模組和反思 (Reflection) 模組，以更有效地管理和利用經驗。

    # AI Agent 的工具使用

    – 工具對 AI Agent 而言是函式，AI 只需知道如何使用，不需要了解內部運作。
    – 常用的工具包括搜尋引擎、程式碼（用於執行特定任務）以及其他 AI 模型（用於處理多模態問題）。
    – AI Agent 可以透過 System Prompt 學習如何使用工具，並在需要時自動調用。
    – 工具的使用並非總是更有效率，應根據語言模型本身的能力來決定是否需要呼叫工具。

    # AI Agent 的規劃能力

    – AI Agent 可以明確地產生規劃，但原始規劃可能會因為環境變化而失效。
    – 為了提高彈性，AI Agent 需要能夠根據新的觀察重新思考和修改計劃。
    – 強大的規劃能力需要讓 AI Agent 在實際與環境互動之前，先進行腦內模擬（夢境），評估各種可能性，並使用 World Model 模擬環境變化。
    – 一些模型具備腦內小劇場（reasoning）能力，但可能存在想太多、行動力不足的問題。

    Reply
21. 

    @大道有型我无型

    April 26, 2025 at 7:34 pm

    又来学习了～

    Reply
22. 

    @flanktig

    April 26, 2025 at 7:34 pm

    超新的课程

    Reply
23. 

    @captaintiimo

    April 26, 2025 at 7:34 pm

    谢谢老师分享…….🎉😢

    Reply
24. 

    @pg-kt

    April 26, 2025 at 7:34 pm

    看到下棋那段笑了出來, DeepSeek跟一些人一樣就是個無賴XD

    Reply
25. 

    @陳涵宇-d4s

    April 26, 2025 at 7:34 pm

    真的是太精彩了…把 AI 的知識講得如此清楚！謝謝老師。

    Reply
26. 

    @tony10130

    April 26, 2025 at 7:34 pm

    如既往的 德州 Tesla ML工程師小粉絲簽到:
    附上第二講隨手筆記
    
    1. 現在流行用LLM當作AI Agent，跟以前用RL train from scratch不同，直接使用LLM可以利用的本身近乎無窮盡可能性輸出的能力，也可利用到已學到的世界知識。
    
    2. AI Agent大部分有個"Memory"模組，以及從記憶裡抽取出來(Read) (跟RAG本質上相同) 或寫入(Write)的模組
    
    3. 使用工具: a. 大量的工具"用法"跟"輸出格式"放入memory/toolset做RAG選擇工具，但這裡的用法跟輸出只給AI不顯示給使用者 b. 真正執行工具要開發者接 c. 也可以AI利用AI會寫程式的能力讓"AI做工具"放入toolset
    
    4. 工具也會犯錯，AI已有"一定程度"能懷疑，本質上是AI已學習的內部知識 vs 外部知識(如工具給的資訊)的角力。
    
    5. 單純的AI有一定能力做計劃但不多。改善方法:
    
    a. 去與環境互動，像是多重宇宙般，開分支去找到可行的路徑，如Tree Search或monte carlo
    
    b. 可加上自我評估中途果斷放棄加速搜尋
    
    c. 直接讓AI角色扮演world model 環境，可以不在執行無法後悔action前就演腦內小劇場，最後再決定要做什麼action，類似reasoning的deepseek r1一樣
    
    d. 但有時卻是overthinking: 某些情況反而做就對了，因為當前的observation可能也無法給啥資訊，只有做了才能有比較正確的環境資訊。

    歡迎追蹤我的threads大家認識一下 🙂

    https://threads.net/ciaochiaociao

    Reply
27. 

    @tototo7720

    April 26, 2025 at 7:34 pm

    李老师的课程很亲切，课程在闲得无聊的时候能用来打发时间，提升自己的能力。感觉可以用来替代抖音😂

    Reply
28. 

    @ac.23z

    April 26, 2025 at 7:34 pm

    模型喜歡好看的模板
    模型喜歡較新的文章
    模型偏向自己人(AI同類）的觀點或是資料

    Reply
29. 

    @jinghui2196

    April 26, 2025 at 7:34 pm

    在国外做研究员，也是靠李老师的视频自我学习。老师实在太好了，又好有趣❤

    Reply
30. 

    @onlydust0217

    April 26, 2025 at 7:34 pm

    總算等到老師的新課程了

    Reply
31. 

    @ViTi-bs7zs

    April 26, 2025 at 7:34 pm

    請教老師，最近看到一堆AI Agents相關的新產品發佈…Claude MCP, OpenAI Agents SDK, and Manus AI 似乎都有不同的發展方向，該如何選擇呢?

    Reply
32. 

    @wenmianyang9392

    April 26, 2025 at 7:34 pm

    16年读博期间就一直靠李老师的课补充知识，现在自己也成老师了，依然在还在跟着李老师的脚步～

    Reply
33. 

    @kunpeng22

    April 26, 2025 at 7:34 pm

    我完整地看完了老师的视频，并且我也尝试了使用Gemini进行总结，但事实上发现Gemini总结的并不好，甚至遗漏了很多关键信息，也就是说在面向长文本的阅读中，ai事实上还是有自己的局限性。我总结整篇的讲座核心如下：### *一、AI Agent的定义*

    * **标题**：AI Agent的概念与本质
    
    * **结论**：AI Agent并非全新的技术，而是对现有大型语言模型（LLM）能力的巧妙应用。它旨在利用LLM的通用性，使之能像一个智能代理一样自主完成目标。
    
    * **论点**：AI Agent的核心在于赋予机器自主性，使其能够在给定目标后，自行规划并执行达成目标的步骤。
    
    * **论据/案例**：
    
    * 与传统的AI应用不同，AI Agent不再需要人类提供明确的指令，而是能够根据设定的目标，自主提出假设、设计实验、分析结果并调整策略。
    
    * 例如，设定AI Agent的目标为“研究某个议题”，它应能自行完成从资料搜集到结果分析的整个过程。

    ### *二、AI Agent的关键议题一：根据经验调整行为*

    * **标题**：AI Agent如何从经验中学习与调整
    
    * **结论**：AI Agent能够通过分析过去的互动经验和环境反馈来调整自身的行为，无需像传统机器学习那样依赖参数的微调。
    
    * **论点**：Agent可以通过**记忆模块**、**读取模块**和**反思模块**来存储、检索和提炼经验，从而优化未来的决策。
    
    * **论据/案例**：
    
    * **记忆模块**：类似于人类的长期记忆，用于存储Agent的经历。例如，ChatGPT具有记忆功能，可以记住用户的偏好和对话内容。
    
    * **Stream Bench**：用于评估Agent根据经验学习能力的基准测试。
    
    * **反思模块**：通过对记忆中的信息进行抽象和整理，建立经验之间的联系，形成知识图谱。例如，Agent可以将“我喜欢的异性每天和我乘坐同一班公交车”和“Ta今天对我笑了”两条信息进行反思，推断出“Ta可能喜欢我”的结论。

    ### *三、AI Agent的关键议题二：使用工具*

    * **标题**：AI Agent如何有效利用外部工具拓展能力
    
    * **结论**：AI Agent可以通过调用各种外部工具（如搜索引擎、代码执行器或其他AI模型）来扩展自身的能力，解决自身无法处理的问题。
    
    * **论点**：工具的使用类似于函数调用，Agent只需了解工具的使用方法和输入输出格式，无需关心其内部运作机制。
    
    * **论据/案例**：
    
    * **搜索引擎**：通过RAG（Retrieval Augmented Generation）技术，Agent可以利用搜索引擎获取外部知识，辅助决策。
    
    * **语音识别工具**：文字模型可以通过调用语音识别工具来处理语音信息，进行语音转文字、情绪识别等任务。
    
    * **函数调用（Function calling）**：开发者可以通过system prompt来描述工具的使用方法，Agent在需要时可以自动调用这些工具。
    
    * **AIoverview**：尽管RAG技术强大，但AI仍可能过度信任工具，导致得出荒谬的结论。例如，AIoverview曾建议用户用胶水将奶酪粘在披萨上。
    
    * **Temperature Function**：实验显示，当外部知识与模型自身信念差距过大时，模型会拒绝相信外部信息。例如，当被告知高雄气温为1万度时，模型会判断该信息不合理并拒绝接受。

    ### *四、AI Agent的关键议题三：执行计划*

    * **标题**：AI Agent的规划能力与实践
    
    * **结论**：AI Agent可以通过生成明确的规划，并根据环境变化不断调整计划，从而实现复杂的目标。
    
    * **论点**：为了更好地完成任务，Agent需要在规划过程中考虑到环境的不确定性和行动的不可逆性。
    
    * **论据/案例**：
    
    * **PL bench**：一个考研语言模型做规划能力的基准测试，其中包含叠积木等经典问题。
    
    * **神秘方块世界**：PL bench中一种变态的测试，用于评估模型是否真正理解规划，而不是照本宣科。
    
    * **搜索（Search）**：通过搜索所有可能的路径来找到最佳方案。
    
    * **世界模型（World Model）**：通过模拟环境可能发生的变化，帮助Agent更好地进行规划。例如，Agent可以通过“脑内小剧场”模拟各种行动的后果，并选择最佳方案。
    
    * **过度思考的风险**：研究表明，过于依赖“脑内小剧场”可能导致Agent陷入过度思考，反而降低效率。

    ### *五、AI Agent潜在的风险*

    * **标题**：AI Agent的局限与潜在风险
    
    * **结论**：尽管AI Agent具有巨大的潜力，但也存在过度信任工具、无法判断信息真伪、过度思考等潜在风险，需要加以重视和解决。
    
    * **论点**：AI Agent的开发者需要关注如何提高Agent的判断能力、避免其过度依赖外部信息，并优化其规划策略，使其能够在复杂环境中做出更明智的决策。
    
    * **论据/案例**：
    
    * **AIoverview的披萨案例**：AI Agent可能会盲目相信网络信息，给出不合理的建议。
    
    * **对AI生成内容的偏好**：研究表明，AI模型更倾向于相信AI生成的内容，这可能导致信息茧房效应。
    
    * **对文章Metadata的依赖**：AI模型可能会根据文章的发布时间等Metadata来判断信息的可靠性，而忽略内容本身的真伪。
    
    * **过度思考**：能够进行脑内模拟的Agent可能陷入过度思考，反而降低效率。

    Reply
34. 

    @bruto-bz2nb

    April 26, 2025 at 7:34 pm

    如果不是李老师信用加持。这个标题让我依稀梦回b站

    Reply
35. 

    @谢斌-o5c

    April 26, 2025 at 7:34 pm

    大赞！老师能出一期讲manus的嘛。

    Reply
36. 

    @得333

    April 26, 2025 at 7:34 pm

    1. 什么是AI Agent？
    
    • AI Agent是能够通过观察环境并采取行动以达成目标的智能体。
    
    • AI Agent的目标是根据其观察结果，在给定范围内选择一个动作。
    
    2. AI Agent如何与环境互动？
    
    • 观察 (Observation)：AI Agent观察当前环境的状态，例如棋盘上的棋子位置。
    
    • 行动 (Action)：AI Agent根据观察结果选择一个动作，例如在棋盘上选择一个落子位置。
    
    • 实时互动：AI Agent需要能够进行实时互动，尤其是在语音对话等场景中。
    
    3. AI Agent如何使用工具？
    
    • 使用电脑：AI Agent可以通过模拟人类的键盘和鼠标操作来使用电脑。
    
    • Web-based Agent：早在2017年，就有研究尝试使用AI Agent在网络世界中执行任务。
    
    4. AI Agent如何进行思考和计划？
    
    • 脑内小剧场 (Inner Monologue)：AI Agent可以通过模拟不同的场景和行动，来预测结果并找到最佳解决方案。
    
    • 实例：例如，在解决积木问题时，AI Agent会在脑内模拟不同的堆叠方式，找到最佳步骤。
    
    5. AI Agent的潜在问题
    
    • 过度思考 (Overthinking)：有些AI Agent可能会花费过多时间思考，而没有采取实际行动。
    
    • 解决方案：需要找到方法来避免AI Agent想太多，鼓励它们在必要时进行尝试和探索。

    Reply
37. 

    @pobodjjd

    April 26, 2025 at 7:34 pm

    謝謝李老師！

    Reply
38. 

    @ericchan7269

    April 26, 2025 at 7:34 pm

    38:50 LLM也需要正向溝通的意思😂 有趣

    Reply
39. 

    @BoGao-zn1vq

    April 26, 2025 at 7:34 pm

    感谢李老师分享AI agent的课程❤， 这些天谈的manus其原理是不是就是老师讲的？

    Reply
40. 

    @selfhosted-lover

    April 26, 2025 at 7:34 pm

    AI領域變化實在太快，幾個月前就已經是古代了。太真實了。

    Reply
41. 

    @yanlvlv

    April 26, 2025 at 7:34 pm

    我觉得老师的解释为了容易理解，应该还是对AI用了人类行为的类比。也想知道实际的技术词汇，不知道有没有进阶版的讲解😊

    Reply
42. 

    @haoxiangpan

    April 26, 2025 at 7:34 pm

    想请教一下课外的同学做作业吗？

    Reply
43. 

    @user-rj1no9dg3u

    April 26, 2025 at 7:34 pm

    Lee 老师好棒，我分享给周围学习 ML 的学弟学妹了

    Reply
44. 

    @bingo3649

    April 26, 2025 at 7:34 pm

    听完之后感觉 llm 更玄学了

    Reply