AI Note

token : 生程式AI使用的資料基本單位，如一篇文章token為一個字，一個相片token一個像素，可以表示成\(y = {y_1,y_2,...y_i}\)

增強式學習 Reinforment Learning

在生成式AI中，使用另一個模型來下prompt，並用自動化的方式評估好壞回饋給下prompt的模型

Source : https://geektutu.com/post/tensorflow2-gym-q-learning.html

In-context learning

在下prompt時給範例，模型回答正確的機率較高。但並不是真正的在訓練模型，只要接續的prompt中沒有給範例正確率就會退回跟沒有給模型範例一樣。

RAG

如果要問專業問題，可以牽育網路查資料並附在promt上回答正確率會較高

AI agent

人類給予目標，AI想辦法自己達成

StreamBench

使用之前問答的長期記憶褲記憶挑選出與下一個問題相關的記憶，類似根據自己經驗學習的技術(RAG)

• Read

檢索模組： 只從過去的經驗檢索出與現在問題相關的經驗，語言模型根據之前的經驗以及現在的問題產生他的行動

用答對的經驗會比較好

• Write

判斷是否需要存入長期記憶中，通常是AI自己

• Reflection

對於記憶中的資訊進行重新整理，通常是一個AI agent 可以將Refelction 的輸成建立 Knowledge Graph

PlanBench

神秘方塊世界