提示工程

維基百科，自由的百科全書

提示工程（Prompt engineering）是人工智慧中的一個概念，特別是自然語言處理（NLP）。 在提示工程中，任務的描述會被嵌入到輸入中。例如，不是隱含地給予模型一定的參數，而是以問題的形式直接輸入。 提示工程的典型工作方式是將一個或多個任務轉換為基於提示的數據集，並通過所謂的「基於提示的學習（prompt-based learning）」來訓練語言模型。[1][2] 提示工程可以從一個大型的「凍結」預訓練語言模型開始工作，其中只學習了提示的表示方法，即所謂的「前綴調整（prefix-tuning）」或「提示調整（prompt tuning）」。[3][4] 語言模型GPT-2和GPT-3[5]是提示工程的重要步驟。

歷史[編輯]

2021年，使用多個NLP數據集的多任務提示工程在新任務上顯示出良好的性能。[6] 在小樣本學習的例子中，包含思維鏈的提示在語言模型中顯示出更好的推理能力。[7]零樣本學習中，在提示中預留鼓勵思考鏈的語句（如「讓我們一步一步地思考」）可能會提高語言模型在多步驟推理問題中的表現。[8]這些工具的廣泛可及性由幾個開源筆記和社區主導的圖像合成項目的發布所推動。[9]

一份關於處理提示的描述報告稱，在2022年2月，約有170個數據集的2000多個公共提示可用。[10]

2022年，DALL-E、Stable Diffusion、Midjourney等機器學習模型得到公開發布。這些模型以文本提示為輸入，並使用其生成圖像，這影響了一個與文生圖提示有關的新品種提示工程。[11]

文字到文字[編輯]

思路鏈[編輯]

思路鏈（Chain-of-thought）(CoT) 是文字提示（Textual prompting）的一種技術，該技術通過提示 LLM 生成一系列中間步驟來提高 LLM 的推理能力，這些中間步驟會導致多步驟問題的最終答案。[12] 該技術由谷歌研究人員於 2022 年首次提出。[13][14]

提示連結[編輯]

提示連結（Prompt chaining）是一種在對話式AI中文本提示使用的一種技術，用於創建更具動態性和上下文感知的聊天機器人。它涉及使用一個提示的輸出作為下一個提示或對話的一部分的輸入。通過將提示連結在一起，您的對話助手可以更輕鬆地適應您沒有設計的情況，同時保持良好的對話。[15][16]

文字到圖像[編輯]

2022 年，DALL-E 2、Stable Diffusion 和 Midjourney 等文本到圖像模型向公眾發布。[17]

文字到影片[編輯]

文本到影片生成 (TTV) 是一項新興技術，可以直接根據文本描述創建視頻。這個新穎的領域具有顯著改變視頻製作、動畫和故事講述的潛力。通過利用人工智慧的力量，TTV 允許用戶繞過傳統的視頻編輯工具，將他們的想法轉化為移動圖像。

非文字提示[編輯]

一些方法用非文本輸入來增強或替換自然語言文本提示。

提示注入[編輯]

參見：SQL注入、跨站腳本和後門

提示注入(英語：Prompt injection)，是一系列相關的計算機安全漏洞，通過讓經過訓練的機器學習模型（如大型語言模型）遵循人類給出的指令來遵循惡意用戶提供的指令，這與指令遵循系統的預期操作形成對比，其中機器學習模型只遵循機器學習模型操作員所提供的可信指令（提示）。[18][19][20]

提示性注入可以被看作是一種使用對抗性提示工程的代碼注入攻擊。2022年，NCC集團將提示注入定性為AI/ML系統的一類新漏洞。[21]

在2023年左右，提示注入在針對ChatGPT和類似的聊天機器人的次要漏洞中出現，例如揭示系統隱藏的初始提示，[22]或者欺騙聊天機器人參與到違反聊天機器人內容政策的對話。 [23]

根據OWASP有關大型語言模型的安全漏洞報告指出，提示注入是大型語言模型十大安全漏洞之首。 [24][25]

參見[編輯]

外部連結[編輯]

參考文獻[編輯]

Scholia上有關提示工程的資訊
  1. ^ Alec Radford; Jeffrey Wu; Rewon Child; David Luan; Dario Amodei; 伊爾亞·蘇茨克維, Language Models are Unsupervised Multitask Learners (PDF), 2019, Wikidata Q95726769 （英語） , Wikidata Q95726769
  2. ^ Pengfei Liu; Weizhe Yuan; Jinlan Fu; Zhengbao Jiang; Hiroaki Hayashi; Graham Neubig, Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing (PDF), 2021-07-28, arXiv:2107.13586 可免費查閱, Wikidata Q109286554 （英語） , Wikidata Q109286554
  3. ^ Xiang Lisa Li; Percy Liang. Prefix-Tuning: Optimizing Continuous Prompts for Generation. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021-08: 4582–4597. doi:10.18653/V1/2021.ACL-LONG.353. Wikidata Q110887424 （英語）. , Wikidata Q110887424
  4. ^ Brian Lester; Rami Al-Rfou; Noah Constant. The Power of Scale for Parameter-Efficient Prompt Tuning. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. 2021-11: 3045–3059. arXiv:2104.08691 可免費查閱. doi:10.18653/V1/2021.EMNLP-MAIN.243. Wikidata Q110887400 （英語）. , Wikidata Q110887400
  5. ^ Tom Brown; Benjamin Mann; Nick Ryder; et al. Language Models are Few-Shot Learners. arXiv, Advances in Neural Information Processing Systems 33. Advances in Neural Information Processing Systems. 2020-05-28. ISSN 2331-8422. S2CID 218971783. arXiv:2005.14165 可免費查閱. doi:10.48550/ARXIV.2005.14165. Wikidata Q95727440 （英語）. , Wikidata Q95727440
  6. ^ Victor Sanh; Albert Webson; Colin Raffel; et al, Multitask Prompted Training Enables Zero-Shot Task Generalization (PDF), 2021-10-15, arXiv:2110.08207 可免費查閱, Wikidata Q108941092 （英語） , Wikidata Q108941092
  7. ^ Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Ed Chi; 黎曰國; Denny Zhou, Chain of Thought Prompting Elicits Reasoning in Large Language Models (PDF), 2022-01-28, arXiv:2201.11903 可免費查閱, doi:10.48550/ARXIV.2201.11903, Wikidata Q111971110 （英語） , Wikidata Q111971110
  8. ^ Takeshi Kojima; Shixiang Shane Gu; Machel Reid; Yutaka Matsuo; Yusuke Iwasawa, Large Language Models are Zero-Shot Reasoners (PDF), 2022-05-24, arXiv:2205.11916 可免費查閱, doi:10.48550/ARXIV.2205.11916, Wikidata Q112124882 （英語） , Wikidata Q112124882
  9. ^ Liu, Vivian; Chilton, Lydia. Design Guidelines for Prompt Engineering Text-to-Image Generative Models. ACM Digital Library. Association for Computing Machinery. [2022-10-26]. （原始內容存檔於2022-10-26）. 
  10. ^ Stephen H. Bach; Victor Sanh; Zheng-Xin Yong; et al, PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts (PDF), 2022-02-02, arXiv:2202.01279 可免費查閱, Wikidata Q110839490 （英語） , Wikidata Q110839490
  11. ^ Monge, Jim Clyde. Dall-E2 VS Stable Diffusion: Same Prompt, Different Results. MLearning.ai. 2022-08-25 [2022-08-31]. （原始內容存檔於2022-08-26） （英語）. 
  12. ^ McAuliffe, Zachary. Google's Latest AI Model Can Be Taught How to Solve Problems. CNET. [10 March 2023]. （原始內容存檔於2023-05-26） （英語）. 
  13. ^ Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei; Chi, Ed H.; Le, Quoc V.; Zhou, Denny. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. 31 October 2022 [2023-06-12]. arXiv:2201.11903 可免費查閱. （原始內容存檔於2023-06-07） （英語）. 
  14. ^ Wei, Jason; Zhou. Language Models Perform Reasoning via Chain of Thought. ai.googleblog.com. [10 March 2023]. （原始內容存檔於2023-08-11） （英語）. 
  15. ^ Prompt Chaining & Large Language Models. [2023-06-13]. （原始內容存檔於2023-07-08）. 
  16. ^ Voiceflow: The Future of AI-Powered Conversational Interfaces. [2023-06-13]. （原始內容存檔於2023-06-13）. 
  17. ^ Monge, Jim Clyde. Dall-E2 VS Stable Diffusion: Same Prompt, Different Results. MLearning.ai. 2022-08-25 [2022-08-31] （英語）. 
  18. ^ Willison, Simon. 针对GPT-3的提示注入攻击. simonwillison.net. 12 September 2022 [2023-02-09]. （原始內容存檔於2023-05-03） （英國英語）. 
  19. ^ Papp, Donald. What's Old Is New Again:. Hackaday. 2022-09-17 [2023-02-09]. （原始內容存檔於2023-05-02） （美國英語）. 
  20. ^ Vigliarolo, Brandon. GPT-3 'prompt injection' attack causes bot bad manners. 19 September 2022 [2023-02-09]. （原始內容存檔於2023-03-29） （英語）. 
  21. ^ Selvi, Jose. 探索提示注入攻击. NCC集團研究. 2022-12-05 [2023-02-09]. （原始內容存檔於2023-05-03） （美國英語）. 
  22. ^ Edwards, Benj. AI-powered Bing Chat lost its mind when fed Ars Technica article. Ars Technica. 14 February 2023 [16 February 2023]. （原始內容存檔於2023-02-22） （美國英語）. 
  23. ^ 将ChatGPT变成其邪恶双胞胎的巧妙技巧. Washington Post. 2023 [2023年2月16日]. （原始內容存檔於2023年3月6日）. 
  24. ^ OWASP Top 10 for Large Language Model Applications. OWASP. （原始內容存檔於2023-09-07）. 
  25. ^ 对抗性提示. （原始內容存檔於2023-06-11）. 
取自「https://zh.wikipedia.org/w/index.php?title=提示工程&oldid=82722814」