ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy

automatically summarised by GPT

ChatGPTの長いプロンプトの有効性を評価する方法を提案します。まず、期待する回答の基準点を定めます。例えば、中小企業がAIを活用するためのステップを尋ね、その回答を経済産業省のAI導入ガイドブックと比較します。次に、回答に影響を与えるプロンプト（インストラクション）を用意します。そして、それぞれのプロンプトで期待する回答にどれだけ近いかを評価します。結果、期待回答との一致率が同程度であれば、シンプルなプロンプトの方が効率的であることがわかります。この手法は、他の生成系AIにも応用可能である。