ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy

automatically summarised by GPT

ChatGPTの長いプロンプトの有効性を評価する方法を提案します。まず、期待する回答の基準点を定めます。例えば、経済産業省の「AI導入ガイドブック」を基準に、ChatGPTに「中小企業がAIを活かせる業務領域を特定するためのステップを教えてください」と質問します。次に、回答に影響を与えるプロンプト（インストラクション）を用意し、期待する回答にどれだけ近いか検証します。評価観点は期待回答との一致とプロンプト間の回答の差異です。結果、期待回答との一致率が同程度であれば、シンプルなプロンプトの方が効率的であることがわかります。この手法は、他の生成系AIにも応用可能です。