ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy

automatically summarised by GPT

ChatGPTの長いプロンプトが実際に有効なのか評価する方法を提案します。まず、期待する回答の基準点を定めます。例えば、経営問題についてアドバイスを求める場合、基準点は既存の文献や書籍から設定します。次に、回答に影響を与えるプロンプト（インストラクション）を用意し、それを評価します。評価観点は期待回答との一致とプロンプト間の回答の差異の2つです。この方法を用いて、長いプロンプトとシンプルなプロンプトを比較しました。結果、期待回答との一致率は同程度で、プロンプト間の差異も小さかったため、シンプルなプロンプトの方が効率的であると結論づけました。この手法は他の生成系AIにも応用可能です。