先日の記事「ChatGPTを使ってEESRの応答案を検討してみた」では、ChatGPTから妥当な応答案の出力が得られうることを説明しました。
今回の記事ではChatGPTから妥当なOAの応答案を得る上で私が試行錯誤の結果気を付けるべきと思った事項6点を紹介します。
1．役割および目的を明確にする
これは既に一般的に広く知られていることですが、ChatGPTに役割を目的を与えることでChatGPTの思考パターンを明確化し、理想的な出力を引き出せることできます。「ChatGPTを使ってEESRの応答案を検討してみた」で公開したChatGPTとの対話の全容はでは以下のプロンプトでChatGPTに求められる役割と目的を明確にしました。
「あなたは弁理士です。これから欧州特許庁が発行したEESRに対する応答案を検討してもらいます。よろしいですか？」
2．指示を細切れに出す
ChatGPTとの対話の全容を見てお気づきの方も多いかと思いますが、ChatGPTとの対話の全容では私はかなり細切れにChatGPTに指示を出しています。
指示を細切れに出すことのメリットは2つあります。
1つ目が細切れにすることでエラー率が下がります。OpenAI社も公式に認めているように複雑なタスクをより単純なサブタスクに分割することでより正確な出力を得ることができます。
2つ目がエラーを確認しやすくなることです。上述のように指示を細切れにすることでエラー率は下がりますが、それでもエラーが生じます。私の感覚では妥当なOAの応答案にたどり着くまでにChatGPTは少なくとも2回のエラーをします。指示を細切れにしてその都度フィードバックを得る進め方であればどの段階でエラーが発生したかを確認することが容易になり、エラーを修正しやすくなります。
3．まずはクレームの理解が正しいか確認する
ChatGPTが頻繁にするエラーの一つが出願書面のクレームの認識を誤ることです。
出願書面の別の箇所をクレームと認識したり、クレームの構成要件を見落としたりするといったエラーが比較的頻回に発生します。クレームの認識が誤っていればその後の先行技術との対比は無意味なものになります。したがってまずはChatGPTがクレームを正しく認識できたかを確認するために必要書面をアップロードした後は以下のプロンプトでChatGPTがクレームを正しく理解しているかを確認します。
「それではまず本願「Application.pdf」のクレーム１の構成要件を列挙してください」
4．引用文献との対比をクレームチャート式にアウトプットしてもらう
これは私の個人的な好みなのですが、クレームと引用文献との対比は以下のようなプロンプトでクレームチャート式に出力してもらうことをお勧めします。
「本願のクレーム１と引用文献D1とをクレームチャート式に比較してください」
当該プロンプトにより以下のようなクレームチャートを得ることができます。
引用文献の対比をクレームチャート式に出力してもらうことで、引用文献の記載内容の正誤、そしてChatGPTによる評価の正誤を確認しやすくなります。
5．クレームチャートの引用文献の内容が正しいか確認する
ChatGPTにクレームチャートを作成してもらったら、今後はクレームチャートにおける引用文献の情報が正しいかを確認します。ChatGPTにはハルシネーションと呼ばれる全く存在しない情報をあたかも事実のように出力する現象があるため、引用された箇所に本当にその情報が開示されているかを人間が確認します。だた私の感覚ではChatGPTは引用文献の情報の出力の段階ではあまりミスをしません。
6．ChatGPTによる新規性の評価が正しいか確認する
そしてChatGPTによる新規性の評価が正しいのかを確認します。
今回の例に用いたChatGPTとの対話ではChatGPTは以下の2点を相違点として認識しています。
①本願ではナリンギンの比率が0.10から0.50の範囲であるのに対し、引用文献D1ではその比率が不明である点。
②本願では果汁の含有量が1%以上30%以下であるのに対し、引用文献D1では少なくとも10％としか開示されていない点。
ChatGPTによる①の評価は妥当です。つまり「ナリンギンの比率が0.10から0.50の範囲である」という特徴に基づき、新規性を主張することができます。
一方で②の評価は失当です。欧州特許庁における数値範囲の新規性の判断ではクレームされた数値範囲内に引用文献の数値範囲の端点が含まれる場合は新規性は無いと判断されます（詳しくは過去の記事「欧州ではクレームされた数値範囲が公知範囲とオーバーラップすると新規性が否定されます」をご参照ください）。したがって本願の「含有量が1%以上30%以下」という特徴は、引用文献の「少なくとも10％」に対して新規ではないと判断されます。
このようにChatGPTによる新規性の評価にはエラーがあることが多いです。
エラーとしてよくあるのが、クレームされた特徴の下位概念を認識できなかったり、数値範囲の「以上」または「以下」を認識しなかったりなどがあげられます。
またGold Standard、Two List Principleそして上述したオーバーラップする数値範囲などの欧州特許庁特有の新規性判断手法が必要になる場面では、ほとんどの場合ChatGPTは新規性を正しく評価できません。
このためChatGPTによる新規性の評価は必ず人間がチェックしなければなりません。
結論
上述のようにChatGPTを用いたOAの応答案の検討は、必ずエラーが発生するという前提に基づいて進めなければなりません。したがって如何にしてChatGPTの出力するエラーに気づき、そのエラーを修正できるかがChatGPTを用いてOAの応答案を検討する上での大きな課題となります。
上述した「指示を細切れに出す」、「まずはクレームの理解が正しいか確認する」そして「引用文献との対比をクレームチャート式にアウトプットしてもらう」という点に気を付ければ、ChatGPTの出力するエラーを認識しやすくなり、適切な応答案にたどり着ける可能性が高まることが期待できます。
コメント