私自身、日々の弁理士業務において生成AIを積極的に活用している方だと思います。翻訳、先行技術の調査、先行技術の要約などでは期待以上の力を発揮してくれています。
一方でどんなにプロンプトなどを工夫しても期待外れの出力しか得られない業務も存在します。以下に、私が業務における生成AIの活用で感じた、少なくとも現時点において生成AIが苦手なことを列挙します。
長文記憶
最近の生成AIのモデルは扱える文字数（トークン量）が増えましたが、トークン量が増えれば増えるほど文献中の取りこぼすという現象が発生します。このため生成AIに一度に大量の特許文献を読み込ませた場合、各特許文献の内容を把握する能力が著しく劣化します。
例えば異議や侵害訴訟では50件以上の引用文献の中から自分達にとって有利な情報を抽出して、勝ち筋となりうるストーリーを構築するという作業があるのですが、私の経験では生成AIに一度に50件以上の引用文献を読み込ませると、各文献の細かい内容までは十分に把握してくれません。したがって大量の文献の中から自分達にとって有利な情報を抽出するという作業を正確にしてくれません。
長期記憶
上述した長文記憶の問題は生成AIに文献を1件ずつ読み込ませれば解消し得ます。トークン量を減らせば生成AIの情報を抽出する精度が向上するからです。
しかし勝ち筋となりうるストーリーを構築するには、1つの文献からだけの情報では不十分で、多数の文献からの情報を組み合わせる必要があります。このため勝ち筋となりうるストーリーを構築するには、多数の文献の内容を同時にかつ正確に把握しなければなりません。
「そしたら生成AIに文献を1件ずつ大量に読み込ませれば良いじゃないか」と思われるかもしれません。しかし生成AIでは検討が長期に及ぶと最初の方に取り込んだ情報が忘れられてしまうという現象が発生します。このため仮に文献を1件ずつ読み込ませたとしても、生成AIに多数の文献の内容を同時にかつ正確に把握させることは困難です。
一貫したストーリーを保持する
生成AIは「確率的に尤もらしい次の言葉」を生成することに最適化されているためか、出力が長くなればなるほど、論理の軸がぶれ、一貫性の無い場当たり的な内容組み合わせが多くなります。
例えば実施可能要件に対する反論としては適切だが、進歩性においては命取りとなりうる主張は控えるべきですが、生成AIは躊躇なく実施可能要件に対する反論として提案してきます。後の進歩性の議論で命取りとなることについては考慮してくれません。
また一貫的なストーリーが無いため、生成AIには長期的に有利な結果のための一見した不利な選択を検討することも苦手です。例えば実施可能要件のある論点においては、異議申立人が主張したことをあえて反論せず採用し、その主張を後の進歩性の議論において我々に有利に生かすという提案ができず、場当たり的に異議申立人のすべての主張に反論することだけを提案してきます。
このように生成AIは最終的な勝利のために一貫したストーリーに基づいて主張を控えたり一時的な譲歩を選ぶというような戦略的判断や駆け引きが苦手です。
まとめ
OA対応など読み込むべき文献数が少なく、長期的なストーリー展開が必要がない知財業務では生成AIは現時点でかなりのサポートとなり得ます。しかし読み込むべき文献数が膨大で、かつ長期的なストーリー展開が必要な異議や訴訟などの当事者の手続きでは、生成AIは少なくとも現時点ではかなり限定的にしか力を発揮できません。
しかし今後これらの能力が改善されていくかと思います。特に長文記憶そして長期記憶についてはこれまでかなりの改善があったことを実感できるので、今後は解決されるのではと考えます。
一方で「一貫したストーリーを保持する」ことには、もしかすると時間がかかるのかもしれません。「一貫したストーリーを保持する」には「ストーリーを創作する」という能力も必要になってくるかと思いますが、「ストーリーを創作する」には認知能力だけでなく、創作者の好みや、体験、感情などの意思が関与していることが多いからです。
