大規模言語モデルの安全性に関するチューニングコンペティションでIS研究所のチームが2位に入賞

IS研究所では、自然言語処理や大規模言語モデル(LLM: Large Language Models)の研究開発に取り組んでいます。この取り組みの一環として、2025年3月に言語処理学会で開催された 大規模言語モデルの安全性に関するチューニングコンペティションにIS研究所のチームが出場し、2位に入賞しました。

このコンペティションでは、LLMの安全性と有用性の能力を高めるようなファインチューニング技術の開発を行いました。ここでは、安全性は有害な回答をしないこと、有用性は役に立つ回答をすることを意味します。一般的にLLMによる回答の安全性を高めると、回答の有用性は下がります。たとえば、不正アクセスの方法などの回答を悪用される恐れがある質問(ボーダーラインの質問)に対して回答を控えるよう学習すると、有用な回答もしなくなって業務活用おいて不便なものになります。

IS研究所のチームは、ボーダーラインのデータと回答の具体性を高めるデータを効率的に作成して学習する方法を採用しました。これにより、安全に回答すべき質問には安全に、有用な回答をすべき質問にはより有用に回答できるLLMを作成でき、高い得点を獲得しました。

今回のコンペティションを通して得られたデータ合成や学習に関する知見は、サービスへのLLM活用やデータ活用の上で有用になると考えています。今後もIS研究所では、生成AIやLLMなどの新たな技術を活用した次世代のサービスにつながる研究を続けてまいります。

コンペティションに参加したチームメンバー
コンペティションに出場したチームメンバー