株式会社朝日新聞社は、同社のメディア研究開発センター員である川畑輝氏が主著した論文が、自然言語処理分野における世界最高峰の国際学会「Empirical Methods in Natural Language Processing」（EMNLP）の本会議に採択されたと発表しました。EMNLPに同氏の論文が採択されるのは、2年連続となります。
今回の論文は、国立情報学研究所の菅原朗助教との共同研究成果をまとめたものです。大規模言語モデル（LLM）が応答する内容について、真偽性を自動評価するためのLLM（評価用LLM）の構築手法について提案しています。
これまでの研究では、評価用LLMは評価対象となるLLMが出力する最終的な結論の真偽のみに焦点を当てて構築されてきました。しかし、本論文では、結論を導くまでの過程や根拠の妥当性も評価できるような評価用LLMを学習する手法「Rationale Enhancement through Pairwise Selection: REPS」を提案しています。
本研究は、情報の受け手にとって「結論のみならず結論を導くまでの過程や根拠も重要である」ことに着目したものです。LLM自体の性能向上や、LLMの応答に含まれる嘘（ハルシネーション）の低減や検知にもつながる可能性があります。
朝日新聞社は最新技術、特にAI分野の研究を推進してきました。2021年4月に発足したメディア研究開発センターでは、人工知能をはじめとする先端メディア技術と、テキストや写真、音声といった新聞社ならではの資源を活用し、社内外の問題解決を目指すとともに、自然言語処理や画像処理などの先端技術の研究・開発を進めています。
EMNLPの本会議は2024年11月12日から16日まで米国フロリダ州マイアミで開催され、川畑氏が現地で発表する予定です。今回の研究成果は、LLMの評価手法の向上に貢献する可能性が高いものであり、AI技術の信頼性向上や適切な利用に向けた重要な一歩と言えるでしょう。
