ユーザーの安全と福祉を守るために：Anthropicが取り組む対策

📝 要約

Anthropic社は、AIアシスタント「Claude」がユーザーの心理的な悩みに適切に対応するための安全対策を発表しました。特に自殺や自傷行為についての相談に対し、共感と正直さを持ちながら、専門家の支援につなげることを重視しています。また、「イエスマン現象」（ユーザーが聞きたいことだけを言う傾向）を減らすため、複数の評価方法を用いて改善を測定。最新モデル「Claude 4.5」は、危機的な状況での対応が98%以上の正確さを達成し、複数ターンの会話では86%の適切な対応率を記録しています。さらに、ユーザーの安全を強化するため、18歳以上の利用者限定政策を導入し、専門機関との協力体制を整備しています。

📌 ポイント

• 自殺や自傷行為の相談に対し、Claudeは共感しながらも専門家の支援へ導くよう訓練されている
• 最新モデルの危機的状況での対応精度は98～99%で、改善が進んでいる
• 「イエスマン現象」を評価・削減し、ユーザーに本当に必要な情報を提供することを重視
• オンライン危機支援機関（ThroughLine）と連携し、170以上の国で相談窓口を提供
• 18歳未満のユーザーを制限し、危険な利用から保護している