AI開発の透明性を確保するための枠組み提案
Anthropic社は、急速に発展する最先端のAI開発における安全性と説明責任を確保するため、透明性の枠組みを提案しました。この枠組みは、最大規模のAI開発企業に対して、安全性対策を公開することを求めるものです。具体的には、企業が危険な使用法を評価・軽減する方法を示す「開発枠組み」の公開、テスト結果をまとめた「システムカード」の公開、虚偽申告を禁止することなどが含まれます。提案では、スタートアップ…
「安全性」の記事: 41件
Anthropic、最新AI(クロード)のセキュリティリスクを詳細に分析・発表
AI企業Anthropicは、最新のAIモデル「Claude」が国家安全保障に関わるリスクについて、1年間の研究結果を公開しました。サイバーセキュリティの分野では、Claudeが高校生レベルから大学生レベルへと急速に進化し、生物学の知識でも専門家レベルに近づいています。ただし現在のところ、これらのAIが実際の被害をもたらすほどの危険性には至っていないとのこと。Anthropicは米国の原子力規制機…
Anthropic、透明性ハブを立ち上げ—AI安全性への取り組みを公開
AI企業のAnthropicは、「透明性ハブ」という新しい情報公開窓口を立ち上げました。これは、自社が開発するAI（人工知能）システムがどのように安全で信頼できるものになっているのかを、社会に対して詳しく説明するためのものです。具体的には、AIの評価方法、不正利用の検出・対策、内部の安全管理体制、セキュリティ対策など、様々な情報を一元的に公開します。また、不正アカウントの件数、アカウント異議申し立…
Anthropic の責任ある AI 開発ポリシー - 安全性を重視した段階的な基準を発表
Anthropic は、AI 技術の発展に伴う危険性を管理するための「責任ある拡張ポリシー（RSP）」を発表しました。このポリシーは、生物兵器開発の悪用やAIの暴走によるテロ行為など、カタストロフ的なリスクに対応するものです。生物学的危険物を扱う際の安全基準をモデルにした「AI安全レベル（ASL）」という5段階の枠組みを導入。現在のClaudeはASL-2（早期段階で危険な能力を示す）に分類され、…
2024年の世界選挙に向けた準備：AIツールの不正使用防止対策
2024年は世界人口の半数以上が投票する選挙の年です。AI企業のAnthropicは、自社のAIツール「Claude」が選挙期間中に悪用されるのを防ぐため、複数の対策を実施しています。具体的には、政治キャンペーンでのAI使用を禁止するルール作成、AIが虚偽情報を広げないかテストする検査、そして投票方法を尋ねられた時は正確な情報源へユーザーを誘導することです。また、AIが自信を持って間違った情報を述…
AIの安全性を守るための「レッドティーミング」戦略
Anthropic社は、AI技術が国家安全保障に関わるリスク（生物兵器設計など）をもたらす可能性があると指摘し、これを測定・軽減するための「フロンティア脅威レッドティーミング」という取り組みを発表しました。生物学分野での試験プロジェクトで、専門家と150時間以上かけてAIモデルが危険な情報をどの程度出力できるかを調査。結果として、現在のAIモデルは危険な情報を生成する可能性があり、今後2～3年以内…
最先端のAIモデルのセキュリティ確保に向けた取り組み
Anthropicは、急速に進化するAIモデルの盗難や悪用を防ぐため、高度なセキュリティ対策の実装を発表しました。同社は、銀行の金庫のように「2つの鍵が必要」というルール（二者承認制）をAI開発に適用し、単独で重要なシステムにアクセスできないようにすることを推奨しています。また、ソフトウェア開発の業界標準（NIST基準）をAI開発にも適用し、開発から導入まで「どのモデルがどこから来たか」を追跡可能…
AI技術を安全に使うために：NIST（米国標準技術研究所）への積極的な投資を提案
AI技術が急速に進化し、社会に広がる中で、Anthropic社は「AI技術の能力とリスクを正確に測定・評価する仕組み」の重要性を指摘しています。同社は、政府機関であるNIST（米国標準技術研究所）への資金増額を提案しています。NISTは100年以上の歴史を持つ計測技術の専門機関で、現在AIシステムの安全性を測定する基準作りに取り組んでいます。しかし、最近の資金状況は十分ではなく、より多くの予算があ…
AI政策の重要な要素：第三者による安全性テスト
Anthropic社は、最先端のAI（人工知能）システムに対して、独立した第三者による安全性テストが必要だと主張しています。Claude（同社のAI）のような大規模なAI システムは、選挙の完全性、差別的な偏見、国家安全保障上の悪用など、様々なリスクをもたらす可能性があります。これらのリスクに対処するには、業界の自己管理だけでなく、政府や大学などの独立した機関による検証が不可欠です。同社は、食品や…
選挙関連のリスクをテストして軽減する取り組み
Anthropic社は、2024年の世界的な選挙に向けて、AI（人工知能）モデルが選挙に関する質問にどのように対応するかをテストし、改善する取り組みを行っています。専門家による詳細なテスト「ポリシー脆弱性テスト」と、大規模な自動評価を組み合わせることで、誤った情報の提供や悪用の可能性などのリスクを特定しています。テスト結果に基づいて、システムの更新やモデルの微調整などの対策を実施し、その効果を再度…