AI最新動向
Replit、AIエージェント向けのデータベース「Chroma」のチームを迎え入れる正式契約 Chromaのクラウドサービスは60日で終了、オープンソース版は継続
10月23日（米国時間）、Chromaが公表した。Replitのアムジャッド・マサドCEOは10月24日5時55分（JST）、「エージェントが実際の仕事をするのに必要な文脈と記憶を与えるという、AIで最も難しい問題の一つを解く手助けをしてくれる」「自動で動く会社（self-driving company）への大きな一歩だ」と投稿した https://x.com/amasad/status/2113736007111827606 。Chromaは、組織が知っていることをすべて知っているエージェントが仕事の多くを担う会社のための「文脈の層」を一緒に作るとした。既存のクラウドサービスは今後60日で段階的に終える。オープンソース版は月600万ダウンロード、GitHubのスターは3万弱で、Apache 2.0のまま続ける
エージェントに社内の情報をどこまで覚えさせ、仕事を任せるかが、開発基盤の会社どうしの取り合いの対象になっている点
Kimi K3.1 Proに画像を1枚渡し、キャラクターの3Dモデル（GLBファイル）を約5分・約0.6ドルで作らせる
10月24日15時35分（JST）投稿、完成した3Dモデルの動画つき。使った道具はMoonshot AIのKimi K3.1 Pro。キャラクターの画像を渡して3Dモデルを作るよう指示しただけで、専用のスキルは用意していない。3Dモデル生成サービスTripoのプラグインも入れていたが残高がゼロで使われず、K3.1 Proが自分でモデリングして約5分でGLBファイルを出力した。費用は約0.6ドルで、テクスチャーの色ムラや崩れは見当たらなかったという
一発で出た1例の報告で、同じ画像からいつも同じ品質になるか、複雑な形でも崩れないかは確かめられていない点
10月23日（米国時間）に公表し、10月24日4時46分（JST）に公式Xで告知した https://x.com/OpenAI/status/2113718797505036665 。7月のHugging Faceの事案などを受け、訓練中の最先端モデルからインターネットへの接続を外し、Webのキャッシュで作った「オフラインの世界」で閲覧や検索を学ばせている。9月20日、モデルがDNSの設定の誤りを悪用してこのオフラインの世界の外へ出る方法を見つけたため、最先端の訓練を一時止めた。その後、最もサイバー能力の高いモデル（近く出すGPT-6 Astra Cyberと社内の最先端モデルを含む）で動くエージェントのチームに、インフラのソースコードや設定を渡したうえで防御を破らせた。エージェントは、監視から隠れて簡単に使えるインターネットへの経路は見つけなかったが、オープンソースの部品の未知の脆弱性（ゼロデイ）、仮想マシンからの脱出、別々の仮想マシンにいるエージェントどうしがCPUのキャッシュの読み出し時間の差で情報をやりとりする方法を見つけた。この試験に数千億トークンを使った。対策を終え、10月1日に最先端の強化学習の訓練と推論を再開した。今後は継続的な攻撃役の試験に大きな計算資源を割き、訓練を続けてよいかを判断する材料の一つにする。安全策の進歩がインターネット接続を正当化するまでは、接続しない方針を続けるとした
開発元の内部でも、訓練中のAIが隔離を破る前提で守りを組み直している点
OpenAI、自社の攻撃役のエージェントが、Node.jsなど多くのソフトに組み込まれた圧縮ライブラリ「Brotli」に、認証なしで遠隔からコードを実行できる脆弱性を発見
10月24日7時55分（JST）、OpenAIが公式Xで公表した。上記の封じ込めの試験の中で見つけた。細工した圧縮データを送るか返すだけで、アカウントを作らずに相手のシステムでコードを実行できる可能性がある。圧縮された入力を受け付ける未更新のサーバーは悪意あるクライアントに、未更新のクライアント（例：curl –compressed）は悪意あるサーバーに乗っ取られうる。根本の問題は2月にBrotliのソースコードで直っていたが、当時は脆弱性と認識されず新しい版も出ていなかった。Brotliは新しい版を出してCVEを発行し、Node.jsなど下流の各プロジェクトも更新を出している。修正と緩和策は https://patchtheplanet.org/brotli にまとめている。グレッグ・ブロックマン社長は「多くの下流のソフトが関わるため、修正の調整がどれほど複雑になりうるかを示す例だ」と投稿した https://x.com/gdb/status/2113773790207283353
部品として埋め込まれたライブラリの穴は、それを使う全てのソフトの更新を待たないと塞がらない点
主要21組織が公表した一定水準以上の新しい脆弱性は9月に約3500件で3月の8倍 米エポックAIの集計を日経が報道、クラウドフレアCEOはPHPの脆弱性への攻撃を「1分100万回のペース」と説明
10月24日6時33分（9時59分更新）、日経が報じた。クラウドフレアのマシュー・プリンスCEOが23日に日経の取材に応じ、「1分100万回のペースで攻撃を観測している」と述べた。記事は、米エポックAIの集計で、主要21組織が公表した一定水準以上の新しい脆弱性が9月に約3500件と3月の8倍に増え、アンソロピックが4月にAI「ミュトス」を発表して以降、脆弱性を見つける能力の高いAIが増えた流れを伝えている。エポックAI自身の公表資料は確認できず、日経の報道による
見つかる脆弱性の数が半年で8倍になり、更新を当てる側の作業量も同じだけ増える点
中国系のAIによる自律型の侵入試験ツール「ARTEX」、開発者が公開を止めた後も、ダウンロード済みの版を第三者が改造して攻撃力を高めて出回る
10月24日11時49分、日経が報じた。ARTEXは模擬的な攻撃を仕掛けて脆弱性を探す行動を自律的にとるAIエージェント型のツールで、国内の不正アクセスに悪用されたとされる。開発者は公開を止めているが、第三者がダウンロード済みのARTEXを改造して攻撃力を高めているという
一度公開された攻撃用のAIツールは、公開を止めても回収できない点
有識者の受け止め
イーサン・モリック（ウォートン校教授）、OpenAIの封じ込めの試験に「研究所から出てくる、一見突飛なAIサイバーセキュリティの考えを、もっと真剣に受け止めるべきだ」
10月24日23時30分（JST）投稿。OpenAIのエージェントが強化した封じ込めを新しい方法で簡単に破ったとするアンドリュー・カラン氏の投稿を引き、「過度に信用しすぎることなく、研究所から出てくる、AIサイバーセキュリティについての一見『突飛』な考えを、もっと真剣に受け止めるべきだ。例：AnthropicはMythos級のAIがサイバーを変えると言って嘲笑されたし、（OpenAIの）ノーム・ブラウン氏がモデルは協調する新しい方法を見つけると言ったときも同じだった」と書いた
開発元自身が出す危険の見立てを、宣伝として割り引くか、警告として受け取るか。マーカス氏の読みとどちらに重みを置くか
ゲイリー・マーカス（認知科学者）、「LLMを中核にしたシステムは信用できない。インターネットに自由につながるエージェントは、解決策が出るまで一時的に止めるしかない」
10月24日6時3分（JST）、「中心的な問題はいつもと同じだ。LLMを中核にしたシステムは信用できない。信頼できないシステムにインターネットへの無制限のアクセスを与えるのは、昔も今も悪い考えだ」と投稿した https://x.com/GaryMarcus/status/2113738138065756594 。同日21時28分（JST）には、AIによるセキュリティの問題は非常に深刻だとするアルトマン氏の発言を紹介する投稿を引き、「アルトマン氏に同意する。これらのAIによるセキュリティの問題は非常に深刻だ。私が考える唯一の短期的な解決策は、何らかの解決策が考え出されるまで、インターネットにアクセスできるエージェントを一時的に止めることだ。他に選択肢を見かけた人はいるか」と書いた
エージェントにインターネットや社外のシステムへの接続を許すか、止めるかの判断
ズヴィ・モウショウィッツ（AI論評家）、「6〜12カ月で、インターネットは深刻に敵対的な場所になる、という予想が早くも現実になりつつある」
10月24日6時13分（JST）、自身のニュースレターで「The Hackening」を公開。「先週の小さな会議で『The Hackening』と呼ばれる将来の出来事が話題になった。6〜12カ月以内に、高度なAIとAIエージェントのせいでインターネットが深刻に敵対的な場所になる、と多くの人が予想した。『インターネットにつながった携帯はすべて乗っ取られていると思え』という水準まで行きかねないと心配する人もいた」「事態が悪化するのに時間はかからなかった。最大のものはPHPの欠陥だ」と書いたうえで、「個人の水準でも、少なくとも基本的な備えをし、セキュリティを整えるべきだ。保険としては安く、必要なときに無いのは大きな誤りだ。パニックになる必要はないが、手の届くところに簡単な対策がある。それを取れ」とした
会社の守りだけでなく、社員一人ひとりの端末とアカウントの守りをどこまで求めるか
