PC操作系のAIエージェントも製品化が進みつつあるなぁ
2025年はAIエージェントが話題になる、という話を年末年始にしていた。
● 2025年はAIエージェントのビジネス実装が本格化するんだろうな
● 大規模言語モデル(LLM)やそのツールの情報整理2025年1月版
そこで挙げていたユースケースのカテゴリー3つのうち調査支援系とコーディング支援系は4末に最新の動向を記事にした通りで、なかなか製品化が進んで自前で作る余地は乏しくなってきてる。
残るPC操作系については、まだ発展の余地があるかもと思ってpythonライブラリのbrowser-useを使いながら手元でいろいろ試してたのだけど、
「日中に人の操作を学習し、寝ている間にAIが作業する」というコンセプトのPC Agentが登場した。
— K.Ishi@生成AIの産業応用 (@K_Ishi_AI) January 13, 2025
この研究では、人による実演データを用いてPCの操作手順を学習させ、動作を再現する実験を行った。
その結果、背後にある思考プロセスまで再現でき、人間らしい柔軟性を帯びた対応力の獲得に成功した。 https://t.co/j6Xtmgyzp2 pic.twitter.com/SGnPEis1ns
ここしばらく本来の業務に対応してるうちに、この分野も製品化が進んできたなぁ、とつくづく感じているところ。
Anthropicの「computer-use」が機能的には一番なのは変わりなさそうだけど、OpenAIの「operator」がかなり進んでるようだ。
ChatGPTの中に埋め込んで、チャットで簡単にショッピングする機能やWhatsAppとの連携なども登場したそうだ。
ブラウザのOperaがウェブ操作を代行するAIエージェント「Browser Operator」を発表してる。僕自身はOperaを使ったことないけど、ITのコアな人たちが使ってるのは聞いたことがある。
Introducing Opera’s Browser Operator!
— Opera (@opera) March 3, 2025
Imagine a browser that can just do things for you.
Finish tasks you might just find too complex or too boring.
Today, we're previewing a browser AI agent that gets shit done for you.
Let’s dig deeper! 🧵 pic.twitter.com/kgGJhATrgS
もともと企業における利用ニーズを取り込んでるmicrosoftも、Copilot Studioにcomputer-useを実装することで防戦体制ばっちり。
中国企業ならBytedanceがオープンソースでComputer useのマルチモーダルエージェントUI-TARS-1.5を出してる。動いてるところは「showcase」ページから確認できた。
ブラウザー操作のAIが進化すると、悪用する人も出てくるはずで、AIクローラーを無限生成迷路に閉じ込めたり、その対策もAIが!
一方で、その対策をかいくぐり「私はロボットではありません」と証明するオープンソースも登場、もうイタチごっこww
もうLLMが生成した多数のエージェントがブラウザ経由で行動することを前提に、その行動/思考ログを使ってサイト改善する次世代UXテスト基盤を提唱されたりも。
ここまで来たらPC操作系も、セキュリティ関連のリスクとコスト(browser-useで試したがトークン消費量が現状かなり多い)に目途がつくのは時間の問題で、その後に簡単に導入できる製品が増えて普及していくのは間違いない。
調査支援系とコーディング支援系、PC操作系といった僕が勝手に名付けていたような技術動向をウォッチするための粒度ではなく、本当に自分の業務を具体的に楽にすることに着手していかないとな、と。
