理想的なARグラスはまだない？　3Dスキャンアプリを無料で提供する理由は？　米Niantic技術トップに聞く

5/7(火) 16:27

　米Nianticは、非常に幅広い技術を持つ企業だ。

　多くの人にとっては「ポケモンGO」や「モンスターハンターNow」といった、位置情報ゲームの印象が強いだろう。

　一方で同社は、AR（拡張現実）関係の技術を多数持っており、WebベースでARを活用する「8th Wall」のほか、それらの技術を統合してARアプリケーションを作るプラットフォームである「Lightship」も展開している。

　さらには、米Qualcommと共同で「屋外でARを使う」ための試作デバイスも開発中だ。

　スマートフォンで周辺の風景や物体を3Dスキャンする「Scaniverse」というアプリケーションも提供している。これは3月に3D Gaussian Splatting対応のアップデートが行われ、ハイクオリティーなキャプチャーが可能になった。しかも無料だ。

・「iPhoneで空間スキャン」に本命あらわる　無料アプリ「Scanverse」が3D Gaussian Splattingに対応

　こうした幅広い施策はどのような考えで行われているのだろうか？また、Nianticが考えるAR・VRの未来はどのようなものになるのだろうか？

　同社エンジニアリング部門のシニア・バイスプレジデントであるブライアン・マクレンドン氏に話を聞いた。彼はGoogleマップやGoogle Earth、ストリートビューなどの開発をリードした人物であり、この分野では伝説的な人物でもある。

　彼とNianticが現状と未来をどう見ているのかを聞いた。なお、取材はオンラインで行っている。

●Quest 3／Vision Pro登場でAR市場はどうなる？

――まず現在のAR市場をどう見ていますか。Apple Vision Proなどいくつかのデバイスが登場していますが

マクレドン氏（以下敬称略）：世の中にはMeta Quest 3やApple Vision Proがあり、それをつけて人々が歩き回っているのを見ています。そして、屋外で動作するアプリケーションを書こうとしています。

　しかし、これらヘッドセットは屋外では決して役に立たない。

　将来的には、あなたや私がかけているような軽量のメガネを通して見ることができるようになるでしょう。だから私は、Meta Quest 3やApple Vision Proは、ARのための開発デバイスだと考えています。

――しかし、軽量なものを作るのはまだ大変です

マクレドン：確かに。中間的な段階として、ディスプレイのないRay-ban Metaのような存在はありうるでしょう。

　個人的には、携帯電話を持ち歩くのは苦痛です。携帯電話の代わりになるようなスマートグラスがあれば、たとえARができなくても、価値があると思います。そして、そうした問題解決には価値があるので、メガネに入るディスプレイや、スマートグラス自体のコストを実際に下げる効果が出るでしょう。

そして最終的には、副次的な効果として、本当に必要な6DoFの機能を持つスマートグラスが手に入ることになると思います。

――ただ現実的には、今はまだ理想的なスマートグラスはありません。現状では、スマートフォンとARヘッドセットを連携するのが現実的かもしれません。Nianticでも、「SKATRIX」というアプリで、スマホでプレイしているゲームをApple Vision Proからも楽しむ……という連携ができています。こうしたアプリの可能性はどうですか？

マクレドン：モバイルとヘッドセットのコラボレーションはとても興味があります。

　誰かがヘッドセットをつけていて、その様子を他人は見ているだけ……という状況は本当に退屈です。

　例えば、PCのディスプレイで、ヘッドセットをつけている人と同じものを見て体験できるとか、3人がスマートフォン上のARで見ているが、他の1人はヘッドセットでさらに濃い体験を共有できる……といったことが可能になれば、ヘッドセットの売り上げが伸びるでしょう。

　私たちは、そういうARを可能であることを示す、非常に興味深い技術的ソフトウェアを開発したと考えています。

●「位置」と「周囲」を認識する技術の今は？

――では現状、屋外に向けた技術はどうなっていますか？　特に、位置認識技術は重要です

マクレドン：私たちは、カメラの画像から正確に位置を把握する「Visual Positioning System（VPS）」にフォーカスしてきました。屋外の地図を作成し、カメラの画像から位置を正確に把握できるのですが、同様に屋内での位置把握もうまくいっています。

　この技術を使った共有AR機能は、弊社のフレームワークであるLightshipのSDKに追加されました。

　セマンティクス（意味把握）については2つの方向性があります。空間での位置を把握するセマンティクスと、リアルタイムセマンティクスの2つです。

　特にリアルタイムセマンティクスでは、15ミリ秒で200種類の物体を見分けられます。

　「Peridot」というゲームでその例を見ることができますが、クリーチャーは周囲の環境を認識し、それに反応します。これはリアルタイム・セマンティクスの力ですが、私たちは同時に、VPSも使って地図を作っています。

　その副次的な効果として、この場所のシーンにある「すべての種類のオブジェクト」のセマンティック・メッシュがあります。

　要は私たちは、世界のセマンティックなマップ（そこに置かれたものが何かという情報を把握した地図）を構築しているのです。

――そこで生成AIとの関係を伺います。マルチモーダルな生成AIを使うとセグメンテーションもセマンティックもできる。それらと現在のアプリケーションの関係を教えてください

マクレドン：それは非常にいい質問です。セグメンテーションを生成AIで行うのは、非常にコストが高い。あなたが写真を撮ってクラウドにアップロードし、セグメンテーションを計算するために多くのクラウドコストを使い、それを携帯電話に戻す。これにはコストもかかるし時間もかかります。

　弊社が方法は、15ミリ秒でリアルタイムのセマンティクスを提供し、そのセマンティクス情報をテキストにして生成AIにアップロードし、そこから見たことの説明を得るというものです。

　このように、私たちのセマンティック技術と生成AIは、組み合わせる形で成り立つのです。第一、その方がずっと安上がりですからね。

●ARと広告、WebXRの関係とは

――現在のARは広告に依存しています。ナイアンティックのビジネスとしても、8th Wallを使ったマーケティングキャンペーン向けのものが多い。こうした使い方の将来をどう見ていますか？

マクレドン：確かにその通りです。最近は「ポケモンGO」の中に8th Wallを使った広告を組み込みました。これはARになっていて、現実世界の中に3Dオブジェクトを組み合わせて体験できます

――ポケモンGOはUnityで作られたアプリケーションです。その中に、Web技術をベースとしている8th WallのARを組み込んだわけですね？

マクレドン：はい。ポケモンGOの中の広告をクリックすると、Webインタフェースのエクスペリエンスに切り替わり、ARで表示されます。1つの広告キャンペーンで何千万回ものインプレッションを獲得しました。大手ブランドがポケモンを活用するキャンペーンを構築するために契約しています。

――Web技術との融合について伺います。8th WallはWebからXRを使うオープンな「WebXR」をベースに作られています。こうした技術はより広がっていくのでしょうか

マクレドン：一般論として、アプリケーションを作るコストは、App StoreやGoogle Playではかなり高いです。

　しかしWeb技術ならそれが軽減できる。近い将来、もっと簡単になるでしょう。ARや単なる3Dゲームでの経験を作成するためのハードルも同様です。

――ということは、大規模なゲームなどを作るための技術もローカルアプリからウェブベース、特にWebXRに移行していくとお考えですか？

マクレドン：それが私たちの目標です。より複雑なアプリケーションを構築するためのいくつかの道筋が見えてきており、6月に開催されるAWE（アメリカ・ロングビーチで開催されるXR関連イベント）では、その一端をお見せできると思います。

　Unityは、大規模なゲーム開発を中心に多くの強みがあり、多くの大作ゲームがUnityを使っています。われわれのポケモンGOやMonster Hunter Nowもそうです。

　しかし、大規模なゲームをXRで開発するチャンスもあると思います。私たちが構築しているツールは、他の人にとっても非常に役に立つと信じています。

●3Dスキャンアプリを無料で提供している理由

――3Dスキャンアプリ「Scanverse」についてお伺いします。3月に、3D Gaussian Splattingに対応したのは驚きました。しかも、スマホ単体で利用可能で、非常に手軽かつ、素早い。他社はクラウドベースが多いですが、ローカル処理を選んだ理由はなんでしょうか？

マクレドン：メッシュスキャンであれ、3D Gaussian Splattingであれ、スキャンを作成した場合、最終的に思い通りにならなかったり、うまくいかなかったりすることが多々あります。

　でも、結果が分かるのが1時間後だったら、あなたはもう家に帰っているから、スキャンし直すことはできない。オンデバイスによる素早いフィードバックによって、私たちの技術なら、1分後には結果を見ることができます。

　Googleでアプリケーションを作っていた時代の経験から、素早く動くように作れば作るほど、より多くの人に使ってもらえることが分かっています。

　他社のクラウドベースのソリューションに比べ、われわれの技術は100倍の速度で処理できます。それができた根本的な理由は、競合他社がクラウドでやっていることに比べ、私たちがはるかに優れた実装を持っているからです。

　Gaussian Splattingは非常に新しい、2023年に論文発表されたばかりの技術です。弊社にはとても賢いエンジニアが何人かいて、問題をいったんばらばらにしてしまえば、物事をより速く進める方法を知っているんですよ。だから、論文にあるオープンソースのソリューションを採用する代わりに、エンジニアの1人がゼロからコアとなる原理からそれを構築し、はるかに高速化することができたわけです。

――なぜ無償で公開しているんでしょうか？

マクレドン：私たちも自問自答しています。今はまだ3Dスキャンの黎明期です。新しい機能が出てくるかもしれない。その時には有料にするかもしれませんし、別のやり方で提供するかもしれません。

　短期的には無料にするのがベストでしょう。そして、もし今以上の付加価値を提供できるのであれば、それに対して課金するかもしれません。

　ただ、これは弊社公式のスタンスではなく、あくまでも私見です。

――3Dで思い出を記録しやすくなっています。その市場性・可能性は？

マクレドン：私は長い間、CESや展示会に足を運び、さまざまな試みを経験してきました。最近のもので印象に残っているのは、ホログラフィーのような、特定の平面だけでなく、奥行きのあるものです。

　3Dテレビは普及しなかったし、ステレオペアの画像も普及していない。しかし、新しいキャプチャー技術が開発されれば、普及の可能性はあります。

　また、ある領域で考えると、フラットスクリーンよりもヘッドセットの方がより変化をもたらすのではないでしょうか。

　Meta Quest 3とApple Vision Poは、3Dコンテンツの消費デバイスとして素晴らしいものになると思いますよ。

●ARゲームの将来とは

――今後のARゲームの可能性について教えてください。どのようなものが生み出せると考えていますか？

マクレドン：ARには2つの方向性があります。ロケーションARとビジュアルARです。