convaiとARKitを組み合わせてAIと表情豊かな会話を楽しむ

はじめに

私の在籍している大学では夏にオープンキャンパスを開催するのですが、今年はオープンラボも同時に開催され、私が所属する研究室からもいくつか出し物をすることになりました。私の研究室では主にゲームAI・感情・自然言語処理などをテーマとしているため、出し物もそれに関連したものにする必要があります。

私は昨今の流行りである生成系AIをUnityに取り入れ、「バーチャル空間でAIと会話してみよう」をテーマにプロジェクトを作成しました。

今回作成したプロジェクトのポスター

使用技術

Unity

プロジェクトの最終的な見た目を作成するのに使用したゲームエンジンです。このプロジェクトではUIや画面効果、画面遷移、フレームワーク間の連携で活躍しています。

convai

youtu.be今回のプロジェクトの中核となったフレームワークです。ゲームの中に会話やアクションのできるNPCを導入できます。今回のプロジェクトではAIとの会話部分で活躍しています。

ARKit

iPhoneのフェイストラッキング機能を利用して3Dキャラクターのブレンドシェイプを制御するためのフレームワークです。今回のプロジェクトではプレイヤーとNPCの表情を活き活きとさせるのに活躍しています。

デモ

youtu.be

オープンラボ当日の光景

自分のプロジェクト"Meta-Meta"のセクション

モニター、キーボード、マウス、iPhone、マイクがセットアップされています。キーボードのスペースキーを押している間だけプレイヤー（画面左）の音声を認識し、それに対してAI（画面右）が返答します。

おわりに

convaiとARKitを使用してAIと表情豊かな会話を楽しめるプロジェクトを作成しましたが、「バーチャル空間でAIと会話してみよう」というコンセプトを来場者の方々に十分に伝えられる出来になったのではないかと思います。