つくる
古い3DSに、話せる相棒を。
公開日
旧3DSで、AIの相棒「いーすけ」と話せるアプリをつくりました。小さな画面の見た目を整えたり、HOMEでも動かそうとしてつまずいたり。11月11日時点の制作記録です。
手元にある古い3DSで、AIの「いーすけ」と話せるアプリをつくっています。名前は dots です。
3DSにはマイクもスピーカーも付いているので、これで話しかけて返事が聞けたら面白そうだな、と思ったのがきっかけでした。以前M5Stackで試したように、音声をMacへ送ればできそうです。
上下ふたつの画面に何を出すか、ボタンをどう使うか。そのあたりも考えながら、旧型の3DSで動くものをつくり始めました。
まずは、話せるところまで
音声の文字起こしや、AIの返事を考える処理はMacに任せています。3DSで録音して、Wi-FiでMacへ送る。返ってきた音声を3DSのスピーカーで再生する、という仕組みです。
最初はChatGPTアプリにつなぐ方法を試しました。仮想マイクに録音した音声を流すところまで用意したのですが、話すたびに通話を始めるのが少し面倒で。録音した音声をMac側のプログラムに直接送るように変えました。
いまはdotsを開いて、ボタンを押しながら話すと、3DSから返事が聞けます。
上の画面には青いいーすけを表示して、下の画面に「話す」「ゲームを開く」「SDカードを見る」といった操作をまとめました。Aボタンでなでることもできます。
動くと、見た目も気になる
ひとまず会話ができるようになると、今度は画面の見た目が気になってきました。
画面がちらつく。文字や画像が粗い。ボタンの中で文字がちょっとずれている。Macで見ていたときは気にならなかったところも、3DSに出してみると目に付きます。
文字の描き方を変えたり、余白やボタンの位置を直したりして、少しずつ調整しました。いーすけにはまばたきや反応も付けています。話していないときも、画面の中にいてくれる感じにしたかったので。
HOMEメニューに並ぶdotsのアイコンもつくりました。選ぶと上の画面に立体のキャラクターが出て、くるくる回ります。起動する前のところにも手を入れています。
直すたびに、3DSへ送る
画面を少し直すだけでも、ビルドしたアプリを3DSへ送って、インストールして、実機で確かめる必要があります。ずれていたらMacに戻って直して、また送る。この繰り返しでした。
最初はそのたびにSDカードをMacへ差し替えていましたが、途中から無線でも更新を送るようにしました。
会話以外の機能も少しずつ増えています。SDカードのファイルを見たり、作ったゲームを受け取って起動したり。Macから3DSのボタンを操作して、画面を受信する実験もしました。
HOMEでも話せるようにしたかったけれど
ここまで動くと、dotsを開いていないときにも話しかけたくなります。HOMEメニューにいるときや、別のゲームで遊んでいるときに、ボタンを押したらいーすけが返事をしてくれたらいいなと。
それで、裏で動き続ける仕組みもつくり始めたのですが、ここはまだうまくいっていません。
遠隔操作と画面転送を自動で起動する実験に続いて、音声用の常駐モジュールもつくりました。ただ、読み込みでエラーになったり、起動の要求は通っているのに使える状態にならなかったり。原因を調べるための処理を足して実機で試しているうちに、システムごとクラッシュすることもありました。
いまは変更していたLumaを公式版に戻して、ふつうのdotsが起動する状態にしています。常駐版のほうは、まだ使えません。
会話するアプリが動いたので、その先も試してみたのですが、ほかのアプリと一緒に動かすところで止まっています。マイクや音声出力、メモリをどう使うのか。本体の仕組みを、もう少し調べる必要がありそうです。
11月11日時点では、dotsを開いている間なら、いーすけと話せるところまでできました。HOMEでも呼び出せるようにするのは、もう少し先になりそうです。
