役者のトラッキング

大規模な劇場では、役者の位置をリアルタイムに把握する「トラッキング」技術の導入が進みつつあります[1]。

役者の位置がわかれば、立体音響と組み合わせてマイクの声を役者のいる方向から鳴らしたり、照明を役者の動きやアドリブに合わせて追従させたりと、演出の幅が大きく広がります。

一方、既存の手法の多くは深度センサや役者に取り付ける赤外線マーカー・発信器など、専用の高価な機材を前提としており、小規模な劇場ではほとんど導入されていません。

そこで本実験では、手元にあるスマートフォンのカメラと、無料で公開されているオープンソースの画像認識モデルだけで役者のトラッキングを試み、どこまでの精度が出るのか、どこに限界があるのかを確かめました。

システムの全体像を図1に示しました。
大きく分けて、事前学習と推論の2つのステップから成ります。

事前学習では、各役者の画像から抽出した特徴ベクトルをもとに、役者ごとの代表ベクトルを登録しました。

推論では、この代表ベクトルと照合して、カメラ映像に写った人物を識別しました。

使用した技術スタックを表1に示します。モデルはいずれも無料で利用できるもので、利用した機材はスマートフォンとノートPCのみです。

事前学習

事前学習では、役者2人に対し、1人ずつカメラの前で数分間動いてもらい、検出された人物の画像を自動で切り出して保存しました。

1人あたり約150枚の学習用画像データを集めました。役者ごとに全ての画像に対して、特徴抽出モデルOSNetを適用して512次元の特徴ベクトル（L2正規化）を抽出し、これらの平均をその役者の代表ベクトルとして登録しました。

推論

本番の映像から切り出した画像を特徴ベクトルに変換し、各役者の代表ベクトルとの内積をとり、ソフトマックス関数の出力値を用いて判定しました。

工夫した点

リアルタイムで安定して動かすために、特に次の3点を工夫しました。

1. 多数決による判定の安定化：1フレームだけの判定は向きや姿勢で揺らぐため、同じ人物について直近15フレーム分の判定をまとめて多数決をとりました。多数決による判定の安定化：1フレームだけの判定は向きや姿勢で揺らぐため、同じ人物について直近15フレーム分の判定をまとめて多数決をとりました。
2. 重複の防止：「舞台上の同じ役者は同時に1人しかいない」という制約条件を入れ、2人を同じ役者と判定しないようにしました。重複の防止：「舞台上の同じ役者は同時に1人しかいない」という制約条件を入れ、2人を同じ役者と判定しないようにしました。
3. 計算の間引き：計算負荷の高い特徴抽出の計算を3フレームに1回だけ行い、その間は追跡の番号を頼りに前回の判定を引き継ぐことで、処理の遅れを抑えました。計算の間引き：計算負荷の高い特徴抽出の計算を3フレームに1回だけ行い、その間は追跡の番号を頼りに前回の判定を引き継ぐことで、処理の遅れを抑えました。

検出・追跡・識別のいずれも、1フレームごとの識別では正解率は8〜9割に留まりましたが、過去15回分の多数決をとると誤りはなくなりました。字幕システムへの座標のリアルタイム送信にも成功しました。一方で、次のような課題も明らかになりました（表2）。

照明の問題は、色のついた照明が肌や服の色そのものを変えてしまって、似た特徴量を抽出できなかったことが原因だと考えられます。同定において「色」が重要な要素である可能性が高く、学習データを撮る段階で本番の条件の照明をすべて含めることが必要だと分かりました。

また、役者が一定以上の距離に離れると、そもそも検出すらできなくなりました。最遠距離でも検出できる解像度のカメラを用いることが必要です。

処理速度は、カメラの解像度、人物検出の入力サイズ、特徴抽出の頻度に起因します。
今回はGPUを使わずノートPCのCPUだけで処理したため、特に特徴抽出の計算コストが高くなりました。
解像度や特徴抽出の頻度を下げれば速くなりますが、そのぶん識別精度は下がります。
精度と速度の釣り合いをどこでとるかが、実用化に向けた中心的な課題です。

さらに、役者の動きの速度が上がると追従に遅れが生じるようになりました。
カルマンフィルタなどを用いて予測を入れながら位置推定をすることで、役者の動きに自然に追従した座標取得が実現できるのではと考えています。

通信の途切れは、有線LANで接続することで改善できました。
座標の基準については、人物を囲む枠ではなく、骨格の推定（MediaPipe など）で頭や足元の位置を直接求めれば、腕の動きに左右されずに所望の位置が得られることが期待されます。

スマートフォンのカメラとオープンソースのモデルだけで、予想以上の精度で検出・追跡・識別ができました。
精度と速度がさらに向上すれば、低コストでのリアルタイムトラッキングが小規模な劇場でも現実的になり、役者の動きに応じて音響・照明・映像が反応するインタラクティブな演出の幅が広がると期待できます。

今後は、以下のような点に取り組みます。

1. 精度と速度の両立：モデルや処理の間引き方を調整し、識別精度を保ったままフレームレートを上げます。
   カルマンフィルターなどを導入して、役者の動きへの追従を滑らかにします。精度と速度の両立：モデルや処理の間引き方を調整し、識別精度を保ったままフレームレートを上げます。カルマンフィルターなどを導入して、役者の動きへの追従を滑らかにします。
2. 安定した接続：有線LANでカメラ入力と座標送信を行います。安定した接続：有線LANでカメラ入力と座標送信を行います。
3. 位置の基準の改善：骨格推定を用いて、頭上・足元など用途に合った位置を出力します。位置の基準の改善：骨格推定を用いて、頭上・足元など用途に合った位置を出力します。
4. 3次元化：今回はほぼ正面から撮影したため実質的に左右方向の位置しか得られませんでしたが、複数のカメラによる三角測量で3次元の位置を得られれば、立体音響や照明との連携が見えてくると考えています。3次元化：今回はほぼ正面から撮影したため実質的に左右方向の位置しか得られませんでしたが、複数のカメラによる三角測量で3次元の位置を得られれば、立体音響や照明との連携が見えてくると考えています。