「フィジカルAI」と聞くと、工場や倉庫で動くロボットを思い浮かべる方が多いと思います。ただ、医療・介護施設や中小企業で先に関係してくるのは、ロボットを買うことよりも、今あるセンサー・カメラ・メーターの「記録」をAIに読ませることのほうです。
この記事では、当社が自社の検証用PCで試した3つの事例を紹介します。使ったのはすべて架空のデータ（作成したセンサーの記録、画像生成で作った居室の画像、プログラムで描いたメーターの画像）で、実在の施設・利用者・製品・設備のデータは使っていません。どれも数十枚・1晩分という小さな試験なので、結果は「傾向」として読んでください。
- フィジカルAIは、ロボットだけの話に限りません。今あるセンサー・カメラ・メーターの記録を読む使い方なら、施設や会社のPCで試せます
- 画像を読ませた事例2・3では、AIが強かったのは「選択肢から選ぶ」「範囲に入っているか答える」ところまで。メーターの数値を読む問いでは誤りが増え、カメラの姿勢も画質が悪くなると崩れました
- AIは分からなくても答えることがあります。「なかったこと」や画質の良し悪しはプログラムで先に確かめ、最後に人が確認する範囲を決めておくのが前提です
フィジカルAIの事例は、3つに分けると分かりやすい
フィジカルAIは、文章だけを扱うAIと違い、現実の世界の状態（人や物の位置・動き・量など）を読み取り、それに応じて何かをするAIを指す言葉です。言葉の意味や介護での位置づけは、前回のコラム「フィジカルAIとは？介護での使いどころは「検知」より「記録」」で整理しました。
世の中でよく紹介される事例は、工場や物流の現場で動くロボットです。この記事ではそれとは別に、ロボットを入れずに始められる側の事例を、AIが何を読むかで3つに分けます。
| AIが読むもの | この記事で試した事例 | 現場で言えば |
|---|---|---|
| センサーの記録 | 事例1：見守りセンサーの記録から夜勤記録の下書きを作る | 離床・呼吸・心拍などの通知、訪室の記録 |
| カメラの映像 | 事例2：見守りカメラの映像から居室の様子を読む | 居室や通路を映すカメラ |
| 計器の表示 | 事例3：設備のアナログメーターを写真で読む | 圧力計・温度計など、針で値を示すメーター |
どれも、すでに現場にある機械が出しているものです。新しくロボットを買わなくても、その記録や映像をPCのAIに渡せば試せます。今回は3つとも、インターネットに出さずに施設や会社の中のPCで動かすAI（ローカルAI）で行いました。
事例1：見守りセンサーの記録から、夜勤記録の下書きを作る
利用者10人・1晩分（48行）の見守りセンサーと訪室の記録を作り、夜勤記録の下書きと、朝の申し送りで注意が必要な3人をAIに書かせました。記録には、センサーの装着ずれによる通知や、通知のあとに訪室していない場面を、わざと混ぜています。
- 注意が必要な3人は、試した2つのモデルとも3人とも正しく選べました。記録にない時刻を書くこともありませんでした
- 一方で、そのまま頼むと「訪室していない」ことをうまく書けず、片方のモデルは実際にはなかった訪室を「それぞれに訪室して臥床介助を行った」と書きました
- 通知ごとに訪室があったかをプログラムで先に判定して印を付けてから渡すと、2つのモデルとも「訪室記録なし」と書けるようになりました
AIは、あったことを選んで文章にするのは得意でした。苦手だったのは「なかったこと」を書き残すことです。有無や回数の判定はプログラム、文章にするのはAI、と分けると、この点は直りました。ただし印を付けた後も、片方のモデルには離床の通知の時刻と訪室の時刻を取り違える誤りが残りました。下書きの確定は、職員が記録と照らして行う前提です。詳しい経過は「フィジカルAIとは？介護での使いどころは「検知」より「記録」」にまとめています。
事例2：見守りカメラの映像から、居室の様子を読む
天井の隅から見下ろす防犯カメラ風の居室画像12枚（画像生成で作った架空のもの）を、白黒や常夜灯だけの暗い部屋に寄せて作りました。AIには「ベッドで横になっている」「床にいる」「誰もいない」など、決めた選択肢から姿勢を1つ選ばせています。同じ12枚を4段階で暗く粗くした画像でも試しました。
- 元の画像と、明るさを6割に落とした画像では、12枚とも姿勢を正しく選べました
- 当社が目で見ても見えにくい画質（明るさ4割）になると、正解は12枚中5枚に減りました（誤り3枚・「判断できない」4枚）
- 誤りは「床にいる」の側に偏りました。人がいるのに「誰もいない」と答えた誤りはありませんでした
AIに見せる前に画像の明暗の差とざらつきをプログラムで測り、基準に届かない画像は人の確認に回す仕組みも試しています。誤りは減りましたが、その分だけ人の確認は増えました。また、この基準値は架空の画像に合わせて決めた仮の値で、実際のカメラで使うなら、その施設の映像を集めて決め直す必要があります。どの画質から崩れるか、人が確認する線をどこに引くかは「介護の見守りカメラの映像はAIで読める？画質の目安と、人が確認する線の引き方」で詳しく書いています。
事例3：設備のアナログメーターを、写真で読む
介護以外の題材として、設備の点検で見る針式のメーターを試しました。圧力計12枚と温度計12枚、合わせて24枚の画像をプログラムで描いています。プログラムで描くので、針が指す値と「緑の範囲（正常範囲）に入っているか」の正解は、描いた時点で決まっています。AIには1枚ごとに、次の2つを聞きました。
- 針が指している数値はいくつか（読めなければ「判断できない」）
- 針は緑の範囲に入っているか（入っている／入っていない／判断できない の3択）
きれいな画像のほか、斜めから撮ってガラスに光が映り込んだ画像、事例2と同じやり方で暗く粗くした画像でも試しました。
| 画像の条件（各24枚） | 正常範囲の3択 | 針の数値 |
|---|---|---|
| きれいな画像 | 22 | 18 |
| 斜めから・光の映り込みあり | 21 | 20 |
| やや暗く粗い | 21 | 16 |
| かなり暗く粗い | 20 | 12 |
正常範囲に入っているかは、どの条件でも24枚中20〜22枚を正しく答えました。外れた12件のうち10件は、緑の範囲の端のすぐ近くを針が指している画像です。
数値のほうは、きれいな画像でも24枚中6枚を外しました。外れ方には大きなものもあり、0.05を0.45、10℃を50℃と読んだ画像がありました。さらに、4つの条件の96枚すべてで、数値・範囲のどちらの問いでも「判断できない」を一度も選びませんでした。かなり暗く粗い画像でも、AIは数字を作って答えました。
範囲「入っていない」正解
範囲「入っていない」正解
あとから、AIが読んだ数値から計算した範囲の内外と、AIが答えた範囲の内外が食い違う画像を拾い出す確認もプログラムで試しました。大きな外れの一部はこれで拾えましたが、60℃を80℃と読んだものなど、すり抜けた誤りも残りました。
3つの事例に共通したこと
3つの事例を並べると、共通する点が3つ見えてきました。下の図は、画像を読ませた事例2と事例3の結果を1問1マスで並べたものです。事例2は画質の違いで、事例3は問いの種類（形で分かる問いと細部の問い）で比べています。
1. 聞き方と画質で、崩れ方が変わる
はっきり差が出たのは事例3のメーターです。同じ画像で、「正常範囲に入っているか」を3択で答える形や位置で分かる問いは、かなり暗く粗い画像でも24枚中20枚を当てました。
反対に、針が指す数値のように細部まで読む必要がある問いは、きれいな画像でも外し、画質が落ちると24枚中12枚まで下がりました。
事例2の見守りカメラは、姿勢を選択肢から選ばせると、明るさを6割程度に落とした画像までは12枚とも当てました。ただし、人の目でも見えにくい画質では12枚中5枚に崩れています。選ばせる形にしても、画質が悪ければ崩れるということです。AIに聞く内容は、できるだけ「選ぶ」「範囲に入っているか答える」の形に寄せたうえで、画質の確認と組み合わせると、結果が安定しやすくなります。
2. AIは、分からなくても答えることがある
事例1では、片方のモデルが、なかった訪室を「訪室した」と書きました。事例3では、一度も「判断できない」を選ばずに数値を答えました。選択肢に「判断できない」を入れておくだけでは、AIが答えを控えるとは限りません。
そこで、AIに渡す前にプログラムで確かめられることは、先に確かめておくのが有効でした。訪室の有無の判定（事例1）や、画像の明暗の差・ざらつきの測定（事例2）がそれにあたります。プログラムの判定は、同じ入力なら毎回同じ結果になります。
3. 最後に人が確認する範囲を、先に決めておく
3つとも、AIの答えをそのまま記録として確定させる使い方は想定していません。「床にいる」「判断できない」と答えたとき、範囲の端に近いとき、画質が基準に届かないときは人が確認する、というように、人が見る条件をAIを入れる前に決めておくことが前提になります。
反対に、この3つの事例から言えないこともあります。転倒を見つけて知らせる、点検を丸ごと任せる、数値をそのまま記録に残す、といった使い方は、今回の小さな試験では確かめられません。当社はこうした用途にはおすすめしていません。
自社で試すときの順番
自分の施設や会社で試してみるなら、次の順番がおすすめです。
- 今ある記録・映像を集める：センサーの通知の書き出し、カメラの静止画、メーターの写真など、すでに手元にあるものを数十件集めます。夜間や暗い場所のものも混ぜてください
- 聞くことを選択肢にする：「どの姿勢か」「範囲に入っているか」のように、答えを選べる形にします。数値をそのまま読ませるより崩れにくくなります
- 「人が確認する」条件を決める：AIが「判断できない」と答えたとき、範囲の端に近いとき、画質が悪いときなど、職員や担当者が見る条件と担当を先に決めます
- 施設・会社の外にデータを出さずに試す：利用者の記録や居室の映像、設備の情報は、外部のサービスに送ることに抵抗がある情報です。中のPCで動くAIなら、データを預けずに試せます
集めた記録で正解を自分たちで付けておくと、AIの答えと比べて「どこまで任せてよいか」を数字で確かめられます。
よくある質問
フィジカルAIの事例には、どんなものがありますか？
工場や物流の現場で動くロボットがよく知られていますが、ロボットを使わない事例もあります。当社は、見守りセンサーの記録から夜勤記録の下書きを作る、見守りカメラの映像から居室の様子を読む、設備のアナログメーターを写真で読む、の3つを架空のデータで試しました。
ロボットがなくても、フィジカルAIは試せますか？
試せます。今あるセンサーの記録、カメラの静止画、メーターの写真をAIに読ませる使い方なら、新しい機械を入れずに、施設や会社の中のPCで試せます。ただし、当社が画像で試した事例でAIが強かったのは「選択肢から選ぶ」「範囲に入っているか答える」までで、最後は人が確認する前提です。
アナログメーターの点検を、AIで自動化できますか？
当社はおすすめしていません。架空のメーター24枚で試したところ、正常範囲に入っているかは20〜22枚を正しく答えましたが、数値はきれいな画像でも6枚を外し、一度も「判断できない」とは答えませんでした。範囲の判定の補助に留め、範囲外や範囲の端に近いもの、画質の悪いものは人が確認する設計が現実的です。
AIに任せてよいのは、どこまでですか？
今回の3つの事例では、「決めた選択肢から選ぶ」「範囲に入っているか答える」「あったことを文章の下書きにする」まででした。「なかったこと」の判定や画質の確認はプログラムで先に行い、記録の確定は人が行う、という分担をおすすめします。
まとめ
- フィジカルAIの事例は、ロボットだけに限りません。センサーの記録・カメラの映像・計器の表示を読む使い方なら、今ある機械のまま試せます
- メーターでは、形で分かる問い（範囲に入っているか）は強く、細部の問い（針の数値）は弱い結果でした。カメラの姿勢は選ばせる形でも、画質が悪いと崩れました
- AIは分からなくても答えることがあります。有無の判定や画質の確認はプログラムで先に行い、人が確認する条件を先に決めておきます
- 結果は架空データでの小さな試験です。実際の記録や映像で確かめてから使い道を決めてください
まずは「毎日、人が目で見て記録しているもの」を1つ挙げてみてください。それが選択肢で答えられる形なら、AIに読ませて試す候補になります。
