骨格推定システムは、体育関係研究者向けに安価で提供されています。それを購入するのが一番
手っ取り早いのですが、まずは下調べしてからと考えました。ViisionPoseNanoとしてハードと
ソフトを販売している会社の情報を示します。
ハードはJetsonNano（B01：４GBメモリ）とJetson Orin Nano(JetsonNanoの5倍程度？の性能)
のものです。Orin欲しいですね。
骨格推定プログラムのOpenposeは、そもそもがオープンソースなので公開情報を調べてみました。
2年前に’からあげ先生のAI自作教室’に掲載されていましたが情報が古く現環境では動きません。
そんなこんなあって行きついた先は、OpenCVのライブラリを提供してくれてるサイトでした。
Openposeに関わらずAIとOpenCVの応用例を集めたものを提供してくれています。ありがたいです。
別途、人の骨格推定の学習済モデル（COCOやMPI）をDLする必要があります。写真画像から
骨格点（MPIの場合=18点、COCOの場合=15点）を指定します。OpenPoseDemo.pyでは
上半身の5点をMPIモデルを使って抽出し元画像に合成した写真を生成します。
次は、全身骨格を線でつないだおなじみの画像の説明をします。骨格推定システムは、openpose
で写真画像を使った骨格部位の推定を行いました。全体骨格の推定（骨格線を表示）とWindows-
PC（GPU無し）でカメラによるリアルタイム骨格推定を報告します。
まず、写真画像から骨格線を推定するプログラムです。推論モデルには、「COCO」と「MPI」
の2つをDLしましたが、それぞれの違いを示します。MPIは全身15点、COCOは18点を推定します。
MPIは頭部は直線だけですが首の傾き等が判りやすいです。
以下にデモプログラムを示します。
次にOpenCVライブラリを使って、WindowsノートPCにWEBカメラを接続し
リアルタイム動画処理を行いました。プログラムコードとデモ結果を示します。
CPUのみの処理では、1フレーム処理に5秒くらい掛かります。これではボーリングの投球フォーム
の解析はできません。次回はオフライン処理についての報告です。iphoneで撮影した動画ファイル
を使って骨格推定を行います。次回報告で初期目的は達成できたことを報告する予定です。
次は、GPU搭載したJetsonC100Nanoで最終リリースされたJetpackを使用した（初期2GBモデル
時のJetpackには搭載されてなかった）posenetの試験報告を予定しています。リアルタイムでの1
フレーム処理時間は0.2秒程度に短縮されました。
骨格推定については、WindowsのノートｐCでがリアルタイム処理が困難なことから、iphoneで
ボーリングの投球動画を録画したものをmp4ファイルに変換し、オフラインで骨格推定動画を作り
ました。概要を示します。
以下にソースコード「test.py」を示します。 動画ファイルの指定のparser部は
parser.add_argument(“–video_file”, default=”test.mp4″, help=”Input Video”)
です。出力ファイルは直下の「output.avi」です。
数十秒の元動画ですが、処理時間は数十分程度でした。解析結果を示します。
投球フォームは前のめり（3コマ目）ですね。状態が低く不安定です。右足を真後に
引いているので安定性が無く転倒の危険があるそうです。勉強になります。
骨格推定について最終回です。やはりリアルタイム処理がしたいので再挑戦しました。
JetsonNanoの4GB（B01)と互換のJetsonC100Nano（4GB+eMMc16GB）をアマゾンで購入しまし
た。値段は2年前のB01と比べて同じくらいです。お買い得です。OKDO（オクドと読むらしいです）
OKUDOサイトからイメージをDLしSDカードに書き込みます。（この辺はJetsonNanoに同じ）
latest版のJetpackのDLします。以前のJetpackにはdetectnetやimagenetみたいなデモライブ
ラリが含まれていましたが当時はOpenposeはさぽーtしていませんでした。
今回のposenetはlatest版に入っていました。これを使います。
USBカメラを使用しましたが、4～5フレーム/秒くらいで処理ができています。
骨格推定についての調査は今回はここまでとします。以下のような新たなアルゴリズムも開発され
ているようです。openpifpafがよさそうですが、Windowsでは動かずJetsonNano,Raspiでも試し
ましたがライブラリのインストールすらまともにできませんでした。
Windowsでチャレンジしましたがだめでした。その後linuxでもだめでした。これ以上、深追いは
しないことにしました。
