赤外画像測定装置の開発

その１　赤外画像の果実欠陥検出への応用
その2　赤外画像定点観察装置(IR02)の揮発
その3　回転式IR画像測定装置(IR04→IR05)の開発
その4　IR全画像測定装置(IR05)の開発
その5　アボカドへの感謝

その１　赤外画像の果実欠陥検出への応用

赤外線画像測定装置は、IR/UV/Whiteなど光源種を変えられる装置として、IR01とビルト&スクラップ&ビルトしたIR03、IR/White光源で定点観察できる装置IR02とその改造版、そして、120°毎のIR画像を3面測定できるIR04に欠陥検出機能を追加したIR05とこの1年間開発を続けてきました。ことの発端は、アボカドの褐変検出にIR画像が利用できないかというところからでした。トマトやリンゴなどの農作物の非破壊検査装置を開発しているシブヤ精機のレポート(2023年)の要約を示します。

目に見えないリンゴの異常には赤外光が有効なこと、みかんの腐敗検出には紫外光が有効なこと、熟度(食べごろ)の判定には果物特有の吸収波長の吸収率(透過光測定)が有効なことが記されています。光源を工夫した測定をアボカドに適用し追試してみようというところが今回の開発起点になりました。まず、照明光源に940nmの赤外LEDと375nmの紫外LEDを使用しアボカドを撮影するシステム（IR01）の開発しました。カメラは赤外領域に感度が拡張されたNIRカメラ(picamera）を使用し、パイカメラを接続するマイコンにはラズパイを採用しました。測定装置の筐体は貧乏くさい段ボールでした。

カメラと光源のコントロールには、ラズパイ3B+を使用しました。

白色LED、赤外LED、紫外LEDで撮影したアボカドの画像を示します。

IR光源、UV光源では、白色光源では得られない情報が得られているようにも見えますが、IR/UV光源が白色光源程アボカド全領域にあたっておらず、IR/UV光源を強化する必要がありました。IRとUV光源を強化した結果を示します。IR光ではアボカド内部の情報(褐変部)が得られています。

アボカドの場合、UV光源は白色光源に近い情報くらいしか得られていません。外皮表面異常検出はできるのですが、白色光よりも優れている訳ではありませんでした。

IR01をスクラップ＆ビルトしたIR03を説明します。（IR02は定点観察）光源を強化しIRと白色の2つの面光源と段ボールから木製筐体に改造しました。高輝度光源採用のため12V電源を別途用意しました。

一般的なラズパイのLチカコードを参考に回路とプログラムを作成しました。光源切替はマニュルSWで撮影ボタン制御はラズパイとしました。

IR03は、照明光源を選択して、カメラの撮影ボタンを押して画像を保存するというシンプルなものです。

ラズパイのプログラムコードを示します。

IR03でアボカドの異常個所(褐変)を検出してみました。

ボタンを押して、撮影をしていますが、GUI画面上のソフトウェアボタン操作ができるプログラムも作ってみました。（メリットはあまりないので没にしましたが）

その2　赤外画像定点観察装置(IR02)の揮発

その1では、アボカドを例に赤外画像を使うことで表皮内部の異常点を検出することができることを報告しました。その2では、定点観察を行ってアボカドがどう変化していくのか白色光源と赤外光源画像の変化を自動で収集する装置を開発しました。以下にシステムの概要図を示します。

IR02の筐体と制御部を示します。筐体は木製です。その後、アルミフレームのIR02’に作り変えました。IR02’は後略紹介します。IR02の特徴は顕微鏡スタンドを導入し焦点を合わせられることです。

IR02の光源系を示します。IRはリング照明を採用し、白色光源にはプレート照明を使用しました。カメラはNIRタイプで広角レンズを使用しています。

IR02の制御を示します。マイコンはラズパイ3B+でGPIOピンを使って光源のON/OFFリレーを制御します。IR光源は12V、白色光源は5Vで、ラズパイとは別電源を用意しました。

定点観察は、数時間間隔で行うことを想定しています。サンプルは筐体内に固定したままです。一回の測定でIR画像と白色画像を撮影しタイムスタンプ名でラズパイに保存します。サンプル撮影で得られた画像を示します。

ラズパイのプログラムはCUIベースの簡単なコードです。以下にしまします。（後続機IR02’はGUI化しています。）　入力項目は、ロープ回数と時間間隔だけです。出力画像は、白色画像が「タイムスタンプ+1.jpg」IR画像が「タイムスタンプ+2.jpg」です。

IR02を使って、アボカドの定点観察実験を行いました。期間はアボカド購入日から10日で6時間おきに測定しました。のちのデータ処理用に元画像から切り出したアボカドの画像を使いました。

30回(約一週間)までの白色光源画像の経時変化を示します。変色して表面にカビが生えていく様子が判ります。

白色画像変化に対応したIR画像を示します。

白色画像変化は、茶褐色への変色とその後のカビの発生とアボカドの腐食過程を明確に捉えることができました。一方で、IR画像は表皮内部の状態を地味に伝えているようで白色光源画像ほどの目立った変化情報は得にくいのですが、異常点(褐変)の発生や拡大など内部の状況変化を捉えることが出来ていると思われます。かびる前に食べるという通常の消費行動で、IR画像による内部変化情報は有益な情報だと思いました。

その3　回転式IR画像測定装置(IR04→IR05)の開発

その3で、アボカドの定点観察を行いIR欠陥数が熟度変化の指標となることを報告しました。しかしIR02/IR03で得られるIR画像はアボカド全体の画像ではありません。アボカドを裏返して測定すると欠陥数が多かったというようなことが起こります。欠陥はアボカド表面で均一に分布している保証はありません、アボカド全体の欠陥数を求めるためにはアボカドの回転した複数枚の画像が必要になります。カメラの視野角が約140°なので、回転(120°x3)して全面を撮影できる装置を開発しました。以下に示します。

制御部は、従来の光源制御に加えモーター制御が必要になり、ラズパイのGPIOをごちゃごちゃ触るより、マイコンに制御コマンドをプログラムして、ラズパイがマイコンを制御する方式に変更しました。マイコンコードとコマンドを以下に示します。

回転式赤外線画像観察装置（IR04）の外観を示します。アクリルとアルミ板で製作しました。（段ボールや木材からかなり進歩しています）

制御部を示します。筐体の裏面に配置しています。

ラズパイ側のプログラムコードを示します。

このあと、思わぬ不幸が襲いました。ラズパイ3B+が壊れました。USB電力不足が原因と考えられ、ラズパイ3A+に基盤を変更し電源を強化しました。

完成したIR04の操作について説明します。ラズパイっコードはThonnyで操作しています。

測定した3面画像(120°毎)です。保存した欠陥が図はWindows-PCで取り込み欠陥解を行います。この時点では欠陥解析はラズパイでは行いません。

IR04を使って、ペルー産アボカドとメキシコ産アボカドのIR画像と欠陥数比較を行いました。メキシコ産は首が長くて若干柔らかい状態でした。

購入時点でペルー産アボカドは、メキシコ産に比べ色黒ですが内部欠陥は見当たらずきれいでした、一方で、メキシコ産は緑っぽいのですが、IR欠陥がいたるところに見られました。これが、色だけで熟度を判断すると誤る事例かもしれません。

ペルー産とメキシコ産の経時変化画像を示します。ペルー産は5日後でも黒点発生はほとんどありませんが、メキシコ産は効果が進んでいました。

ペルー産とメキシコ産を測定最終日にカットして断面を観察しました。ペルー産の果肉は傷んでいませんが、メキシコ産は商品価値のないレベルでした。

その4　IR全画像測定装置(IR05)の開発

IR04でIR全画像測定ができるようになりましたが360°サーボモータを使用していましたが、ノイズ影響が大きく位置再現性が乏しいことが判りました。大型の270°サーボモータに変更しました。また光源切り替えSWとして使用しているリレーのノイズ影響を防ぐため、PowerMOSFETを使用した制御ボードに変更しました。また、筐体はアルミフレームで、LCDモニターを筐体上部に蓋式に配置する設計変更をしてもらいました。さすがプロですね。

IR04に比べ筐体は倍以上大きくなりましたが、大きなアボカドや他の果物も測定できるようになりました。

見直した制御基板とマイコンのプログラムコードを示します。

制御基板の写真を示します。　リレーからPowerMOSにしたことで基板自体が薄くなり、だいぶすっきりしました。PowerMOSは何か懐かしい響きです。

制御基板や光源LED、NIRカメラ、ラズパイの筐体への実装状態を示します。

筐体上部に11インチのモニターを取り付けてもらったので、ラズパイのプログラムもCUIからGUIに変更しました。

測定用GUIプログラムコードを以下にしまします。

GUIプログラムの操作手順を示します。

次に、ラズパイに保存されたIR画像データをWindows-PCで解析する手順を示します。

その5　アボカドへの感謝

最後にアボカドに感謝の気持ちを伝えたいと思います。甲殻類のような殻で果肉が覆われています。表面は凹凸で表皮異常個所が判りにくいです。果肉中心には巨大で硬い種子が存在します。食べごろ判定は極めて困難です。プロの方は、表皮の色変化と感触(硬度)で判別しているようですが、アボカドの種類(ペルーとかメキシコ)や入荷する季節によって基準が異なるようです。
赤外画像法は、表皮の色には関係なく内部果肉の異常点を検出することができます。全表面の異常点をカウントすることで熟度判別に応用することができました。ほかの果物に応用するとどうなのか？　結果を示しますが、アボカド以外は面白くないです。トマトなどは、表皮がツルツルで見た目だけで異常が検出できるため、怪しいものは市場に流出されていないように思います。アボカドは中身がどうなっているかわからないことをいいことに、毎日通っている近所のスーパーでは段ボール箱に入れられたまま1週間以上放置されています。売れ残りがある量になるまで放置し廃棄しているのだと思います。あたりはずれがあることは人生の楽しみでもあるのですが,,,,　それだけ難しいものだったんです。挑戦する価値があるという意味でアボカドには感謝しかないです。アボカドとトマトを比較します。