欠陥検査画像処理の流れと技術ポイント
欠陥撮影ハードウェアの不足分をルールベース画像処理で補完し、AI処理を行うハイブリッド処理 を得意とする欠陥検査ベンチャーも存在する。
1.欠陥検査ソリューションメーカー調査
欠陥検査ソリューションメーカーの分類
【KEYENCE】
DeepSky(AI ラインナップ) | 製品紹介 | 外観検査・画像検査の スカイロジック (skylogiq.co.jp)
DeepSky(ディープスカイ)は現場ユーザーが簡単に運用できるオールインワン&シンプル操作の AI画像検査ソフト。様々なディープラーニングの中から物体認識や良品学習などを採用し、さらに FAに最適なモデルを研究してラインナップ。FA現場の画像処理製品を1000例以上提供・サポート してきたスカイロジックが現場目線で設計。照明、カメラ、レンズはもちろん、ご要望があれば外 部制御なども合わせて提案。
【KEYENCE】
【KEYENCE】
DeepSky(物体認識)と DeepSky-SS(良品学習)
物体認識:検出したい物体(欠陥や部品など)を予め学習させておき、撮影した画像から物体を検
出。学習時に行うアノテーション(見つけるべきものにマークを付ける作業)に基づいて計数や分
類を行う。
良品学習:不良品を用意する必要がなく、アノテーションも不要。良品のみで学習が可能であり、
撮影した画像の中から良品に存在しないものを欠陥として検出。
【KDDI】
~鉄塔のサビ検出・領域特定~
【KDDI】
金属板検査:キズ検出 ~金属板加工の品質確認作業をAIで実現~
【Panasonic】
【JTG】
JTG Solution:AI検査製品 RoxyAI
https://jtg-agency.jp/solution/ai_inspection_system/
【VRAIN】
VRAIN solution について | 株式会社 VRAIN Solution
【VRAIN】
画像検査システム
従来の画像検査はいわゆる「ルールベース」で行われているため、周囲との濃度差や2値化‧RGB範囲指
定による色面積判定など「ルール(基準)」を設定して判断します。
そのため、人の感覚では認識できるが明確に境界線を引くことが難しい微妙な変化に対応できないケー ス、見逃し‧誤判定が生じるケースも多いことが問題点として挙げられます。
AI外観検査機の特徴として、学習した内容を基にAIが自動で判定を行うところになります。
学習させていくことで形や大きさなど様々な不良にも対応できるようになるため、微妙な変化や判断の 難しい不良にも正確な検出が可能です。
2.照明光源とルールベース画像処理
一般カメラ画像にルールベース処理を適用した欠陥検出
金属部マスク処理による背景処理
ドーム照明と同軸落射照明
ドーム照明画像の処理
同軸落射照明画像の処理
ルールベース画像処理プログラムコード(1/2)
ルールベース画像処理プログラムコード(2/2)
3.AIによる欠陥検出(Detector:yolov5の応用)
AI(ディープラーニング)による画像分類方法
Anotationツールの活用
学習用データ構造
YOLOV5の「train.py」でepochs=100 yolov5l.ptによる転移学習を実施
検証用画像での欠陥検出結果
4. 欠陥推論モデルの実装(YOLOV5)
学習済モデル実装とリアルタイム推論試験
推論結果例1
推論結果例2
・AIによる欠陥検査は良品学習(anormal検出)や検出器と連動した分類などのアルゴリズムによりKEYENCEのような老舗の検査装置メーカーのみならずベンチャー企業 の参入が著しい。
一方で良質な画像収集システムは必須である。特に金属欠陥は良質画像を得ることが困難な場合が多く、経験の少ないベンチャー企業の弱点と考えられる。
・同軸落射照明とドーム照明画像を比較した。ドーム照明は同軸落射照明に比べ画面上の濃淡差が激しいが、適応的閾値処理により取り除くことができた。ノイズ除去と輪郭線をぼやかすメジアンフィルタにより同軸落射照明画像は輪郭線の影響をある程度抑えることができたがドーム照明画像は影響が大きい。金属の欠陥を撮影する場合ドーム照明は適さない。
また、ルールベース処理では金属エッジでの誤検出が最大の課題である。AI処理が必要である。
・アノテーションソフト「Labelling.exe」を使用し同軸落射照明画像を1/6に集約し集 約画像から欠陥部位を抽出しラベリングを行った。
・GPU搭載PCでYOLOV5で欠陥学習を実施した。学習したモデルをノートPCに移植し ノートPCに接続したWEBカメラを使用してリアルタイム(画像更新=2秒くらい)欠陥検 出実験を行った。
結果、目に見えるレベルの欠陥検出は可能であった。簡単なものであれば、DIY欠陥検査 システム構築も可能と思われる。
