深層学習を用いた外観検査

2021.08.24

概要

弊社では、お客様のご要望に応じて、外観検査システムの提案、作成を行っております。出荷前の製品に、全数検査を行いたいけれど、人手や時間が足りなくて抜き出し検査になっていたり、検査を行えていなかったりしないでしょうか。

多種の製品に対応した、柔軟な外観検査システムの例を以下に紹介します。

カメラで撮影している動画から、リアルタイムで物体検知と異常検出する例です。ベルトコンベアーなどの上にカメラを設置して、多数の物体が流れてくることを想定します。

リング状の部品をみつけて、それが汚れているか、汚れていないかを判定します。検知した物体には、四角い枠をつけます。その中から、リング状の部品を発見します。下の動画中のringです。リング状の部品には、汚れがついているものもあります。動画中でdefectとラベルを付けました。

これで、リングが何個見えているか、そのうち汚れているのが何個かがわかります。画像右側の「ringの座標とOK/NG」の下に、きれいなリング（OK）、汚れているリング（NG）の一覧を表示しました。

ウェットティッシュの包装が流れてくる様子を、動画で撮影しています。出荷前に、不具合があるかどうか検出したいですね。この例では、以下の点に着目します。

シール部分： ウェットティッシュの包装は、シール部分に不具合があると、中身が乾燥して不良品になってしまいます。下の動画では、パッケージ両端のシール部分(end_seal)と、パッケージ裏中央のシール部分(center_seal)を認識させています。

切断位置のマーク： パッケージ裏側の端の切断位置には、四角い印字がついていることがあります。この印字(動画中の pitch_mark)の有無や位置を、切断位置の不具合判定に使うことがあります。

ロット番号： ロット番号（動画中の lot）の印字箇所を検出しています。

ロット番号の印字が読みやすいか、印字内容が正しいかなどの判定に、OCRを用います。OCRとは、画像から文字情報を識別・抽出しデジタルな文字情報に変換する技術です。カメラの性能や照明によりますが、以下画像のように、ロット印字内容を認識することができます。

各画像の左下に、ロット番号の認識結果を表示しました。