cognitive visual inspection : benefici applicativi nell ... · 44..4. l’4....

IBM MANUFACTURING SOLUTIONS

COGNITIVE VISUAL INSPECTION :

BENEFICI APPLICATIVI NELL’AMBITO INDUSTRIALE

09-07-2020

2

AGENDA


• COGNITIVE VISUAL INSPECTION : USE CASES

• COGNITIVE VISUAL INSPECTION : ELEMENTI DI ANALISI

• COGNITIVE VISUAL INSPECTION : APPUNTI DI DEEP LEARNING

• COGNITIVE VISUAL INSPECTION : CLASSI DI IDENTIFICAZIONE

• COGNITIVE VISUAL INSPECTION : IVI (IBM Visual Insights) IN PILLOLE

• COGNITIVE VISUAL INSPECTION : IVI USER INTERFACE

• COGNITIVE VISUAL INSPECTION : IVI VISUAL INSPECTOR

• COGNITIVE VISUAL INSPECTION : IVI INFRASTRUTTURA

3

La tecnologia e le potenzialità della COGNITIVE VISUAL INSPECTION sono oggi al servizio delle tecniche di ispezione, a garanzia della qualità di un prodotto e del suo processo manifatturiero.

Diverse sono le opportunità, o “USE CASES”, che possono beneficiare di un suo utilizzo.

4

AGENDA










5

IBM MANUFACTURING SOLUTIONS USE CASES

AUTOMOTIVE

… il mondo dell’automotive si presta a una lunga lista

di controlli (check list) per ogni step di processo …

6

BLOCCO MOTORE


AUTOMOTIVE

USE CASES

VANO MOTORE

7


AUTOMOTIVE

PORTIERA

PUNTI SALDATURA

GUARNIZIONI

8


AUTOMOTIVE

CONNETTORI

FINITURE

RUOTE

9


AUTOMOTIVE

ALBERO A

CAMME

10


SICUREZZA SUL LAVORO

11


PACKAGING FARMACEUTICO

12


MANIFATTURA ELETTRONICA

PRESENZA

COMPONENTI

PIN CONNETTORE

PIEGATI

13


MANIFATTURA ELETTRONICA

CONTAMINAZIONE

CONTATTI DORATI QUALITA’

SALDATURE

PARTI CHASSIS

VERIFICA

ETICHETTE

14


ISPEZIONE SUPERFICI E RIVESTIMENTI

GRAFFI

PIEGHE RIVESTIMENTO

15


ISPEZIONI PER MANUTENZIONI

PUNTI DI

CONTROLLO

Ispezioni linee

elettriche con droni

16

AGENDA










17

Problema – USE CASE : stato di connessione di un connettore >>> completa – parziale - mancante

Una corretta soluzione nasce da una chiara COMPRENSIONE del problema (use-case),

delle tipologie di “anomalie” o “condizioni” da identificare, delle caratteristiche del processo produttivo,

delle condizioni visive, delle variabili ambientali, della qualità e quantità delle immagini …

completa parziale mancante

IBM MANUFACTURING SOLUTIONS ELEMENTI DI ANALISI

18

Condizione di INSIEME

GO / NO GO

Condizione SINGOLA

(valida anche per il conteggio parti)


Esempi di OUTPUT richiesti al modello,

tramite il processo di “labeling”

19


…. E ricorda che ….

20

AGENDA










21

IBM MANUFACTURING SOLUTIONS APPUNTI DI DEEP LEARNING

21

Artificial Intelligence

Machine Learning

Deep

Learning

Deep Learning …. un salto di qualità nella visual inspection

22


23


Utilizzo di Reti Neurali Convoluzionali per il riconoscimento delle immagini

24

AGENDA










25

IBM MANUFACTURING SOLUTIONS CLASSI DI IDENTIFICAZIONE

26

… CLASSIFICATION – OBJECT DETECTION … e … ANOMALY DETECTION

(introduzione del concetto di variazione)

CLASSIFICATION

OBJECT DETECTION

ANOMALY DETECTION (stato di variazione da

identificare)


27


una VARIAZIONE (di condizione – di prodotto)

che va tracciata e corretta

il SINTOMOdi un processo da migliorare

In un ambito produttivo l’anomalia è

28

AGENDA










29

IBM MANUFACTURING SOLUTIONS IVI (IBM VISUAL INSIGHTS) IN PILLOLE

La soluzione IBM Visual Insights (IVI)

si avvale della tecnologia Deep Learning,

è facilmente configurabile e adattabile a

molteplici scenari di Industria 4.0.

IVI fornisce un ambiente di lavoro completo,

adatto per generare modelli di classification e

object detection, capace di gestirne l’intero ciclo

di sviluppo (acquisizione immagini, labeling,

training, fine-tuning e deployment).

30

AGENDA










31

IBM MANUFACTURING SOLUTIONS IVI USER INTERFACE

32


33


SCELTA DEL MODELLO

CLASSIFICATION

OBJECT DETECTION

34


DISPONIBILITA’ DEL MODELLOIMMAGINE DA

VALIDARE

IMMAGINE VALIDATA

35


CUSTOM MODELS

• I Data Scientists possono

utilizzare, come base di

ulteriore sviluppo, un loro

modello e caricarlo in IVI

(limitato a TensorFlow)

36

AGENDA










37

IBM MANUFACTURING SOLUTIONS IVI VISUAL INSPECTOR

IVI VISUAL INSPECTOR : interfaccia mobile per la gestione del modello

CoreML su iOS devices (iPhones e iPads)

POSTAZIONI DI

CONTROLLO

38


55

Manufacturing PLC

22

1.1.1.1. Tramite le immagini, ricevute dall’iPad, o già contenute nel dataTramite le immagini, ricevute dall’iPad, o già contenute nel dataTramite le immagini, ricevute dall’iPad, o già contenute nel dataTramite le immagini, ricevute dall’iPad, o già contenute nel data----set del Sistema, set del Sistema, set del Sistema, set del Sistema,

si provvede a generare un modello, che viene poi reso disponibile (deployed). si provvede a generare un modello, che viene poi reso disponibile (deployed). si provvede a generare un modello, che viene poi reso disponibile (deployed). si provvede a generare un modello, che viene poi reso disponibile (deployed).

2.2.2.2. Il dispositivo Il dispositivo Il dispositivo Il dispositivo PLCPLCPLCPLC, modificato per riconoscere l’oggetto, tramite MQTT, lancia una , modificato per riconoscere l’oggetto, tramite MQTT, lancia una , modificato per riconoscere l’oggetto, tramite MQTT, lancia una , modificato per riconoscere l’oggetto, tramite MQTT, lancia una

coda/trigger su server …coda/trigger su server …coda/trigger su server …coda/trigger su server …

3.3.3.3. L’L’L’L’App App App App INSPECTOR sottoscrive lo stesso argomento (coda trigger) ricevendo il INSPECTOR sottoscrive lo stesso argomento (coda trigger) ricevendo il INSPECTOR sottoscrive lo stesso argomento (coda trigger) ricevendo il INSPECTOR sottoscrive lo stesso argomento (coda trigger) ricevendo il

messaggio da MQTT.messaggio da MQTT.messaggio da MQTT.messaggio da MQTT.

4.4.4.4. L’L’L’L’AppAppAppApp, tramite iPad,, tramite iPad,, tramite iPad,, tramite iPad, scatta la foto e manda l’imagine a IVI per lo step di inferenza.scatta la foto e manda l’imagine a IVI per lo step di inferenza.scatta la foto e manda l’imagine a IVI per lo step di inferenza.scatta la foto e manda l’imagine a IVI per lo step di inferenza.

5.5.5.5. IVI elabora l’immagine, la classifica e ritorna all’App il risultato.IVI elabora l’immagine, la classifica e ritorna all’App il risultato.IVI elabora l’immagine, la classifica e ritorna all’App il risultato.IVI elabora l’immagine, la classifica e ritorna all’App il risultato.

6.6.6.6. Tramite MQTT, l’App manda una notifica, con incluso il risultato dell’inferenza.Tramite MQTT, l’App manda una notifica, con incluso il risultato dell’inferenza.Tramite MQTT, l’App manda una notifica, con incluso il risultato dell’inferenza.Tramite MQTT, l’App manda una notifica, con incluso il risultato dell’inferenza.

7.7.7.7. La soluzione creata prevede il rilevamento della notifica (MQTT message) e la sua La soluzione creata prevede il rilevamento della notifica (MQTT message) e la sua La soluzione creata prevede il rilevamento della notifica (MQTT message) e la sua La soluzione creata prevede il rilevamento della notifica (MQTT message) e la sua

conversione in formato econversione in formato econversione in formato econversione in formato e----mail, invocando il servizio SMTP.mail, invocando il servizio SMTP.mail, invocando il servizio SMTP.mail, invocando il servizio SMTP.

8.8.8.8. Una eUna eUna eUna e----mail viene mandata al mail viene mandata al mail viene mandata al mail viene mandata al SupervisorSupervisorSupervisorSupervisor

9.9.9.9. In alternativa, il In alternativa, il In alternativa, il In alternativa, il Supervisor Supervisor Supervisor Supervisor può ricevere un immediato sms/può ricevere un immediato sms/può ricevere un immediato sms/può ricevere un immediato sms/text text text text attraverso una attraverso una attraverso una attraverso una

“communication app” via cloud.“communication app” via cloud.“communication app” via cloud.“communication app” via cloud.

N.B N.B N.B N.B –––– Se il modello è CoreML, esso può essere caricato su INSPECTOR, rendendo il Se il modello è CoreML, esso può essere caricato su INSPECTOR, rendendo il Se il modello è CoreML, esso può essere caricato su INSPECTOR, rendendo il Se il modello è CoreML, esso può essere caricato su INSPECTOR, rendendo il

processo di inferenza indipendente sull’iPad.processo di inferenza indipendente sull’iPad.processo di inferenza indipendente sull’iPad.processo di inferenza indipendente sull’iPad.

44

77

11

99

MQTT Server

33 66

88

COMMUNICATION APP

39


40


41

AGENDA










42

IBM MANUFACTURING SOLUTIONS IVI INFRASTRUTTURA

42

Flessibilità nel generare ed utilizzare un modello su edge devices

AC922/IC922/x86

NVIDIA Jetson TX2/Nano

iOS Device

• IBM Power SystemsAC922/IC922

• x86 accelerated servers with GPUs

FORMAZIONE

44

IBM Confidential

VISUAL RECOGNITION: Formazione Base e Approfondimenti IVI

Argomenti Docente Durata

Data Science: Modelli analitici per il miglioramento delle performance aziendaliMarco De Ieso 90 Min.

Artificial Intelligence and Introduction to Artificial Risk Pietro Leo 90 Min.

Artificial Risk Pietro Leo 90 Min.

Application of Natural Language Processing Mauro Gatti 90 Min.

Argomenti Docente Durata

Sessione 1: Introduzione e concetto di classificazione Giorgio Viero 90 Min.

Sessione 2: Object Detection Giorgio Viero 90 Min.

Sessione 3: Autolabeling, parametri e gestione delle immagini Giorgio Viero 90 Min.

Sessione 4: IVI inspector e Soluzioni Edge Giorgio Viero 90 Min.

• Approfondimenti IVI (Corso in Aula, Presso Birex di una Giornata)

• Tematiche Generali (corso in aula, presso Birex di una giornata)

45

IBM Confidential

IVI : Solution Showcase ( Sessione pratica, presso Birex)

Attraverso delle Demo calate nella varie realtà industriali, vengono mostrati al cliente dei casi reali

realizzati in possibili ambiti di interesse. Durante questa fase il cliente potrà valutare, in base alle

soluzioni proposte, se e come è possibile applicare l’uso di IVI alle proprie linee di produzione, aprendo

la strada alla terza e più importante fase di questo percorso: Il Proof of Technology.

Questi casi reali aiutano anche a comprendere meglio i concetti di

CLASSIFICATION, OBJECT DETECTION e ANOMALY DETECTION.

Classification Object Detection Anomaly Detection

46

IVI : Proof of technology – Identificazione e analisi di un caso reale (sessione pratica, presso cliente)

• Server assembly inspection

• PCBA pin bent detection

• Wafer fab CD SEM inspection

• Camshaft inspection

• Leather seat inspection

• High-floor littering detection

• Roof-top solar panel inspection

• Demographic recognition

• Facial expression

• Contamination detection

• Dangerous object detection

• PPE detection

Manufacturing

Automotive

Building & Construction

Retail

Chemical & Pharmaceutical

Safety & Security

Quanto appreso, nella fase di

Training e Demo, può essere

applicato nei diversi settori

industriali e commerciali,dove

l’innovazione è supportata dalla

“computer vision”.

GRAZIE

cognitive visual inspection : benefici applicativi nell ... · 44..4. l’4....

Documents