Independent Verification & Validation of Integrated Supply‐Chain Network 

Simulation and Optimization Models 

Soroosh GholamiHessam S. Sarjoughian1

Arizona Center for Integrative Modeling & Simulation

Computer Science & Engineering Dept.

Arizona State University, Tempe, AZ, USA

1 Corresponding Author 

Gary GoddingVictor ChangDaniel Peters

Supply Chain Intelligence and Analytics GroupIntel, Chandler, AZ, USA

1

Industrial Case StudiesPresentation without paper

WinterSim, December 8-11, 2013 – Washington, D.C., USA

Outline

• Project Description• Supply‐chain systems• Project objectives • Expected outcomes 

• Supply‐chain system simulation specification• Multi‐chain component simulation• Strategic planner• Knowledge interchange broker 

• Validation phases • Conclusion and future work

2

Project Overview

GOAL – Validation and verification of supply‐chain network simulation using a flexible, scalable simulation environment for interacting processes/logistics  and decision plans that enables development and evaluation of existing/proposed supply‐chain systems

OUTCOMES – 1) V&V for Intel’s Discrete Event Simulation (DES) of production lines; 2) Impact of modeling theory on creditability of integrated DES, Linear Programming (LP) decision plans, and Knowledge Interchange Broker (KIB) simulations.

3

Outcomes and Data Analysis 

• Comparison between commercial and DEVS simulation results 

• This is reported in by‐product by‐site format

• Results may differ (up to a certain limit)

• Considering the variability and stocahsticity of models

• Different design perspectives• Various optimum solutions (integral 

points) in the LP model

• Both outputs can be compared with the plan (strategic planner expectation)• DEVS can perfectly match the expectation (will be shown in the validation section)• Commercial simulation cannot yet match the plan (although the simulation models are validated separately before) 

Qua

ntity

Date

DEVS

Commercial

4

Raw MaterialSupplier

Manufacturing

Warehouse (storage)Consumers

Supply Chain System

A system of inventories, processes, warehouses, and transportation mechanisms involved in producing and moving a product from raw material to finished goods and from production facilities to end customers 

5

Supply Chain Simulation Issues & Considerations Stochasticity: production times and shipping times are inherently stochastic

Scale: the size of the optimization problem radically grows as the number of facilities, products, and transportation routes approach actual scales and complexity 

Abstraction: accurate processes/logistics model specifications are necessary to develop credible simulations; interactions between simulation and optimization models must be separately modeled as in KIB to have flexible, integrated DES and LP simulation models

Impact: credibility of decision plans depends on credible simulation as well as credible interaction models. 

6

A View of an Integrated Supply‐Chain Simulation System

ControlStrategy

(Linear Program)

Supply Chain Process (Discrete Event)

Knowledge Interchange 

Broker

Fabrication

Assembly Test

Warehouse

CustomersFAB Supply

Customer Demand

Current Stock

Penalty Costs

7

The universal language

Language of system 1 (DEVS)

Language of the KIB

Language of system 2 (LP)

Poly‐Formalism

System Architecture

8

Network Generator

Supply‐Chain Network

Decision Connector

LP/CPLEX

 Optim

izer

W1

BOM1

BOMn

DP1

BOM2

W2

BOM1

BOMn

BOM2

DP2

DP3

DP4

DP5

DP6

…

CTRL_INPUT_PORT

Structure Inform

ation

Inpu

t Data

DatasetDemand/Supply Information

Mod

el Con

struction

KnowledgeInterchange Broker 

(KIB)

Adding Flow Information to the graph

Invoke Solver

Flow Information

Output Data

Release Commands

Partial View of the Dataset

Intransit_tptID

source

destination

default_tpt

distribution

Param 1

Param 2

Param 3

Param 4

Param 5

Site

site_name

site_type

longitude

latitude

Products

product_name

stage

Process_tptID

site

product

default_tpt

distribution

Param 1

Param 2

Param 3

Param 4

Param 5

BOM

bom_id

input

output

pct

ATM_Start_Schedule

bom_id

product

site

pln_date

pln_year

pln_month

pln_day

pln_quantity

CDP_Start_Schedule

bom_id

product

site

pln_date

pln_year

pln_month

pln_day

pln_quantity

9

Dataset Content ‐ DES

• Information coming from the dataset• Shipping times• Initial inventory• Demand at VMIs and CWs (for a full year; X)• Processing times (X different configurations)• Sites (X)• Shipping elements (X)• Products (X kinds)   • Processing configurations (X individual routes)

• The model resulting from these record contains:• 620 atomic/coupled models• 1000+ couplings • …

10

LP Model

Process

W1

W2

Die Product1

Die Product 2

Die Product 3

Die Product 4

Die Product 5

Die Product 6

W1

BOM1

BOMn

DP1

BOM2

W2

BOM1

BOMn

BOM2

DP2

DP3

DP4

DP5

DP6

These connections have yields specified to represent the BOM splitThese connections have specified lead times (TPT) 

Throughput time are supplied by the simulation model

We can hold inventory here, ahead of manufacturing process

We can hold inventory here, ahead of shipping

11

Loading Data from Simulation 

• Coming from CTRL_OUTPUT_PORT (Separate initialization from run‐time simexec.)

• BoH information for inventories and processes (provides data for LP)

• Data generated inside Decision Connector• Flow information

• Demand: based on records in the dataset• Supply: FAB’s output

• Structure information• Shipping• BOM• …

In BOM

Out1

Out2

Out3

X1%

X2%

Xn%

100%

12

Commercial DES Simulator

• Systems are constructed using pre‐specified components:• Queues • Servers• Links• …

• No mathematical basis• Uses object‐oriented software concepts and methods • Java utility classes as data structures and Java methods for receiving/processing/sending actions

• Graphical visualization of the simulation 

13

DEVS‐Suite Simulator

• Constructed using Parallel DEVS formalism

• Atomic and coupled models follow strict modularity; hierarchically models are closed under coupling

• Java methods for receiving/processing/sending messages:• External transition function• Output function• Internal transition function 

• Graphical visualization of the simulation 

14

Comparison of Commercial and DEVS‐Suite Simulators• DEVS‐Suite has a theoretical foundation• Both DEVS‐Suite and the commercial simulator follow object‐orientation design and implementation. 

• There is one‐to‐one relationship between formal models and their implementation in DEVS‐Suite

• Both simulators are capable of other kinds of simulation (such as agent‐based) in addition to DES (however not used for this project)

• Fast and easy modeling of small systems in the commercial simulator• DEVS‐Suite is open‐source; commercial simulator is not

15

Validation (1)

• Phase 1: Single‐chain validation • A single chain model were designed to test simulation models • Simulation models for facilities and shipping components were tested with pulse and slope signals from a devised dataset

• We expected to see the same patterns in product actual output log (DEVS and commercial simulation)

• All processing and shipping times were set as deterministic 

Transportation

16

FAB Process Assembly CW VMI

Phase 1 in DEVS‐Suite

17

Validation (2) 

QUAN

TITY (O

F LO

TS)

DATE

DEVS Expected

QUAN

TITY (O

F LO

TS)

DATE

DEVS Expected

• Phase 2: Historic data validation • We expected to see a rough consistency between the actual output and historic delivery• It phases out LP and KIB validation• Plots are generated in a by‐product by‐site basis• Stochasticity is imported from the dataset for processing/shipping times 

18

Comparison (released vs. expected) for FG10 Comparison (released vs. expected) for FG9Product A Product B

Validation (3)

• The complete model with KIB, LP, and simulation models• KIB is validated by comparing results between KIB‐based simulation and non‐KIB‐based ones• The totality of the simulation is validated (system‐wide validation) by comparing actual output log with the expected ones 

• By‐product by‐site plots are created as a result of this simulation• The complete model with 

• 620 atomic/coupled models• 1,000+ couplings• X data record (demand, routes, …)• Stochastic processing/waiting times  • X set of products (X kinds)• …

19

Validation Phases (summary)

20

Stochastic proc. Times 

Multi‐chain model

Historicrelease 

commandsDatabase LP KIB Input data

Phase 1 (single chain) Pulse and step functions 

Phase 2(historic data)

Network topology, processing times, initialization, and release commands from the dataset

Phase 3‐1 (KIB validation)

1. Network topology, processing times, and initialization from the dataset.2. KIB transformations form configuration XML files

Phase 3‐2 (System‐wide)  The output of the simulation against the 

expected output

Quantity

 (released lots)

Day Index

cumulative no KIB 1 cumulative no KIB 2

Results (1) – no KIB

• All processing/shipping times were changed to deterministic times

• Two experiments without the KIB 

• Expected to see reasonably close results (not identical)

• Since LP is not under our control and multiple solutions may exist, two instances may have different results   

Quantity

 (released lots)

Day Index

no KIB 1 no KIB 2

Results (2) – with KIB

• All processing/shipping times were changed to deterministic times

• Expected to see reasonably close results (not identical)

• Since LP is not under our control and multiple solutions may exist, two instances may have different results   

Quantity

 (released lots)

Day Index

With KIB 1 with KIB 2

Quantity

 (released lots)

Day Index

cumulative KIB 1 cumulative KIB 2

Results (3) – no KIB vs. with KIB

• One experiment with the KIB and the other without it

• Similar to the previous experiments, the results may have slight differences because of the unpredictability in the LP side

Quantity

 (released lots)

Day Index

with KIB no KIB

Quantity

 (released lots)

Day Index

cumulative KIB cumulative no KIB

Results (4) 

• System‐wide validation: • The second plot is reporting the difference between the plan (LP results) and the actual outputs (reported in the first plot) 

• The threshold of acceptable difference is set by domain experts and based on the current state of the system

Quantity

 (of lots)

Day Index

Quantity

 (of lots)

Day Index

Expected Actual

Simulation Platform Spec

• Software• Java 7 – 64bit • Windows 7 – 64bit• IBM ILOG CPLEX Optimization Studio 12.5• DEVS‐Suite 2.1.0• Microsoft SQL Server 2012 Developer version 

• Hardware• Intel Core 2 Duo – 2.9GHz• 8GB of physical memory (DDR3)

Maximum memory usage: 5.8 GB

25

Performance Analysis

* Simulation time measures the duration of simulation for one week * Each solves takes 114 seconds on average 

Minimum Simulation Time (for one week):         8.61 secMaximum Simulation Time (for one week):        62.29 secAVG Simulation Time (for one week):               28.30 secTotal simulation time (59 weeks) 131.8 minutes

26

Time Analysis

27

0.0010.0020.0030.0040.0050.0060.0070.0080.0090.00

Maximum Weekly Simulation Time AVG Weekly Simulation Time

Second

s

5 ‐RUN  TIME  ANALYSIS

High Low AVG

7.50

7.75

8.00

8.25

8.50

8.75

9.00

9.25

9.50

Minimum Weekly Simulation TimeSecond

s

5 ‐RUN  TIME  ANALYSIS

High Low AVG124

126

128

130

132

134

136

138

Total simulation time

Minutes

5 ‐RUN  TIME  ANALYSIS

High Low AVG

High Low AVG

Minimum Weekly Simulation Time 9.28(s) 8.13(s) 8.61(s)

Maximum Weekly Simulation Time 77.28(s) 50.26(s) 62.29(s)

AVG Weekly Simulation Time 33.13(s) 24.69(s) 28.30(s)

Total  59‐week simulation time 137(m) 129(m) 131.8(m)

Conclusion & Future Work

• Developed a simulation platform by integrating discrete event simulation, strategic control, and knowledge interchange broker

• Validated Intel’s commercial simulation model • Fed data for data analysis/mining team

Future Work• Simulating company‐level operation• Integration with tools where the simulation/optimization data can be mined for information aiding control and operation

28