nasa · 88 ,- ˙ 5,- ˙ original code mutants compile and link each mutant upload mutant and...

16
!" #$ % !& ’( )&** ++,) ! ,- + ) .’/

Upload: others

Post on 23-Jul-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

������������ ������������������������

����������������� ��������������� �������������������

��������������������������

������� ��������!�������������������"

�#� ��$��

����������������������� ���������

����������������� ���������

%

!�����������&�����

� ' �(

� )�� ������&*��*���

� +������������������+�,)�

� !����������

� ����,-�������

� +������������

� ������������� �)�� ������

� .�����'��/

Page 2: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

%

0

� �!�����

� �&������������������������������������1��*��������������������������

� !����+�)�������������������������������23�����41���������/������&��

� � ������������ ��������������������������������*������������������&��5

� ��������� �������������������

� ,*�����1���� ���/������������������������

6

!�����������&�����

� ' �(

� )�� ������&*��*���

� +�,)�+����������������

� !����������

� ����,-�������

� +������������

� ������������� �)�� ������

� .�����'��/

Page 3: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

0

7

)�� ������&*��*���889��

� �&������������������:������������

� �-�������������������� ��/����������� ��������� ������

� ;�����:���������������������������

� �<�<���*�����;==���������������������������������������

� � ��/���&���� �*�����������������������������

>

)�� ������&*��*���88! ����

� �����������0� ����5

� !����������

� ����,-�������

� =���������

ProductAnalysis and

ScopeDefinition

API Calls toTest Data Types

Constructionof Workloads

Fault ModelDefinition

Test ValuesWorkloads

Define TestCampaigns

and TestSuites

Test Suites

AutomaticGeneration of

Test Cases

Test Cases

Execute TestCases

Test Log

Log Analysis

ProductFaults

TestCampaigns

Preparation

Test Execution

Log Analysis

Page 4: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

6

?

)�� ������&*��*���88!����������

� ����@�� ����������������������!��

� �����������������������

� ��������1����������������/����

� ������������� �����������

� ���������������������������������������

Product Analysisand ScopeDefinition

API Calls toTest

Data Types

Construction ofWorkloads

Fault ModelDefinition

Test ValuesWorkloads

Define TestCampaigns and

Test Suites

Test SuitesTestCampaigns

Preparation

A

)�� ������&*��*���88����,-�������

� �������������������������������� �����������

� ,-������ ������������������� ������������������

TestSuites

AutomaticGeneration of

Test Cases

TestCases

Execute TestCases

Test Log

TestCampaigns

TestExecution

Page 5: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

7

#

)�� ������&*��*���88=���������

� �������� ����������������������� ��-������*����

� .��� ����������������3�������<�<�-������������������B���������� �����������B���<"

Test Log

LogAnalysis

ProductFaults

Log Analysis

�C

� ' �

� )�� ������&*��*���

� +������������������+�,)�

� !����������

� ����,-�������

� +������������

� ������������� �)�� ������

� .�����'��/

!�����������&�����

Page 6: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

>

��

+����������������88!����������5!������������� ���������������

� !������5+�,)�6<7<C

��������

�����������

��� �!��"�!���"��!���

#����

�$#

$%�#&

�$#

�������

�$#

�������������������

� �����5

� ��������!�

� !&��D�!�

� ,-�����*�����

� ������������ � �=��:=�*���*������*���

�%

+�,)�+����������������88!����������5.���)�������������

� ����������*�����������������������������*�����-���������

� ��������� +�,)���������

� ����������*���������� +�,)���������<

�;==��������

CB�B�A66>?66C?0?C#77�>�7

�����������

CB�B:�B#%%00?%C0>A76??7AC?B:#%%00?%C0>A76??7ACA

���

CB�B>7707��������� ������

CB�B:�B0%?>?B:0%?>A� ������

CB�B6%#6#>?%#7�����������

CB�B:�B%�6?6A0>6?B:%�6?6A0>6A

���

CB:�%AB�%?������� ��

CB%77� ��

���'��������(���

Page 7: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

?

�0

+�,)�+����������������88!����������5��������������� �'��/����

� &�����/��������� �������

� ������*����������*����������

� ���� ����������������� �������������E.�����������8�"5E+���������8FE�������������85G�������H������IF

19Total

5POSIX

14Classic

WorkloadsAPI

�6

+�,)�+����������������88!����������5�����������������������

� &���������������� +�,)����������������

Workload Description:This workload only has one main task. This task performs all tests of the region manager . It executes the following region manager related operations:•Create a region;•Get a segment from region;•Return the segment to region;•Extend region;•Delete region.

1.RTEMS-TS-CL-RGNCRT2.RTEMS-TS-CL-RGNGSG3.RTEMS-TS-CL-RGNGSS

Test Suites:

rtems-cmp-cl-rgn.cWorkload File:

To test the robustness of the selected RTEMS Classic APIs related to the region manager.

Purpose:

RTEMS-CMP-CL-RGNCampaign Identifier:

Test Campaign Definition

Page 8: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

A

�7

+�,)�+����������������88!����������5��������������������

� &����������������� �������*�

17Generated Test Cases:

rtems_region_get_segment (rtems_id *id,rtems_unsigned32 size,rtems_option option_set,rtems_interval timeout,void **segment)

Test Item:

Source file: rtems-cmp-cl-rgn.cLines: [155 - 159]

returnStatus = rtems_region_get_segment (regionId,requestedSize1,option,timeout,ptsegment1);

Injection Location(s):

To test rtems_region_get_segment by invoking it with the entire range of test values for each of its parameters.

Purpose:

RTEMS-TS-CL-RGNGSGTest Suite Identifier:

Test Suite Definition

�>

+�,)�+����������������88����,-�������5������������������9���������

rtems_region_get_segment (rtems_id *id,rtems_unsigned32 size,rtems_option option_set,rtems_interval timeout,void **segment)

CB�B6%#6#>?%#7�����J*�����J������

CB�B%77�����J��������A

CB�B6%#6#>?%#7�����J��������0%

CB�B>7707�����J���������>

���'��������(���

requestedSize1 = 0;returnStatus = rtems_region_get_segment (

regionId,requestedSize1,option,timeout,ptsegment1);

requestedSize1 = 1;returnStatus = rtems_region_get_segment (

regionId,requestedSize1,option,timeout,ptsegment1);

requestedSize1 = 4294967295;returnStatus = rtems_region_get_segment (

regionId,requestedSize1,option,timeout,ptsegment1);

Page 9: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

#

�?

+�,)�+����������������88����,-�������5,-��������������

�����������

OriginalCode

Mutants

Compile andlink each mutant

��� �������

���

Upload mutant andexecute test case

Change InputParameter

Collect Output

�A

+�,)�+����������������88=���������5=���������

� &������������ �� ����*����������� ���

The simulator returns the following output:Memory exception at fffffffc (illegal address)Unexpected trap (0x09) at address 0x0200aaacData access exception at 0xfffffffc

Notes:

A Memory Exception occurs while attempting to retrieve a segment of size zero. The same happens when attempting to retrieve a segment of size 4294967295.

Failure Description:

requestedSize1 = 0;returnStatus = rtems_region_get_segment (regionId,

requestedSize1,option,timeout,ptsegment1);

Input Specification:

RTEMS-TCR-CL-RGNGSG-022(same results obtained in RTEMS-TCR-CL-RGNGSG-024)

Test case result identifier:

TEST CASE RESULT

Page 10: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�C

�#

+�,)�+����������������88+������������5&*���+������������

� ��������C77������������������������-������

� �������6#��������������

491055Total

15528POSIX

34527Classic

Test Cases Failed

Test CasesAPI

%C

!�����������&�����

� ' �

� )�� ������&*��*���

� +�,)�+����������������

� !����������

� ����,-�������

� +������������

� ������������� �)�� ������

� .�����'��/

Page 11: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

��

%�

������������� �)�� ������

� 9�������������� ���*�������

� � ���������������������������������������������������������������

� ������������������������������������-������

� ��������������-���������K�CCC�����������+�,)���K%6C ������������*�����7C����������������

� ���������� ������������������� ���������������������������������������<

� �������������-��������,����L����������

� =��������������������������:8�������������������*�����

%%

!�����������&�����

� )�� ������&*��*���

� +�,)�+����������������

� !����������

� ����,-�������

� +������������

� ������������� �)�� ������

� .�����'��/

Page 12: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�%

%0

.�����'��/

� ��������� �=�������������

� �������� ��������������������M����*����� �����������3����������������������������

� �����*�� ����������������������������/������ ���3����������������������������

� !��*����� ��� �)�� ���������� �������������������������������B�<�<$���"

%6

�������

� �����/�����������������������,��1�,�L:NN�B������������������������������,*����������������/��������

� ��/���!���<! ���O������������������� ���/�������);��+����������������

Page 13: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�0

������������ ������������������������

)��*��������

%>

+�,)�+����������������88!����������5+�,)��������!�

����

����

�!���

�������

�����+���

������

#,%

#��������

��*

���������������

$��������

-���������

#�������.���������*

����

"���$�����������

����������

���������

� K�CC�������*����<�<���������"

Page 14: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�6

%?

+�,)�+����������������88!����������5+�,)�!&��D�!�

����

����

��+������

������

����/

�����'���

����

����*

���

$��������������

$��������!��������

+����

+����

������������

�����+����

������

��������

-�������"����������#�������%�����$������!��

"�!�����������

����� ��-��������

������"�������� ���������������!�-���

%A

+�,)�+����������������88+������������5�������!���"

0122345����

CPC�?;���,-��������

6P0>?�����

?P677���/

�CP��C�����

0P�00����� ���

�CP?>?+�����

6P�%6+���)��������

?P%%?!��������

�CPAA0)������

�%P>7C�&

CPC7���������

CPC0.���,����

CPC�A,*���

CPC>A���/

��������-�����,������������

��������-��������������������

Page 15: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�7

%#

+�,)�+����������������88+������������5�������!����"

341915Total

11CUser Extensions

312Timer

422Task

11CSignal

11CSemaphore

734Region

11CRate Monotonic

22CPartition

862Message

615IO

000Interrupt

000Fatal Error

000Event

000Clock

TotalLowCriticalManager

0C

+�,)�+����������������88+�����������5!&��D�!���"

2163347����

�CP0%#�����

6P7�%%�����

%P6%%0)���-

%P0�%%)������

CPC0%���/

��������-�����,������������

��������-��������������������

Page 16: NASA · 88 ,- ˙ 5,- ˙ Original Code Mutants Compile and link each mutant Upload mutant and execute test case Change Input Parameter Collect Output

�>

0�

+�,)�+����������������88+�����������5!&��D�!����"

15114Total

330Timer

541Signal

431Mutex

312Message

000Clock

TotalLowCriticalManager