(mantech continuous cluster server) · 2015-06-16 · 예) ms-sql db를 서비스하기 위해...

Last modified : 141110

Copyright 2014 Man Technology Inc. All rights reserved. - 1 -

Create by jyjung / Modefied by jjung

㈜맨텍

서비스사업본부

02-2136-6900

[email protected]

http://www.mantech.co.kr

MCCS 3.6 (Mantech Continuous Cluster Server)

운영자 매뉴얼

http://www.mantech.co.kr/




_______________________________________________

© 2014 Man Technologies, Inc. 저작권 소유.

이 문서의 정보는 사전 통보 없이 변경될 수 있습니다.

본 한글 문서는 ㈜맨텍에서 제작 배포되며, 서면 승인 없이 어떠한 방식으로든 본 자료를 무단

복제하는 행위는 엄격히 금지됩니다.




1. MCCS 개요

• 이중화 개념

• 운영 환경

• 리소스

• 리소스 그룹

2. MCCS 운영

• 콘솔 접속

• 그룹 시작

• 그룹 종료

• 그룹 수동 페일오버

• 그룹 잠금

• 장애 표시 제거

• 명령 초기화

• 서포트 추출

• 로그 확인

3. 장애 대응

• 노드 장애시 조치 방법

• 네트워크 장애시 조치 방법

• 응용프로그램 장애시 조치 방법

• 한 노드만 정상 부팅 될 경우 조치 방법

• MCCS Console이 실행 되지 않는 경우 조치 방법

• MCCS Console에 접속 되지 않는 경우 조치방법

• OS 및 응용프로그램 패치 작업 절차

목 차




1. MCCS 개요

□ 이중화 개념

이중화 목적은 장애 발생 시 서비스 중단을 최소화하는 것입니다.

MCCS는 운영체제, 네트워크, 디스크, 응용프로그램 등의 상태를 항상 감시하고 장애 발생 시 자동으로 Recovery /

Failover를 수행하여 서비스 중단을 최소화해줍니다.




□ 운영 환경

① 운영체제 환경

- 최소 1GHz 이상의 CPU / 200MB 이상의 Memory 여유공간 / 300MB 이상의 HDD 여유공간.

- Windows 2003 Standard/Enterprise Edition x86/x64 (R2 포함) 지원.

- Windows 2008 Standard/Enterprise Edition x86/x64 (R2 포함) 지원.

- Windows 2012 Standard/Datacenter Edition x64 (R2 포함) 지원.

- Windows XP Professional x86/x64 (Service Pack 3 이상) 지원.

- Windows 7 Enterprise x86/x64 (Service Pack 1 이상) 지원.

- 양 서버의 OS version , SP & Windows update 동일하게 구성.

- Workgroup / Domain 환경 동일하게 구성.

- MCCS 실행 계정은 Administrator 권한 소유.

- 양 서버의 계정/패스워드 동일.

- 백신 사용 시 MCCS, DK 폴더 검사 예외 영역 설정 .exe file들 신뢰 Process로 등록 필요.

② 미러 디스크 환경

- Array Controller/ Disk 는 Vender 사 권장 최신 Firmware 및 Driver 로 Update 권장.

- 미러 디스크로 사용될 Volume은 LUN 단위로 구성되 있어야 함.

- 미러 디스크로 사용될 Volume 을 양 서버에서 동일 letter 로 할당.

- 미러 디스크로 사용될 Volume 크기는 Byte 단위까지 양 서버에서 동일해야 함.

- 디스크 형식 : 기본과 동적 / 파티션 형식 : MBR 과 GPT / 파일 시스템 : NTFS / 파티션 타입 : 주 파티션.

③ 공유 디스크 환경

- Array Controller/ Disk 는 Vender 사 권장 최신 Firmware 및 Driver 로 Update 권장.

- 공유 디스크로 사용될 Volume은 LUN 단위로 구성되 있어야 함.

- 공유 디스크로 사용될 Volume 은 양 서버에서 동일 letter 로 할당.

- 디스크 형식 : 기본 / 파티션 형식 : MBR 과 GPT / 파일 시스템 : NTFS / 파티션 타입 : 주 파티션.

- Cluster Mode 를 지원하는 Storage 사용.

- NAS, DAS, SAN, iSCSI 형태의 Storage 지원.

④ 네트워크 환경

- NIC 은 Vender 사 권장 최신 Firmware 및 Driver 로 Update 권장.

- IP 최소 수량은 서비스 대역 IP 3 개 이상 필요 (Resource Group 1 개 구성시).

- NIC Port 최소 수량은 미러 디스크 구성 : 3 개 / 공유 디스크 구성 : 2 개 필요.

- Cross Cable 최소 수량은 미러 디스크 구성 : 2 개 / 공유 디스크 구성 : 1 개 필요.

- Heartbea/Mirror NIC 와 Cross Cable 은 Gigabit 이상 권장.

⑤ 데이터베이스 환경

- DB Engine 은 Local Disk C:영역에 위치하도록 설치 권장.

- DB Data(System DB / User DB)는 미러/공유 디스크 영역에 위치하도록 설치 필수.

- DB instance name 은 양 서버에서 동일하도록 설치.

- MS-SQL "Linked Server" 사용 시 별도의 Setting 필요.




⑥ MCCS Service

Service Description

MCCS Agent 이중화 동작을 위해 양 서버에서는 MCCS Agent 서비스가 시작돼있어야 합니다.

SteelEye DataKeeper 양 서버 간 로컬 디스크 복제를 위해 SteelEye DataKeeper 서비스가 시작돼있어야 합니다.

⑦ MCCS Process

Process Description

MccsServer.exe 이중화 동작을 위한 노드/리소스 모니터링과 리소스를 제어하는 엔진 Process

MccsAgentService.exe MccsServer.exe 의 실행 여부를 모니터링하는 관리 Process

MccsConsole.exe MCCS 관리하고 리소스를 제어할 수 있는 MCCS Console

ExtMirrSvc.exe 양 서버 간의 로컬 디스크를 실시간으로 복제하는 Process

⑧ MCCS Port

Port Description

4321 Primary Heartbeat Port

4322 Config Information Management Port

4323 RMI Port

4324 MCCS Console Listening Port

4325 MCCS Server – Console Communication Port

137 NetBIOS Name Resolution services Port

138 NetBIOS Datagram Service Port

139 NetBIOS Session Service Port

445 SMB (Direct Host) Port

9999 DK Dispatch Port

10000 - 10025 Disk Port




□ 리소스

리소스는 MCCS에 의해 시작/종료/감시되는 하드웨어/소프트웨어적 요소입니다.

MCCS는 등록된 리소스를 일정 시간 간격으로 감시(정상 실행 여부 확인) 하며, 문제 확인시 자동으로 Failover (운영 서

버에 장애 발생 시, 대기 서버에서 업무가 가동 되도록 하는 행위)를 수행합니다.

네트워크 카드

네트워크 장치(NIC)의 장애 감시를 위해 사용되는 리소스

네트워크 주소

네트워크 장치(NIC)에 가상 IP 주소를 구성하고 감시하기 위해 사용되는 리소스

공유 디스크

공유 디스크를 운영 노드에서만 접근이 가능하도록 구성하고 감시하기 위해 사용되는 리소스

미러 디스크

미러링 모듈을 이용해 양 서버 간의 로컬 디스크를 실시간 복제하고 감시하기 위해 사용되는 리소스

기본응용

프로세스(.exe 형태의 파일)를 시작/종료/감시하기 위해 사용되는 리소스

복합응용

시작/종료/감시 스크립트를 사용하여 프로세스나 서비스를 포함한 다양한 형태의 리소스를 관리하기 위해

사용되는 리소스

윈도우즈 서비스

서비스 관리자(Service Control Management)에서 관리되는 서비스를 선택하여 시작/종료/감시하기 위해

사용되는 리소스

가상이름

가상 IP 주소에 가상 컴퓨터이름(NetBIOS)을 추가로 생성하고 감시하기 위해 사용되는 리소스

스카시예약

Split-brain 상황에서 두 노드의 공유 디스크 동시 접속을 방지하기 위해 사용되는 리소스

공유 디스크 환경에서 선택적으로 사용되는 리소스

□ 리소스 그룹

하나의 업무를 서비스하기 위해 필요한 리소스들의 집합이며, Failover가 이루어지는 단위입니다.

각 리소스는 그룹 내의 상호 의존성 관계에 따라 시작/종료 순서를 갖습니다.

예) MS-SQL DB를 서비스하기 위해 네트워크 카드, 네트워크 주소, 미러 디스크, 윈도우 서비스가 하나의 리소스 그룹으

로 구성합니다.




2. MCCS 운영

□ 콘솔 접속

MCCS Console은 MCCS 관리를 위해 제공되는 관리 콘솔이며, 실행하면 아래 그림과 같은 창이 뜹니다.

- 서버 IP : 서버 IP : MCCS Console 로 접속할 IP 입력 창으로, 기본적으로 127.0.0.1 을 입력합니다.

- 포트번호 : MCCS Console 로 접속할 Port 입력 창으로, 기본적으로 4324 을 입력합니다.

- 사용자 ID : admin 과 guest 중 선택하여 접속이 가능하며, guest 로 접속시 제한적인 기능만을 사용할 수 있습니다.

- 비밀번호 : admin 의 초기 비밀번호는 password 이며, guest 는 비밀번호 입력 없이 접속이 가능합니다.

- 비밀번호저장 : “비밀번호 저장“ 체크 상태로 비밀번호를 입력 후 접속하면, 이후에는 비밀번호 입력 없이 접속 가능

- 접속 : 입력된 IP/포트 번호/ID/비밀번호를 이용하여 Console 접속을 시도합니다.

MCCS Console 접속에 성공하면, 아래와 같이 현재 업무의 상태를 확인할 수 있습니다.

※ 각 리소스는 그룹 내의 상호 의존성 관계에 따라 시작/종료 순서를 갖습니다.

업무 시작 순서 : 아래 -> 위 / 업무 종료 순서 : 위 -> 아래




□ 그룹 시작

“그룹 시작”은 그룹의 모든 리소스들을 선택한 노드에 시작 시키는 명령입니다.

※ 업무 시작 순서 : 10.110.80.21 -> Mirror_D -> Oracle_Server -> Oracle_Listener -> Tomcat_Service -> Mosv_Service

-> SMS_Service

<Oracle_RG가 CTCTL1에서 시작돼있는 상태>

※ 그룹 시작이 완료되면, “미러 디스크와 공유 디스크”는 운영 노드에서만 접근이 가능합니다.




□ 그룹 종료

“그룹 종료”는 그룹의 모든 리소스들을 종료 시키는 명령입니다.

※ 업무 종료 순서 : SMS_Service -> Mosv_Service -> Tomcat_Service -> Oracle_Listener -> Oracle_Server -> Mirror_D

-> 10.110.80.21

<Oracle_RG가 CTCTL1 / CTCTL2 모두에서 종료 되있는 상태>

※ 그룹 종료가 완료되면, “미러 디스크와 공유 디스크”는 양 노드에서 모두 접근 불가능합니다.




□ 그룹 수동 페일오버

“그룹 수동 페일오버”는 현재 운영 노드에서 그룹의 모든 리소스들을 종료 한 후 대기 노드에서 시작해주는 명령입니다.

<Oracle_RG가 CTCTL1에서 종료되는 과정>




<Oracle_RG가 CTCTL2에서 시작되는 과정>

<수동 페일오버 명령이 완료되어 Oracle_RG가 CTCTL2에서 시작돼있는 상태>




□ 그룹 잠금

“그룹 잠금”을 사용하면, 그룹에 포함된 모든 리소스들의 상태는 계속 감시하지만, 장애 발생 시 자동 Recovery /

Failover를 수행하지 않습니다. MCCS 리소스로 등록돼 있는 응용프로그램의 패치 작업등에 사용됩니다.

- 임시 잠금 : 양 서버의 재부팅 / 양 서버의 MCCS Agent가 재시작 되면 잠금이 자동으로 해제됩니다.

- 잠금 (영구 잠금) : MCCS Console의 “잠금 해제”명령을 통해서만 잠금이 해제됩니다.

※“그룹 잠금”상태가 되면 리소스 그룹이 자물쇠 모양으로 바뀝니다.




□ 잠금 해제

“그룹 잠금”을 해제할 때 사용합니다.

※“그룹 잠금”이 해제되면 리소스 그룹이 원래 모습으로 되돌아옵니다.




□ 장애표시 제거

운영서버에 장애 발생하면 대기 서버로 자동 페일 오버 되며, 장애가 발생된 리소스에 붉은색 “장애 표시”가 생깁니다.

<CTCTL1의 Tomcat_Service에 장애가 발생하여 CTCTL2로 페일 오버 된 상태>

“장애 표시”가 남아 있는 노드로“그룹 수동 페일오버”가 불가능하며, 실제 장애 때도 자동 페일오버가 되지 않습니다.




“장애 표시”가 남아 있는 노드로“시작”이 불가능합니다.

운영자는 장애가 발생된 리소스의 상태 확인(원인 파악을 위한 로그 점검 등) 후 ‘장애 표시 제거’ 명령을 내려 붉은색 체

크를 해제해야 합니다.




□ 명령 초기화

리소스의 시작/종료 진행 중 알 수 없는 이유로 처리가 지연되거나, 무응답 상태가 된 것을 초기화할 때 사용합니다.

"명령 초기화"를 실행하면 명령큐에 쌓여있는 대기 명령들을 모두 초기화합니다.




□ 서포트 파일 생성

MCCS 분석에 필요 한 각종 파일(O/S 및 MCCS의 구성 정보 파일과 각종 로그 등)을 수집하는 명령입니다.

<수집 된 서포트 파일 >




□ 로그 확인

MCCS 로그 창에서 실시간으로 기록 되는 Log를 확인 할 수 있습니다.

로그 창 윗 부분을 더블 클릭하여 로그 창을 확대 할 수 있습니다.

"C:\Program Files\MCCS\logs"경로에서도 mccs.log를 확인 할 수 있습니다.




3. 장애 대처

□ 노드 장애시 조치 방법

운영 노드의 시스템 장애(운영 서버 전원 꺼짐)가 발생 시 MCCS에 의해 대기 서버로 자동 페일오버 됩니다.

<CTCTL1의 노드 장애로 리소스 그룹이 CTCTL2로 자동 페일오버 중인 모습>

<페일오버 완료 및 양 노드 모두 정상 운영 중인 모습>

운영 노드를 다시 CTCTL1로 돌리고자 하면 그룹 수동 페일오버 명령을 사용하면 됩니다.




□ 네트워크 장애시 조치 방법

운영 노드의 네트워크 장애 발생 시 MCCS에 의해 대기 서버로 자동 페일오버 됩니다.

<CTCTL1의 네트워크 장애로 리소스 그룹이 CTCTL2로 자동 페일오버 되는 모습>

<페일오버 완료 후 모습>




네트워크 카드 리소스의 상태 확인(원인 파악을 위한 점검 등)후 ‘장애 표시 제거’ 명령을 내려 붉은색 체크를 해제합니다.





□ 응용프로그램 장애시 조치 방법

운영 노드의 응용프로그램 장애 발생 시 MCCS에 의해 대기 서버로 자동 페일오버 됩니다.

<CTCTL1의 응용프로그램 장애로 리소스 그룹이 CTCTL2로 자동 페일오버 되는 모습>

<페일오버 완료 후 모습>




응용프로그램 리소스의 상태 확인(원인 파악을 위한 점검 등) 후 ‘장애 표시 제거’ 명령을 내려 붉은색 체크를 해제합니다.





□ 한 노드만 정상 부팅 될 경우 조치 방법

MCCS는 Engine Process가 시작되면, 노드 상호 간의 상태를 확인하는 과정을 거친 후 이중화 기능이 활성화됩니다.

두 노드가 모두 꺼진 후 한 노드만 정상 부팅되는 상황에서는 반대편 노드의 상태를 확인할 수 없으므로 이중화 기능이

비활성화되며, 그룹 시작을 위해서는 운영자의 개입이 필요합니다.

<두 노드가 모두 꺼진 후 CTCTL1 노드만 정상 부팅 된 상태>

<그룹은 종료돼있으며, 그룹 시작이 불가능한 모습>




<그룹이 CTCTL1 노드에서 정상적으로 시작된 모습>




□ MCCS Console이 실행되지 않는 경우 조치 방법

MCCS는 한 노드에서 MCCS Console 1개만 실행 될 수 있도록 설계 돼있습니다.

위 화면이 출력되면서 콘솔이 실행되지 않는 경우 아래와 같이 해결할 수 있습니다.

MCCS Console 접속




□ MCCS Console에 접속되지 않는 경우 조치 방법

위 화면이 출력되면서 콘솔이 접속되지 않는 경우 아래와 같이 해결할 수 있습니다.

양 노드 모두 아래와 같이 수행합니다.

MCCS Console 접속




□ OS 및 응용프로그램 패치 작업 절차

O/S 및 응용프로그램 패치시 MCCS 리소스로 등록된 응용프로그램이 외부 요인으로 인해 시작 <->중지 되는 경우가

발생할 수 있습니다. 운영자 입장에서는 정상 동작이지만, MCCS 입장에서는 장애 상황으로 응용프로그램 Recovery 혹은

Failover 를 수행하며, 각종 작업에 문제가 발생될 수 있습니다. 문제가 발생되지 않도록 아래 절차로 작업을 진행하면

됩니다.

① 현재 운영 노드를 확인합니다.

< 리소스 그룹이 CTCTL1에서 시작 중인 상태 >

② “그룹 잠금”을 수행합니다.




③ 현재 대기 노드(CTCTL2)에서 OS Update/응용프로그램 패치/재부팅을 포함한 각종 관리 작업을 수행합니다.

④ 잠금 해제”를 수행합니다.

⑤ ‘그룹 수동 페일오버’명령을 수행하여 리소스 그룹을 CTCTL2 로 이관 시킵니다.




⑥ CTCTL2 에서 리소스 그룹이 정상적으로 시작되었는지 확인합니다.

⑦ “그룹 잠금”을 수행합니다.

⑧ 현재 대기 노드(CTCTL1)에서 OS Update/응용프로그램 패치/재부팅을 포함한 각종 관리 작업을 수행합니다.

⑨ 잠금 해제”를 수행합니다.

⑩ 완료.

⑪ (운영 노드를 다시 CTCTL1 로 돌리고자 하면 ‘그룹 수동 페일오버’명령을 수행하여 리소스 그룹을 이관 시킵니다.)

(mantech continuous cluster server) · 2015-06-16 · 예) ms-sql db를 서비스하기 위해...

Documents