061 - resolución de problemas

7/22/2019 061 - Resolución de Problemas

http://slidepdf.com/reader/full/061-resolucion-de-problemas 1/14

© 2003, Cisco Systems, Inc. All r ights reserved. Course acronymVersion <x.x>

Resolución de Problemas

© 2008, Cisco Systems, Inc. All r ights reserved. CRS-1 Arch and IOS-XR

Objetivos

Después de completar este módulo, será capaz

Localizar y resolver errores a nivel de tarjeta

Revisar problemas de memoria y fugas

Buscar errores a nivel de proceso


car y reso ver pro emas a n ve




Tarjeta

El estatus operacional

normal del los nodos

Para ver el estatus de una tarjeta y sus PLIMsasociadas:

• RP/0/RP0/CPU0:CRS1/8# show pl atf orm• Node Type PLIM State Config State• ----------------------------------------------------------------------• 0/0/SP MSC(SP) N/A IOS-XR RUN PWR,NSHUT,MON• 0/0/CPU0 MSC 16OC48-POS/DPT I OS- XR RUN PWR,NSHUT,MON• 0/2/SP MSC(SP) N/A IOS-XR RUN PWR,NSHUT,MON• 0/2/CPU0 MSC 16OC48-POS/DPT IOS-XR RUN PWR,NSHUT,MON• 0/5/SP MSC(SP) N/A IOS-XR RUN PWR,NSHUT,MON• 0 5 CPU0 MSC 4OC192-POS DPT IOS-XR RUN PWR NSHUT MON

-

ini ciado es “ IOS-XR RUN”


, ,• 0/RP0/CPU0 RP(Active) N/A IOS-XR RUN PWR,NSHUT,MON• 0/RP1/CPU0 RP(Standby) N/A IOS-XR RUN PWR,NSHUT,MON• 0/SM0/SP FC/S(SP) N/A IOS-XR RUN PWR,NSHUT,MON

• 0/SM1/SP FC/S(SP) N/A IOS-XR RUN PWR,NSHUT,MON• 0/SM2/SP FC/S(SP) N/A IOS-XR RUN PWR,NSHUT,MON• 0/SM3/SP FC/S(SP) N/A IOS-XR RUN PWR,NSHUT,MON

Reiniciar un MSC

Para reiniciar un CPU de un MSC:

• RP/0/RP0/CPU0:CRS1/8# hw- modul e l ocat i on 0/ 0/ cpu0 r el oad

• RP/0/RP0/CPU0:Mar 17 11:43:05.991 : shelfmgr[288]: %PLATFORM-SHELFMGR-

3-USER_RESET : Node 0/ 0/ CPU0 i s r eset due t o user r el oad request

• ...

• SP/0/0/SP:Mar 17 11:45:13.161 : alphadisplay[100]: %PLATFORM-

ALPHA_DISPLAY-6-CHANGE : Al pha di spl ay on node 0/ 0/ SP changed t o MBI -RUN i n st ate def aul t

• SP/0/0/SP:Mar 17 11:45:20.713 : al hadis la [100]: %PLATFORM-


ALPHA_DISPLAY-6-CHANGE : Al pha di spl ay on node 0/ 0/ SP changed t o I OS- XRi n state def aul t

• ...

• LC/0/0/CPU0:Mar 17 11:46:41.519 : cfgmgr-lc[113]: %MGBL-CFGMGR-6-

CONFIG_COMPLETE : Conf i gur ati on f or node ' 0/0/ CPU0' has been r estor ed.




Identificando Asuntos de Software

Muestra el ID del

proceso que causó la

falla

• RP/0/RP0/CPU0:CRS1/8# show cont ext al l l ocat i on 0/ 2/ CPU0• Crashed pid = 20519 ( pkg/ bi n/ metr o_dr i ver )• Crash time: Fri Nov 14, 2003: 13:53:55• Core for process at di sk0: / metr o_dr i ver . 20031114-

135355. node0_3_1. Z• Stack Trace• #0 0xfc225248• ...• #9 0x4820268c• Registers info

Ubicación de archivo

de sistema en el

archivo de volcado

principal


• ... <text omitted>• R36 24000022 20000004• DLL Info• DLL path Text addr. Text size Data addr.

Data size• /pkg/lib/libinfra.dll 0xfc10a000 0x00030c98 0xfc109268

0x00000a70

Usado principalmente para reporte

de fallas y reporte de problemas de

usuarios beta

Resolviendo Sobrecarga del CPU

Para ver los procesos e hilos (threads) que consumen la mayor parte

del tiempo de ciclo:

• RP/0/RP0/CPU0:CRS1/8# t op• 207 processes; 700 threads;• CPU states: 97.7% idle, 1.7% user, 0.5% kernel• Memory: 2048M total, 1596M avail, page size 4K

• JID TID PRI STATE HH:MM:SS CPU COMMAND• 1 12 10 Run 0:00:12 0.55% procnto-600-smp-cisco-

instr• 55 7 55 Rcv 0:00:39 0.23% eth_server• 70 7 10 Rcv 0:00:10 0.16% qnet• 65744 1 10 Rply 0:00:00 0.12% top• 55 11 50 Rcv 0:00:01 0.11% eth server

El comando s e actualiza

automáticamente hasta

que se presiona la tecla

“q ”


. _

• 288 5 10 Rcv 0:00:15 0.10% shelfmgr• 70 4 10 Rcv 0:00:10 0.10% qnet• 70 6 10 Rcv 0:00:11 0.08% qnet• 70 3 10 Rcv 0:00:19 0.07% qnet• 52 5 21 Rcv 0:00:00 0.03% devc-conaux

Nótense múltiples hilos con el mismo

ID de trabajo mismo proceso




Tarjeta de Servicios Modulares

Muestra un resumen

de la información de

memoriaPara ver la memoria del MSC:

• RP/0/RP0/CPU0:CRS1/8# show memor y summar y l ocat i on0/ 2/ cpu0

• Physical Memory: 1024M total

• Application Memory : 883M ( 105M avai l abl e)

• Image: 12M (bootram: 12M)

• Reserved: 128M, IOMem: 2028M, flashfsys: 0Memoria usada 778 M u


• Total shared window: 0.

Viendo la Memoria Superior-

Asuntos de Consumo

Dos procesos de

Para ver los procesos de consumo de memoria superior en el enrutador

ID de trabajo del proceso “ eth_server”

• RP/0/RP0/CPU0:CRS1/8# show pr ocesses memor y• JID Text Data Stack Dynamic Process• 55 28672 4096 61440 38084608 eth_ser ver• 156 143360 4096 24576 13234176

f gi d_ser ver• 65554 40960 0 32768 7114752 devb-ata• 259 69632 4096 86016 6737920

parser_server• 338 4096 0 143360 2899968 xmlagent

m s consumo de

memoria superior

para mayo r nves gac n


• nvram • 172 110592 4096 114688 2297856 gsp• 121 499712 4096 65536 2027520 bgp• 70 77824 4096 61440 1986560 qnet• 53 24576 0 28672 1703936 dllmgr• 250 57344 4096 20480 1646592

nvgen_server• ...




Analizando la Ruta de Datos

A la

matrizxngress

ASIC

CPUCTRL PLA

A la

línea

Desde

la línea


fabricq 0

FabricQ (0)

ASIC

EgressQ

ASIC

Desde lamatriz

Tx PSE (1)

Analizando las Interfaces de IngresoComando básico es un

buen punto de comienzo

Para buscar caídas de

entrada o salida

Vara ver la salud general de la interface:

•RP/0/RP0/CPU0:CRS1/8# show i nt er f ace pos 0/ 2/ 0/ 0•POS0/2/0/0 is down, line protocol is down•<text omitted>•reliability 255/255, txload 1/255, rxload 1/255•Encapsulation HDLC, crc 32, controller loopback not set,keepalive not set•<text omitted all “zero” counters>• 10 packets i nput , 1040 bytes , 57 total i nput drops• 0 drops for unrecognized upper-level protocol• Received 0 broadcast ackets, 0 multicast ackets


• 0 runts, 0 giants, 0 throttles, 0 parity• 57 i nput er r ors , 28 CRC, 0 f r ame, 0 overr un, 0 i gnored, 0abor t• 11 packets output, 1058 bytes, 0 total output drops• Output 0 broadcast packets, 0 multicast packets• <text omitted all “zero” counters>




Analizando la PLA ASIC

RP/ 0/ RP0/ CPU0: CRS1/ 8#show controllers plim asic statistics

interface pos0/2/0/2 loc 0/2/cpu0Node: 0/ 2/ CPU0

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -POS0/ 2/ 0/ 2 Tx St ati st i cs- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Tot al Oct et s : 351793867 Total Pkt s : 831386Uni castpkts : 831386 Mul t i castPkt s : 0Br oadcast Pkt s : 0 <64Oct et s : 41009564Oct et s : 0 65t o127Oct et s : 342729128to255Oct et s : 4864 256to511Oct et s : 3291512to1023Oct ets : 1754 1024t o1518Oct et s : 601519t o1548Oct ets : 0 1549t o9216Oct et s : 68593>9216Oct et : 0 BadCRCPkt s : 0


802. 1QPkts : 0 Underr un : 0Runt : 0 Gi ant : 0PausePkts : 0 J abber s : 0

Def err al Abort : 0 Lat eCol l i si on : 0Col l i si onAbort : 0 OneCol l i si on : 0Mul t i Col l i s i on : 0 Total Col l i s i ons : 0

Tot al Def er : 0 Lat eCol l i si onAbort : 0LengthAbor t : 0 TxBP count : 0- - more- -

Analizando la PLA ASIC (Cont.)

POS0/ 2/ 0/ 2 Rx St ati st i cs- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Tot al Oct et s : 360556211 Tot al Pkt s : 915156 Uni cast Pkt s : 915156Mul t i cast Pkt s : 0 Broadcast Pkt s : 064Oct et s : 0 65t o127Oct et s : 572374128to255Oct et s : 2467 256to511Oct et s : 16512to1023Oct ets : 23 1024t o1518Oct et s : 31519t o1548Oct ets : 0 1549t o9216Oct et s : 68537>9216Oct et s : 0 BadCRCPkt s : 0BadCodedPkts : 0 Runt : 0Short Pkts : 271736 802. 1QPkts : 0Dr o : 0 PausePkt s : 0


Cont r ol Pkt s : 0 J abbers : 0BadPreambl e : 0

POS0/ 2/ 0/ 2 Dr op- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -RxFi FO Dr op : 0 PAR Tai l Dr op : 0

TxFI FO Drop : 0




Analizando la Salud General del PSE ASIC

RP/ 0/ RP0/ CPU0: CRS1/ 8# show controllers pse summary

Para ver la salud general del PSE ASIC:

Node: 0/ 0/ CPU0:- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

I ngr ess PSE, Summar y I nf o:- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -I BM P/ N : Lot Num :Seri al Num : 0xff f f f f BadPPECl s : 0000Versi on : 3 Cpuctr l Port : 5DeviceState : 0 (UP)

St art u O t s : 00000000 Mma edBase : 0x609eb000

Revisar para asegurarse que

el estado del dispositivo está

arriba, indicando que Metro

está activo


Cl sDi sMask : 0000 NFusedPPEs : 4 ( 0 hwf , 4 swf )MPUcodeName : / pkg/ ucode/ cr s/ pse/ i ngr ess_ mp_v3. mucodePPEUcodeName: / pkg/ ucode/ cr s/ pse/ i ngr ess_t urbo_pl i m2_v3. mucodeI NTR- Stat us : 00000000 I NTR- Enabl e : 0x7f f f f e NColdResets : 1 NWarmResets : 0

NPPEUcDl ds : 1 NReset Ret r y : 0NI nt rt ps : 1 NI nt rptThrot: 0. . .

Revisar si hay reinicios

excesivos que indican

problemas de hardware

Analizando un PSE ASIC

Para mostrar información del tráfico tanto del PSE

ASICs de Ingreso como del Egreso:

0/2/cpu0 | exclude ": 0"

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

I ngress PSE, Stat i s t i c s I nfo :- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Unknown L2 pkts punt ed : 20139CDP pkts punt ed : 25316L2 Cont r ol pt ks punt ed : 200441

Dado que está buscando

errores, puede excluir

estadísticas con contadores

en cero.


PPE i dl e counter : 64430351896496

Egress PSE, Stat i s t i cs I nfo :- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -I Pv4 pkt s dr opped due t o l oad i nf o set t o dr op : 1PPE i dl e counter : 64430793209192

Estos contadores noindican errores sino

celdas que no hacen

nada (idle)




Buscando Errores de Ruta de Despeje PSE

Para determinar si los paquetes despejados po r un PSE (no por la ruta de

datos) se descartan:

• RP/0/RP0/CPU0:CRS1/8# show cont r ol l ers cpuct r l por t s i ngr essq pdmaqueue al l act i ve l oc 0/ 2/ cpu0 | i ncl ude “err ors”

• Rx Pkt errors = 0 Rx NoBuffers = 0 Rx NoBufferLimit = 0








Analizando el IngressQ ASIC

RP/0/RP1/CPU0:mttr-1# show controllers ingressq statistics location 0/2/cpu0

I ngressq Rx Stati sti cs.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -Paqutes recibidos

de Metror x p s : y esr x pkts f r om cpu : 487579 ( 110400014 byt es)r x cont r ol pkts f r omcpu : 487579 ( 110400014 byt es)r x dat a pkt s f r omcpu : 0 ( 0 byt es)I ngressq Tx Stati sti cs.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -t x pkts : 1281814 ( 653384420 byt es)t x pkts t o cpu : 794227 ( 534768680 bytes)t x cont r ol pkts t o cpu : 794217 ( 534767520 byt es)t x dat a pkts t o cpu : 10 ( 1160 byt es)t x pkts shaped : 487587 ( 118615740 bytes)

Paquetes

enviados a la

matriz


t x cel l s t o f abr i c : 1290015I ngr essq Dr ops.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -l engt h err or dr ops : 2

cr c err or drops : 97273OOR err or drops : 0backpr essur e di scard drops : 0ta i l drops : 0cel l drops : 2

Diferencia entre dos

contadores

precedentes




Posibilidades de Erroro CRC

RP/0/RP1/CPU0:mttr-1# show controllers ingressq statistics location 0/2/cpu0

I ngressq Rx Stati sti cs.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -r x p s : y esr x pkts f r om cpu : 487579 ( 110400014 byt es)r x cont r ol pkts f r omcpu : 487579 ( 110400014 byt es)r x dat a pkt s f r omcpu : 0 ( 0 byt es)I ngressq Tx Stati sti cs.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -t x pkts : 1281814 ( 653384420 bytes)t x pkts t o cpu : 794227 ( 534768680 bytes)t x cont r ol pkts t o cpu : 794217 ( 534767520 byt es)t x dat a pkts t o cpu : 10 ( 1160 byt es)t x pkts shaped : 487587 ( 118615740 bytes)


t x cel l s t o f abr i c : 1290015I ngr essq Dr ops.- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

l engt h err or dr ops : 2crc err or dr ops : 97273

OOR err or drops : 0backpr essur e di scard drops : 0ta i l drops : 0cel l drops : 2

Justifica más

investigación

Analizando la FabricQ ASIC

RP/ 0/ RP0/ CPU0: CRS1/ 8# show controllers fabricq stats location

Para mostrar las estadísticas de paquete FabricQ

ASIC:

Fabr i c Queue Manager Packet Stat i st i cs======================================

Locati on: 0/2/ CPU0Asi c I nst ance: 0Fabr i c Dest i nati on Addr ess: 32 ( + 0)BP Assert ed Count : 0 ( + 0)

I nput Cel l count ers:+- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +

Celdas

recibidas desde


Data cel l s : 36263956225 ( + 21319270 )Cont r ol cel l s : 1097010334 ( + 534872 )I dl e cel l s : 6014718920690 ( + 2927581070 )

Reassembl ed packet count ers+- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Ucast pkts : 5045312241 ( + 2966418 )

- - more- -

la matriz




Analizando la FabricQ ASIC(Cont.)

Mcast pkts : 1664653428 ( + 979280 )

Dr opped packet s+- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Ucast pkts : 0 ( + 0 )Mcast pkts : 0 ( + 0 )Cpuctr l cast pkts : 0 ( + 0 )Vi t al deni ed pkts : 0 ( + 0 )NonVi t al deni ed pkts : 0 ( + 0 )Uni cast l ost pkts : 5395 ( + 0 )Ucast part i al pkts : 0 ( + 0 )PSM OOR Dr ops : 0 ( + 0 )


Locati on: 0/2/ CPU0Asi c I nst ance: 1Fabri c Desti nat i on Addr ess: 33

. . .

Estos contadores indican si

algún paquete extraído fuedescartado debido a

pérdidas del buffer

Analizando el EgressQ ASIC

RP/ 0/ RP0/ CPU0: CRS1/ 8# show controllers egressq statistics

location 0/2/cpu0- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Egressq Stat i st i cs- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -egr essq ASI C versi on: 1egr essq ASI C st ate: Normalpl i masi c l i nk0 out put packet s: 831386

pl i masi c l i nk0 out put bytes: 362872923pl i masi c l i nk1 out put packet s: 0pl i masi c l i nk1 out put byt es: 0pl i masi c l i nk2 out put packet s: 0

Paquetes enviados a

PLA ASIC

Paquetes recibidos

de CPUCTRL ASIC


pl i masi c l i nk3 out put packet s: 0pl i masi c l i nk3 out put byt es: 0cpuctrl i nput packets: 770258

cpuctr l out put byt es: 4294967295pse i nput packets: 1682700921

pse dropped packet s: 0cpuctrl dropped packet s: 0- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Paquetes recibidos

desde PSE ASIC




Transmisión de Celdas en la Ruta deDatos

Para ver cuántas celdas han sido t ransmitidas a través de cada

plano:

• RP/0/RP0/CPU0:CRS1/8(admin)# show cont rol l ers f abri c pl ane al ls tat i s t i cs

• In Out CE UCE PEPlane Cells Cells Cells Cells Cells----------------------------------------------------------------------0 182100857464 182104887774 0 5 01 181926888266 181929025881 0 4 02 182153559719 182155676693 0 1 03 175491618741 175493740472 0 2 04 182582550997 182584668766 1 5 0


5 168887486356 168889599486 1 7 06 182993770506 182995889294 0 0 07 182059456630 182061580187 0 10 0

Obteniendo Detalles de Error para una

Tarjeta

La bandera de detalle da más información para cada plano:

•RP 0 RP0 CPU0:CRS1 8(admin) show cont r ol l er s f abr i cpl ane 7 st at i st i cs det ai l

The fabric plane number is 7Total number of providers for the statistics: 1Total received data cells: 182821414530Total received unicast data cells: 182820991976Total received multicast data cells: 422554Total transmitted data cells: 182823538527Total transmitted unicast data cells: 182821003591Total transmitted multicast data cells: 2534936


Total received correctable errored cells: 0Total received uncorrectable errored cells: 10Total received parity error cells: 0Total unicast lost cells: 0Total multicast lost cells: 0Last clearing of "show controller fabric plane" countersnever




Mostrando Conectividad SFC-a-MSCs y RPs

Para revisar la conectividad de la tarjeta de matriz de conmutación

(SFC) a los MSCs y RPs:

•RP/0/RP0/CPU0:CRS1/8(admin)# show cont rol l er f abri c connecti vi ty al ldet ai l

Card In Tx Planes Rx Planes Monitored Total Percent

• R/S/M Use 01234567 01234567 For (s) Uptime (s) Uptime---------------------------------------------------------------------0/0/CPU0 1 11111111 11111111 316247 316247 100.0000/1/CPU0 1 11111111 11111111 316247 316247 100.0000/RP0/CPU0 1 11111111 11111111 316247 316247 100.0000/RP1/CPU0 1 11111111 11111111 316247 316247 100.000


Cada plano debería tener fij o

un bit “ 1” para indicar que laconectividad es buena

Porcentaje de tiempo en

funcionamiento desde que

ocurrió el último error

Resumen

,

Localizar y resolver errores a nivel de tarjeta

Revisar problemas de memoria y fugas

Buscar errores a nivel de proceso


car y reso ver pro emas a n ve

061 - resolución de problemas

Documents