la tecnología de evaluación ipsativa y el sistema …las pruebas de elección múltiple y las...

Revista de Psicología del Trabajo y de las Organizaciones, 2004, vol. 20 n.º 2 169

Artículo

La tecnología de evaluación ipsativa y el sistema APP-APT deThomas International

Ipsative Assessment Technology and the Personal ProfileAssessment by Thomas International

JORGE RODRÍGUEZ GONZÁLEZThomas International Spain

RESUMEN

El objetivo fundamental del presente artículo es aportar más información para diferenciarentre las distintas pruebas a fin de que los profesionales de RRHH podamos elegir para eva-luar al personal. Para ello es necesario ahondar en la distinción entre pruebas normativas eipsativas, que son las pruebas más frecuentes en nuestro ámbito de actuación. Por ultimo, ycomo objetivo final, este articulo pretende presentar los informes de validez del Análisis delPerfil Personal© de Thomas International®.

Las pruebas de elección múltiple y las pruebas de elección forzosa son distintas a variosniveles. El objetivo de ambas es común, evaluar a la persona, la diferencia es cómo cada unaresponde al criterio de rentabilidad (para los que es crítica la validez).

Las pruebas normativas funcionan de manera muy eficiente cuando cumplen los supues-tos; pero veremos que en determinadas situaciones, y especialmente en contextos de selec-ción, estos supuestos pueden llegar a distorsionar las puntaciones de una persona en una des-viación típica. Esta diferencia es más que suficiente para incluir en la siguiente fase a un malcandidato o excluir a uno bueno.

Por otro lado, las pruebas ipsativas no requieren supuestos tan rígidas, por lo que la infor-mación intraindividual que obtenemos corre menos riesgo de sufrir variaciones graves. Sinembargo, las pruebas ipsativas son más débiles en la comparación interindividual cuandoanalizamos dimensiones aisladas. En el caso de la selección de personal, implica que la com-paración entre personas incluye siempre todo el perfil.

El uso de pruebas ipsativas nos asegura disponer como mínimo de la misma validez quelas pruebas normativas, e incluso superior, a la vista de cómo resuelve la comparación entreindividuos.

Revista de Psicología del Trabajo y de las Organizaciones - 2004Volumen 20, n.º 2 - Págs. 169-197. ISSN: 1576-5962

La tecnología de evaluación ipsativa y el sistema APP-APT de Thomas International

170 Revista de Psicología del Trabajo y de las Organizaciones, 2004, vol. 20 n.º 2

Por último, los datos del Análisis del Perfil Personal (APP) de Thomas Internationaldemuestran que los datos de validez, tanto para población mundial como para la población enEspaña, son altos y estadísticamente significativos. Esto era esperable por la ausencia defuentes de error tan acusadas en las pruebas ipsativas en general y el APP en particular.

ABSTRACT

In order to help human resources professionals differentiate among the wide range ofselection tests, this paper provide them with useful information. A first differentiation is bet-ween normative and ipsative tests. This paper also reports about validity of Personal ProfileAssessment (PPA) by Thomas International®.

Multiple choice tests are different from forced choice tests in a number of ways. Bothtypes of tests share the goal of individual assessment, but they differ in how they meet cost-benefit standards, where validity is critical. Normative tests are very efficient when they meetassumptions, although these may distort an individual outcome by a standard deviation. Thisdifference might lead to a wrong decision, i.e. accept a bad candidate or reject a good one.On the other hand, ipsative tests do not require such rigid assumptions and hence intra-indivi-dual information is less likely to vary abruptly. Nevertheless, for separate dimensions ipsati-ve tests are weaker in inter-individual comparisons. In personnel selection, this means thatbetween-person comparisons always include the whole profile. The use of ipsative tests ensu-res at least the same validity as normative tests or even higher in view of the way they mana-ge between-individual comparison.

Lastly, data from Thomas International PPA show high and significant validity indicesboth for the world population and for the Spanish population. This was something to beexpected thanks to the lack of marked error sources in ipsative tests, particularly in PersonalProfile Analysis.

PALABRAS CLAVE

Selección de tests, Evaluación normativa, Evaluaciónipsativa, APP, Validación.

KEY WORDS

Selection Tests, Normative Tests, Ipsative Tests, PPA,Validity.

INTRODUCCIÓN

El objetivo fundamental del presenteartículo es aportar más información entrelas diferentes pruebas que cualquier profe-sional de RRHH puede elegir para evaluara su personal. Para ello es necesario ahon-dar en la distinción entre pruebas normati-vas e ipsativas, que son las pruebas másfrecuentes en nuestro ámbito.

Seguramente todo el mundo esta deacuerdo en que el criterio central en el quenos debemos de fijar es la validez. Peropara llegar a ella es necesario recorrer uncamino previo que nos permita poner encontexto cada prueba. La validez, comocualquier índice matemático, tiene unaserie de características y asunciones que esnecesario tener en cuenta. Dicho de otromodo, estos índices se calculan en unascondiciones determinadas y con una pobla-ción determinada. En la medida en la quelas condiciones en que nosotros utilizamosesa pruebas sean idénticas a las descritasen los estudios, podemos confiar más en elvalor matemático. A modo de ejemplo,imaginemos un proceso de selección enEspaña en el año 2004, de poco o nada nossirve saber que una determinada prueba A,tiene una validez de .99 si el estudio sehizo en el año 1967 con población japone-sa que vive en Perú.

Este ejemplo es tan extremo que resultaevidente que la validez que nosotros obten-gamos al realizar un proceso de selecciónen nuestra empresa cuando menos será dis-tinta.

No obstante, la concepción de este docu-mento es el desarrollo y análisis de las tec-nologías de evaluación está aplicada a reali-dad empresarial española, lo cual implica

que nosotros consideramos que la validez noes un fin en sí mismo sino un medio. El ver-dadero objetivo es optimizar el proceso deevaluación de las personas. Dicho de otromodo, el objetivo es llegar una solución quebrinde la más alta calidad en los resultados,con los menores recursos posibles.

El mejor modo que tenemos ahora paraevaluar en qué medida las característicastécnicas aportan valor a esa optimación esla validez. Sin embargo, no es el único cri-terio que consideramos que es relevante.Volvamos a poner un ejemplo extremo.Supongamos que tenemos que elegir entredos pruebas para un proceso de selección.Podríamos optar por la prueba B, que tieneuna validez real para nuestro grupo objeti-vo de 0.70 pero que requiere un alto costede licencia, tener a los candidatos y a losevaluadores 5 horas trabajando (y por tantoespacios físicos) y que además requieretener formadas a las personas que realizanlas pruebas (recordemos que cuando extra-polamos los índices de validez suponemosque todo el mundo esta igual de formadopara aplicar, corregir e interpretar las prue-bas). Por otro lado, podemos optar por laprueba C, que tiene una validez de 0.60,implica gastos en función de cada personaque evaluamos, se puede aplicar en 1 hora(incluso vía Internet) y tanto la aplicacióncomo la interpretación las realiza un pro-grama de ordenador (por lo que no depen-demos que personal especializado en eluso de esa prueba). La pregunta es: ¿Cuáles la prueba que maximiza la eficacia denuestro proceso de selección?

El problema es que no hay una respues-ta única a este dilema. En general podemosdecir que hay dos posibles afrontamientos.Las personas más “academicistas” segura-mente estarán convencidas de la bondad y

J. Rodríguez González


superior calidad de la primera; mientrasque las personas más “pragmáticas”, cuan-do menos considerarán si una diferencia de0.10 justifica la diferencia en costes.

Estamos tratando de evaluar el costeque supone equivocarse en un proceso deselección ya que el problema se basa encómo nosotros podemos relacionar indica-dores de RRHH con la cuenta de resulta-dos o con la creación de valor.

Para intentar responder a ambos gruposde personas, y a diferencias de las revisio-nes de la literatura, nuestra revisión de lascaracterísticas de cada tipo de prueba,incluirá ambos tipos de elementos. De estemodo, ambos grupos de profesionales sepodrán hacer una imagen completa detodas las diferencias.

Hemos considerado que el mejor modode responder a este objetivo es revisar endetalle los dos tipos de pruebas más usua-les y aplicadas en el mundo del trabajo.Estas pruebas son las normativas y lasipsativas (Véase Michell, 1990; para unalista completa todos los tipos de pruebas).

De igual modo, debemos limitar nuestrarevisión a parte del espectro de caracterís-ticas personales relevantes a la hora deevaluar a una persona. En concreto, estetrabajo se centra exclusivamente en la revi-sión de las pruebas de personalidad y/ocomportamiento. La mayoría de las con-clusiones son aplicables al resto de áreas,pero presentan algunas peculiaridades(Michell, 1990).

Para cada tipo de prueba, revisaremos:las definiciones que están más extendidas,el nivel de medida que emplean, quésupuestos hacen y, por último, las venta-

jas e inconvenientes que presentan. Ade-más, para completar el análisis describire-mos las relaciones que hay entre ambostipos de medidas. Dicho de otro modo, siel carácter normativo o ipsativo dependesólo del instrumento o también si haycuestiones estadísticas y de tratamiento delas puntuaciones. Lo que no vamos ahacer, es una revisión de los índices devalidez encontrados para cada pruebaconcreta, el autor interesado puede encon-trarlo en (Baron, 1995; Irvine, Mettam ySyrad, 1994).

Tras la necesaria revisión teórica, plan-tearnos los datos obtenidos por el Análisisdel Perfil Personal© (a partir de ahoraAPP) de Thomas International®. Dentrode este apartado abordaremos tanto losaspectos más técnicos, es decir índices defiabilidad y validez, como los aspectosmás pragmáticos de su utilización.

Si al final de de este documento, el lec-tor considera que tiene una idea más clarade la diferencia entre los dos tipos de prue-bas y un mayor conocimiento estadísticodel APP podremos considerar que hemoscumplido nuestro propósito.

PRUEBAS NORMATIVAS

El primer tipo de pruebas que vamos aanalizar son las pruebas normativas. Estees el tipo de pruebas más comunes en laevaluación de RRHH.

Siendo fieles a nuestro esquema vamosa comenzar por definir de manera másprecisa que es una prueba normativa ygenerar nuestra propia prueba con datosficticios, que después nos servirán parahacer un análisis de las posibles fuentesde error.



Definición

Las pruebas normativas se caracterizanpor emplear una tarea de evaluación, nor-malmente una cuestión o una frase descrip-tiva, ante la que la persona tiene que elegiren que grado es aplicable a sí mismo o enque grado esta de acuerdo. Para ello dispo-ne de distintas alternativas que se gradúanprogresivamente entre estos dos extremos.

Una característica fundamental de estetipo de pruebas es que, desde el punto devista del candidato, cada ítem o preguntaes independientemente entre si. Yo puedocontestar lo que considero oportuno encada pregunta. Será después cuando com-binemos el conjunto de preguntas en cons-tructos o con la escala de sinceridad.

A modo de ejemplo, vamos a realizar

un cuestionario de evaluación de la perso-nalidad. Nuestro cuestionario tendrá sóloocho cuestiones, porque para nosotros eltiempo es importante, y el candidato tendrácinco opciones de respuesta. Tras pensarrazonablemente cada una de las preguntasnuestro cuestionario es el que se muestraen la tabla 1.

Como puede fácilmente apreciar el lec-tor, todas preguntas han sido inventadas.Sin embargo, otras se podrían parecer aalgún test. Se han elegido esas preguntasporque en nuestra práctica profesional sonlas que algunos profesionales de RRHHhan considerado más “sorprendentes”. Novamos a entrar a analizar su validez apa-rente en este documento pero sin duda esotro elemento importante a analizar en laeficacia de un proceso de evaluación y enla venta de la imagen de la empresa.



Tabla 1EJEMPLO FICTICIO DE PRUEBA DE ELECCIÓN MÚLTIPLE

Muy Bajo Medio Alto Muy bajo alto

1. En qué medida se considera usted respetuoso con la gente

2. Me relaciono con facilidad con la gente

3. Siempre ayudo a la gente que me encuentro

4. Prefiero estar en el salón que en el dormitorio

5. Conozco mucha gente

6. Hago amigos con facilidad

7. Siempre contesto de manera simpática a la gente

8. Trabajo bien en equipo

Como se puede imaginar el lector larealidad nunca es tan sencilla. Por el con-trario, lo habitual es tener un modelo teóri-co que sirva de soporte a la evaluación,aunque en algunos casos, este modelosurge de los datos recogidos. La repercu-sión en RRHH de esta diferencia, sería otrainteresente discusión que no podemos tra-tar en este momento.

En cualquiera de los dos casos, elmodelo dicta los criterios para el análisisde los ítems, y en concreto para su agrupa-ción. Véase Kline (1998) para una referen-cia completa de la diferencia entre comen-zar desde un modelo teórico o hacerlo demanera empírica.

Podemos dar un paso más para facilitarla comprensión de las pruebas normativas.

Supongamos que hemos aplicado estaprueba a cuatro candidatos. Tras las fasesiniciales de análisis y de desarrollo teóri-co, hemos llegado a la conclusión de queel modo adecuado de agrupar los ítems esel que se muestra en la tabla 2. Aquí tene-mos ahora cuatro constructos, factores orasgos representados por las letras A, B, Cy D. Para la corrección sustituimos elvalor muy bajo por 1, el bajo por 2; y asísucesivamente hasta muy alto que corres-ponde con 5.

Esta tabla muestra para cada uno de laspersonas (en las columnas) las puntuacio-nes que han marcado en cada uno de losítems (filas) y la posterior agrupación enfactores (filas en negrita).

Para completar el análisis de estas res-



Tabla 2.RESULTADOS DE CUATRO CANDIDATOS A NUESTRA PRUEBA

DE ELECCIÓN MÚLTIPLE

Persona A Persona B Persona C Persona D Suma por rasgo

Ítem 1 Rasgo A 1 2 3 6 5 6 5 10 14Ítem 5 1 3 1 5

Ítem 2 Rasgo B 1 2 3 6 5 6 5 10 14Ítem 6 1 3 1 5

Ítem 3 Rasgo C 1 2 3 6 5 6 5 10 14Ítem 7 1 3 1 5

Ítem 4 Rasgo D 1 2 3 6 5 6 5 10 14Ítem 8 1 3 1 5

Suma 8 24 24 40por persona

puestas, hemos calculado la suma total delas puntuaciones para cada columna y paracada fila. La primera nos indica la suma detodas las puntuaciones de cada uno de loscandidatos, mientras que las filas nos dicenla suma para cada factor de todas las per-sonas.

Un análisis típico de una prueba norma-tiva incluiría una comparación con losdatos normativos; es decir la población dereferencia. La puntuación de 2 de la perso-na A en el rasgo 1, no significa nada en simismo; depende de la puntuación delgrupo de referencia. De este modo contes-tamos a la siguiente pregunta: ¿En quéparte del continuo de puntuaciones de todoel grupo situamos esa puntuación?

Nivel de medida

El nivel de medida de una pruebadepende del formato de respuesta y de lasvariables medidas. Como se puede apreciaren nuestro ejemplo, el formato de respues-ta usado aquí es mediante elección múlti-ple. Para cada uno de los ítems la personadispone de varias opciones de respuesta(en nuestro caso 5). Lo más habitual es queesta elección múltiple sea del tipo Likert,de 5 ó de 7 opciones (Véase Michell, 1990,para un referencia completa de sobre elconcepto de nivel de medida).

Este modo de recoger la informaciónesta asociado con un nivel de medida deintervalo. Las características psicológicas,medidas de esta forma, tienen validez eco-lógica ya que nos permite medir o bien lacantidad o fuerza de un sentimiento, idea,predisposición hacia una persona, cosa oacción o la calidad de esa fuerza. La pri-mera se evalúa mediante el uso de adver-

bios; mientras que la segunda medianteadjetivos.

En principio no hay límite para la canti-dad de dimensiones o constructos que sepueden evaluar con una prueba de tiponormativo, ya que cada una de las evalua-ciones se hace de manera independiente.Sin embargo, hay numerosos estudios(Lord y Novick, 1968) que demuestran queno manejamos más allá de 9 dimensiones,siendo lo normal 5. Lo cual muestra unaevidente relación teórica y empírica con laamplitud de la memoria de trabajo.

A este problema debemos agregar queen realidad sabemos que las evaluacionesen cada una de las dimensiones no sonindependientes, sino que varían en el gradode relación entre ellas. La solución que hadado la teoría de la evaluación psicológicaes la utilización del análisis factorial. Elpropósito de esta técnica es agrupar dimen-siones muy relacionadas para facilitar sucompresión y poder dotarlas de significadopsicológico.

Supuestos

El nivel de medida es lo que más fácilse puede apreciar en cualquier prueba, y esaccesible incluso para el candidato quehace nuestras pruebas. Pero elegir un tipode nivel de medida condiciona una serie desupuestos. Esta suposiciones previas departida determinan en que grado nuestrasconclusiones son validas.

La primera suposición de las pruebasnormativas es que las categorías son conti-nuas. Dicho de otro modo que a cualquiercandidato cuando haga nuestra prueba leresultará igual de fácil pasar del muy bajo



al bajo, que del bajo al medio. Hay unaabundante investigación sobre la dificultadque supone asumir que esto es cierto(Baron, 1996), por lo que se estudia elefecto real que produce.

La segunda suposición que hacemos alemplear una prueba de tipo normativa esque la escala de medida es de intervalo.Este supuesto es la operativización mate-mática del primero, pero tiene grandesimplicaciones respecto al uso de las herra-mientas estadísticas, por ejemplo el análi-sis factorial paramétrico.

Tan importante como el anterior es lasuposición de la existencia de independen-cia entre las varianza error. Lo que nosequivocamos en cada una de las dimensio-nes no esta relacionado entre si. Dicho deotro modo, no habrá factores que afectende manera consistente y relacionada atodas las dimensiones.

Por último, algunas pruebas asumen untipo determinado de distribución. Las per-sonas, cuando consideramos la poblaciónde manera global, mostrarán puntuacionesagregadas ajustadas a una distribución nor-mal (pocos en los extremos y muchos en elmedio).

Más tarde analizaremos en detalle lasrepercusiones de estos supuestos en el usode las pruebas normativas en un contextolaboral, pero antes de avanzar es necesariohacer al menos dos consideraciones sobrela última de las suposiciones. ¿Creealguien que la distribución en una dimen-sión de personalidad concreta de los candi-datos que se presentan a un proceso deselección es normal? Por ejemplo, selec-cionamos personas para un puesto de inge-niero (por usar un tópico que cada vez es

menos frecuente). Cualquier persona habi-tuada a trabajar con este colectivo sabe queen términos de personalidad es poco fre-cuente encontrar tantas personas caóticas,desorganizadas como personas ordenadas,precisas, sistemáticas.

La segunda consideración a realizarsobre este punto se refiere al propósito delproceso de selección. En términos globalesel objetivo es predecir conducta, pero demanera pragmática es diferenciar entrecandidatos. No nos basta saber si dos per-sonas tienen el potencial, sino entre ellascuál se adaptará más rápido o cuál aguan-tará la presión o cuál se ajustara al equipoy a la cultura. ¿Es la distribución normal lomás adecuado para dar respuesta a eseobjetivo?

Como se puede suponer estos criteriostienen un increíble peso en la validez. Losíndices de validez solo se pueden extrapo-lar cuando se cumplen todos estos requisi-tos. Un índice de 0.99 puede no ser aplica-ble a nuestra situación si no tenemos lacerteza de que cumplimos esas característi-cas.

Inconvenientes

Los principales inconvenientes de estetipo de pruebas se refieren a su aplicaciónpráctica. De manera resumida la literaturarecoge tres inconvenientes:

• Son muy sensibles al engaño.• Más largos en tiempo.• En selección no cumplen las supues-

tos.

Cuando decimos que son más sensiblesal engaño, significa que la persona cons-



ciente o inconscientemente puede engañaro falsear los datos. La diferencia entreambos tipos de engaños son la intenciona-lidad de la persona y no el grado de auto-conocimiento o consciencia.

Dentro del engaño no intencional, losprincipales problemas con los que seenfrentan este tipo de pruebas son la ten-dencia central, la aquiescencia, la desea-bilidad social y la tendencia a infravalo-rarse.

Cuando hablamos de problemas deno-minados de tendencia central, nos referi-mos a la inclinación que tienen ciertas per-sonas de evitar usar puntaciones extremas.Es el ejemplo de las persona B de la Tabla1. Con personas de este tipo podemosencontrarnos con dimensiones diferencia-das e incluso extremas en función de lapoblación de referencia. Supongamos quela persona B obtiene un percentil de 70 enla dimensión A, ¿cómo debemos interpre-tar ese dato teniendo que cuenta que la per-sona contestó a todas las preguntas comomedio?

La segunda fuente de error es la aquies-cencia, que se define como la tendencia amostrarse de acuerdo con la dirección de lafrase. En nuestro caso podría ser la personaD. Sus puntuaciones demuestran que estásiempre de acuerdo en grado máximo conla dirección de las preguntas. Normalmen-te el diseño de una buena prueba debeequilibrar los enunciados formulados posi-tiva y negativamente. Nuestra prueba no lotiene.

En tercer lugar, según su relevancia enla literatura, se han encontrado problemasde deseabilidad social. Hay personas queal contestar a la prueba se perciben a sí

mismos de manera más positiva, acordecon la imagen socialmente deseable. Ennuestro pequeño ejemplo, podría ser lapersona D. La misma persona puede estaren ambos tipos de engaño porque nosotrosno hemos realizado un equilibrado de lasrespuestas.

Por último, y en oposición al anteriorhay personas que tiene tendencia a infrava-lorase. Estas personas se puntúan muybajo. En algunos casos está asociado a unabaja autoestima. Nuestro ejemplo secorresponde con el ejemplo A.

Es difícil estimar el efecto que tieneestas fuentes de error. Lo que si sabemos(Baron, 1996) es que pueden modificar lapuntación de las personas en un factor,entre media y una desviación típica (Ones,Viswesvaran y Korbin, 1995; Viswesvarany Ones, 1999).

Es de esperar que en un contexto de tra-bajo a estas fuentes de engaño inconscientehaya que sumar la predisposición de lapersona de dar una imagen más positiva desí misma. Lo cual seguramente tiene unaspecto muy positivo, asociado con lamotivación por adquirir el puesto, pero esde esperar que incremente el riesgo de queaparezcan estas fuentes de engaño, e inclu-so, la presencia de engaño intencionado. Anadie se le escapa que hay academias ycentros de formación que entrenan a lagente para contestar a las pruebas de formaintencionada.

El segundo inconveniente es que estetipo de pruebas requieren más tiempo, enparte para paliar estas fuentes de errores y,en parte, porque emplean muchas escalas.Sea cual sea la causa, implica que en uncontexto laboral se incrementan los costes,



tanto de la organización como del candida-to evaluado.

Finalmente, hay dudas (Baron, 1995) deque este tipo de pruebas cumplan todos losrequisitos matemáticos y metodológicos enun contexto de selección de personal. Elejemplo más claro es el nivel de medidapor intervalos. No parece cierto que la dis-tancia entre el valor 1 y el 2 de la escalasea igual a la distancias entre el 4 y el 5,por poner un ejemplo.

Ventajas

Después de leer lo expuesto anterior-mente, uno puede preguntarse: ¿Por quérazón se emplean todavía pruebas de tiponormativo? En primer lugar debemosdecir, que estas dificultades no se aplicanen igual grado a todas las pruebas normati-vas. Son características asociadas al para-digma de medida. La diferencia entre prue-bas estará en el grado en que solventanestas dificultades a priori y el coste queesto implica (por ejemplo: en tiempo, res-tricciones de aplicación, etc.).

No obstante, las pruebas normativastambién tienen características positivas.Las más destacadas son:

• Son fáciles de interpretar. • Especialmente cuando queremos

compara sujetos entre si.• Hay gran cantidad de literatura a nivel

internacional.• Algunos modelos acumulan abundan-

te investigación (por ejemplo, el BigFive).

La cuestión no es si es adecuada o no,que es obvio que lo sea, sino en que con-

textos sus debilidades se hacen más paten-tes.

Es evidente que este tipo de pruebastiene aspectos positivos y negativos; y queel equilibrio entre ellos varía según loscontextos de utilización. La siguiente pre-gunta es: si no uso pruebas normativas,¿qué uso?

PRUEBAS IPSATIVAS

Una de las posibles respuestas a estapregunta es usar pruebas de tipo ipsativo.Pero antes de saber para qué contexto y dequé modos es rentable este tipo de pruebases necesario hacer una revisión de suscaracterísticas.

Definición

Por ipsativa entendemos aquella pruebaque recurre a puntuaciones forzadas, esdecir, que todas las escalas de medida enesa prueba, son constantes para todas laspersonas. Dicho de otro modo, la personatiene una serie de elecciones o de puntosque repartir entre varias opciones, peroasignar una puntuación a una de las opcio-nes implica no poder hacerlo con las otras.De manera más formal, podemos decir quelas pruebas ipsativas son medidas multies-cala que restringen la varianza intraindivi-dual (Cattell, 1988).

Hay dos modos de llegar a una restric-ción de este tipo: mediante un cuestiona-rio específico o a través del tratamientomatemático de los datos. En este aparta-do consideramos puntuaciones ipsativassólo a aquellas que se derivan directa-mente de las respuestas del candidato, y



dejaremos el análisis de las puntacionesipsativizadas para el siguiente apartado.El motivo de esta distinción es que losdatos parecen indicar que no tienen lasmismas propiedades ambos tipos de datosipsativos.

El modo directo de obtener puntuacio-nes ipsativas es mediante cuestionarios deelección forzosa. El grado de elaboraciónde estos cuestionarios varia notablemente,pero el más fácil que nos podemos imagi-nar sería forzar al sujeto a que repartiera10 puntos entre una lista restringida devinos, según su preferencia. Independien-temente del resultado y de la elección indi-vidual, la suma total de los puntos asigna-dos por cada uno de nosotros será lamisma, ya que era un restricción de latarea.

Si lo complicamos en el sentido deintroducir varias escalas en lugar de una

sola, nos vamos progresivamente aproxi-mando a cuestionarios multiescala de elec-ción forzada. En este caso, se estable unarestricción para cada escala.

A modo de precisión purista se habla depruebas de elección forzosa y no de prue-

bas ipsativas, porque este adjetivo es unacaracterística de los datos y de la medida.Como después veremos se pueden obtenerdatos ipsativos de pruebas de elecciónmúltiple.

A título de ejemplo, si dejáramos que elcandidato eligiera tantos adjetivos sin lími-te como quisiera no sería ipsativo. Cattell(1988) diferencia un tipo de medidas comoparcialmente ipsativo si se establece res-tricciones de otro tipo. Las pruebas que nolo hace no son ni ipsativas ni normativas,sino de tipo idemórfico.

Un ejemplo de prueba de elección for-zosa se muestra en la Tabla 3. En este casohemos ideado un ejemplo relativamentesimple de prueba con sólo cuatro cuestio-nes. El candidato debe marcar en cada unade las casillas el adjetivo que consideraque es más aplicable para describirse en unambiente de trabajo.

Este tipo de cuestionario es de elec-ción forzosa porque de los cuatro adjeti-vos, sólo se puede elegir uno de ellos.Dicho de otro modo, la elección de cadauna de las preguntas no es libre sino queordena las opciones según la calidad dela preferencia. Podría ser que las cuatro



Tabla 3CUESTIONARIO DE ELECCIÓN FORZOSA

cortés influenciable Jovial minucioso

persuasivo Audaz preciso obediente

modesto Leal valiente inconquistable

original encantador ecuánime travieso

lo fueran o que ninguna lo fuera, pero elcandidato esta forzado a elegir en cadacolumna.

Hay cuestionarios más elaborados quele obligan al candidato a elegir la caracte-rística que más se aplica y la que menos.

En términos conceptuales no hay diferen-cia, las puntuaciones siguen siendo ipsati-vas. Sin embargo, disponemos de dos pun-tuaciones por dimensión en lugar de una;lo cual permite un tratamiento de los datos

más elaborados y mayor profundidad delos análisis.

Supongamos que hemos aplicado nues-tra mini prueba a cuatro candidatos, lamatriz de datos resultante podría ser la quese muestra en la tabla 4.

La suma de las filas define la puntua-ción de cada persona en cada una de nues-tras cuatro dimensiones. Esta informaciónvaría para cada dimensión. Sin embargo, lasuma por columnas nos informa de las pre-



Tabla 4RESULTADOS DE CUATRO CANDIDATOS A NUESTRA PRUEBA

DE ELECCIÓN FORZOSA

Persona 1 Persona 2 Persona 3 Persona 4 Suma porDimensión

Audaz Dimensión 1 + + 8

Cortés + +

Ecuánime + +

inconquistable + +

Encantador Dimensión 2 + 3

Valiente +

Minucioso

Modesto

Obediente Dimensión 3 + 2

Influenciable

Jovial

persuasivo +

Original Dimensión 4 + 4

preciso +

travieso +

Leal +

Suma por persona 4 4 4 4

guntas contestadas por cada persona; peroes igual para todas las personas evaluadas.

Como se puede apreciar en estos resul-tados, si analizamos a las personas tene-mos que el primer candidato ha concentra-do todas sus respuestas en el dimensión 1,mientras que en el resto no tiene ningunarespuesta. Por el contrario, el resto de loscandidatos han repartido sus respuestas demanera diferente. Así los candidatos 2 y 4han repartido por igual todas sus respues-tas, pero eligiendo diferente adjetivos. Porúltimo el candidato 3 se ha centrado única-mente en dos dimensiones.

Nivel de medida

Cuando empleamos una prueba de elec-ción forzosa debemos tener en cuenta quelas dimensiones están relacionadas entre si.Nuestra medida obliga al candidato a ele-gir entre las distintas opciones. Si marcauna no podrá marcar las otras. Esto implicaque los factores de una prueba de este tiposiempre muestran una correlación media.

El grado de relación entre las escalasdepende tanto del modelo teórico en el quese basa como de la propiedad psicométricade la propia prueba. Pero en cualquiercaso, serán unas características a tener encuenta en los análisis y en la interpretaciónposterior.

Las puntuaciones que obtenemos encada una de las dimensiones son relativas.Dicho de otro modo, no decimos que estapersona tiene un 4 en la dimensión 1, sinoque esta persona participa más de este fac-tor que de los demás. El motivo de estadiferencia con las pruebas de elección múl-tiple es que en las pruebas ipsativas no se

fija un cero absoluto para la interpretaciónde cada una de las escalas, sino que refe-rencia el cero relativo en cada factor alresto.

Una de las primeras conclusiones deesta diferencia es la validez ecológica. Laspruebas de elección forzada reproducen demanera más ecológica la necesidad de ele-gir entre los distintos tipos de comporta-mientos disponibles en el repertorio con-ductual de una persona. De este modo, nosacercamos más a cuáles pueden ser loscomportamientos más característicos decada persona

Algunos estudios afirman que este tipode prueba está más cercana a la realidad,es decir explican mejor el comportamientoque queremos predecir, en la medida enque las opciones están relacionadas conuna situación real (Closs, 1996).

La idea que subyace es que no se puedemedir todo simultáneamente y por tantohay que elegir. Es más, algunos de los fac-tores o sentimientos que en las pruebasnormativas se miden de manera indepen-diente podrían ser contradictorios, y portanto excluyentes.

Asunciones

El primer supuesto implícito que hace-mos al emplear una prueba de elección for-zosa es que estamos en un nivel de medidaordinal. Esto es, podemos ordenar punta-ciones, pero no hacer cálculos sobre la dis-tancia entre ellas.

Si a esta primera asunción le sumámosque consideramos que las dimensionesestán relacionadas entre sí, seguramente



veremos claro porque no necesitamoshacer supuestos sobre la distribución o laindependencia de la varianza de error(Véase la Karpatschof y Elkjaer, 1999,para una referencia completa de la métri-ca de la medida ipsativa frente la normati-va).

Excepto el nivel de medida, las pruebasipsativas no necesitan hacer supuestos parapoder evaluar personas. Esto es muy útilen la medida en que es aplicable a granvariedad de contextos y resistentes a losrequerimientos más exigentes, como puedeser la situación de evaluación en un proce-so de selección.

Aunque no sean propiamente supuestos,la medida con pruebas de elección forzosaencuentra que los factores que se empleanson casi siempre de carácter bipolar. Esdecir, que podemos claramente identificardos polos cualitativamente diferentes en lainterpretación del comportamiento de unapersona en la misma dimensión.

Por otro lado, prácticamente la totalidadde las pruebas de elección forzosa mues-tran altas correlaciones entre los factoresmedidos. Estas características no condicio-nan la utilidad de la prueba ni la calidad delas conclusiones; pero sí impone condicio-nes sobre utilización e interpretación, tal ycomo veremos en el análisis de los incon-venientes y de las ventajas.

Inconvenientes

El mayor inconveniente del uso de laspruebas de elección forzosa es que seinterpretan y se emplean de manera dife-rente. En concreto, una prueba de elecciónforzosa que genera puntuaciones ipsativas

es incompatible con la comparación de dospersonas en factores aislados. Dicho deotro modo, nosotros no podemos decir queel candidato 1 tiene más orientación acomportarse según el factor 1 de muestroejemplo, que el resto de los candidatos. Enpalabras de Horst (1965):

“…las medidas ipsativas, ya sea quese deriven de procedimientos experimen-tales o de computación, no pueden sernormativas en el sentido de que una per-sona puede ser comparada con otra conrelación a una variable única. Porsupuesto, esto es así porque alguna cons-tante arbitraria ha sido añadida o sustraí-da de todas las puntuaciones de cadaindividuo medido. Puesto que no es lamisma constante para todos los indivi-duos, las medidas resultantes no soncomparables de un individuo a otro. Amenudo se pasa por alto esta limitación.Con frecuencia, se compara erróneamen-te a las personas por lo que respecta a lasmedidas ipsativas”.

Las implicaciones de esta diferencia sonmuy importantes, y es especialmente seriaen el caso de la evaluación de personas enel contexto laboral. Trabajos clásicosdemuestran que cuando se emplean indis-criminadamente en decisiones sobre perso-nal tienen una utilidad limitada (Johnson,Wood y Blinkhorn, 1988).

Dada la ausencia de supuestos mate-máticos sobre los datos, los análisis esta-dísticos son más complicados. No pode-mos emplear los mismos estadísticospara analizar ambos tipos de pruebas.Como veremos más adelante, esta con-clusión se debe de matizar por el númerode factores y por la correlación entre losfactores.



Ventajas

A pesar de las dos limitaciones ante-riores, sin duda, hace pensar seriamenteel hecho de que, las pruebas ipsativasdeben tener grandes ventajas objetivaspara que haya una gran cantidad de per-sonas y organizaciones que las siganempleando.

El propósito de este apartado es mostraresas ventajas y la relación que hay con laslimitaciones previamente señalados.

Pero en lugar de hacerlo de manerageneral y sin fundamentos estadísticos, loreferiremos a un ejemplo concreto de prue-ba ipsativa que es el APP © de ThomasInternational. Todas las descripciones delas ventajas y características se mostraránen el último apartado.

RELACIONES ENTRE AMBOSTIPOS DE MEDIDAS

Las relaciones entre ambos tipos demedidas tiene un importante componenteestadístico, lo que implica que se puedenhacer transformaciones entre uno y otrotipo de puntuaciones.

Nosotros haremos una rápida revisiónde estas transformaciones, pero pondremosel énfasis en los aspectos de la interpreta-ción psicológica. Que las puntaciones seantransformables no significa que sean igual-mente interpretables.

Tal y como hemos visto, hacer ipsativauna puntación originalmente normativa esmuy fácil. Sólo tenemos que restarle lamedida de ese ítem. De este modo, tene-mos puntaciones que cumplen los requisi-

tos de la definición de ipsativo, forzar aque la suma sea igual.

Las datos (Cross, 1996) parecen indicarque estas variables no tienen significadopsicológico. Para las personas más criticascon la estadística y sobre todo con el signi-ficado psicológico de la media, esta con-clusión no será en grado alguno sorpren-dente.

Una de las mayores diferencias quehemos visto entre ambos tipos de pruebases el punto de referencia. En las puntacio-nes normativas esta forzado a cada varia-ble y en la ipsativas es relativa a las otrasvariables. Lo que no se puede interpretares la mezcla de ambos.

Por este motivo, nosotros hemos insisti-do en la distinción entre pruebas de elec-ción forzosa, que dan puntuaciones ipsati-vas “naturales” y puntuaciones ipsativas,que pueden ser forzadas estadísticamente.

Lo que no podemos hacer es convertiruna puntación ipsativa en normativa, por-que hemos forzado una serie de grados delibertad y nos faltaría información parahacerlo correctamente.

En resumen, aunque el empleo de lasmedidas del Análisis del Perfil Personal(APP) exige precaución, la elección forzo-sa no es una vía inválida para valorar aindividuos aislados, en tanto lo que se hayamedido sea fiable y válido para ese indivi-duo. Por supuesto, este es el aspecto críticocon el que se enfrentan todos los diseñado-res de escalas, ya sean éstas ipsativas oreferidas a la norma. Teniendo presentesestas precauciones y limitaciones ahorapodemos dedicarnos a lo que el Análisis dePerfil Personal se propone medir, al modo



en que lo hace y al éxito demostradodurante más de 25 años de aplicación.

EL SISTEMA APP/APT DE THOMASINTERNATIONAL

En esta sección, se describe brevementeel Análisis del Perfil Personal de ThomasInternational, pero hay que recordar que noes un instrumento de evaluación excluyen-te. En realidad, debe incluirse dentro de unproceso conjunto que hace que tanto elcandidato como el entrevistador traten elproblema de qué características laboralesdeben ser satisfechas por un trabajador efi-ciente en un trabajo particular dentro de laorganización, con un jefe particular (porextensión el equipo) y con una culturadeterminada.

En las organizaciones, normalmente elsuperior inmediato y el responsable deRR.HH, contribuyen al proceso rellenandoconsensuadamente Formulario de Análisisdel Puesto de Trabajo (APT). Por otraparte, el candidato rellena el Análisis delPerfil Personal (APP). Una vez que elentrevistador ha compilado un perfil de lascualidades ideales para el trabajo del APT,éste se contrasta con el perfil aportado porel candidato con el APP.

Thomas International trabaja con lacongruencia del perfil completo en lugarde puntuaciones aisladas para predecir,mediante la evaluación de las personas, laprobabilidad de éxito y satisfacción en eltrabajo de lo empleados o candidatos eva-luados.

El objetivo de este documento es ana-lizar la diferencia entre pruebas normati-vas e ipsativas, utilizando el APP de Tho-

mas como una prueba ipsativa de referen-cia.

El APP de Thomas International,fundamento teórico

El modelo teórico que guía todo el desa-rrollo del APP es la teoría biopsicosocialde William Marston. Esta teoría holísticapoco conocida, percibe la conducta comola respuesta biosocial necesaria de cual-quier individuo a los medios creados porlas circunstancias externas y por otros indi-viduos. A su vez, estas respuestas modifi-can lo que se percibe a continuación en lasinteracciones humanas.

Marston consideró que la conducta sur-gía de la naturaleza intrínseca del medio,que puede ser percibida por los sereshumanos orientados hacia una meta comoun continuo, antagónico en un extremo yfavorable en el otro. Estas percepcionesproducen lo que Marston denomina “fuer-zas vitales” o emociones. En medios anta-gónicos, ya sean ecológicos o sociales, senecesitan formas de adaptación particula-res para sobrevivir. En medios favorables,predominan otras conductas de adaptación.Estas formas de adaptación son ajustadasmás o menos por el organismo a través deuna dimensión conductual actividad –pasividad preferida o habitual, mediadapor emociones.

A partir de la interacción de mediosfavorables – antagónicos con las reaccio-nes de disposición actividad – pasividadde los individuos, Marston postuló cuatroestrategias de supervivencia de adaptaciónbásica, que resultan de los conjuntos car-tesianos formados por el continuo ambien-tal antagonista – favorable y la dimensión



conductual actividad – pasividad. Pordefinición, estas son adaptaciones activasy pasivas a medios rígidos y limitadores,por una parte, y a circunstancias favora-bles y gratificantes, por otra. Hemos

representado esta formulación teórica enla figura 1, donde se muestran los dosejes, las motivaciones y algunos de losadjetivos asociados con cada uno de loscuatro cuadrantes.



SITUACI N PERC IBIDA

Hostil, no am igable, antagonista

Amigable, favorable

Dom inancia

(+ PODER) (+POLITICA/NORMAS)

(+PERSO N AS)(- RITM O )

Impulsor

Com petitivo

En rgico

Inquisitivo

Directo

Emprendedor

Asertivo

A DO PTA UN A POS TURA ACTIVA Y PO SITIVA

EN UN AM BIENTE HO STIL Y DESFAVORABLE

S E ENFREN TA A LA S S ITU ACIO NES CO N EL

O BJETIVO DE S UPERARLAS Y A SI EVITAR

EL FRACASO

PASIVA

Conformista

Cuidadoso

Sistem atico

Preciso

Exacto

Perfeccionista

L gico

AD O PTA UN A POSTU RA ACTIVA Y PO SITIVACO N EL O BJETIVO D E SALIR DE UN A

SITUACION DESFAV O RABLE Y LLEGAR A

M S PROPICIA Y FAVORABLE UTILIZAND OPERSU ASIO N Y EVITAND O A SI EL RECHA ZO

Influyente

Persuasivo

Am istoso

Locuaz

Comunicativo

Positivo

Fiable

Prudente

A mable

Persistente

Buen oyente

Atento

D A UN A RESPUESTA INDECISA Y CAUTELOS A

AN TE UN A M BIEN TE ANTAGO N ISTA CO N EL

O BJETIVO DE ANU LAR LOS GRAD O S DE

AN TAGO N ISM O Y ASI EVITAR PRO BLEM SO CON FLICTOS

D A UN A RESPUESTA PASIVA ANTE UNASITUACION HOS TIL.INTENTA M ANT ENERSE

ESTA SITUACION HA STA Q UE LA HO STILID AD

ACA BA Y DE ESTA FO RMA EVITAR LA

IN SEG URID AD

Estabilidad

C onformidad

Influencia

Ilustración 1MODELO TEORICO DE MARSTON

ACTIVA PASIVA

La psicología intercultural ha aportado,un sólido núcleo de investigación que defi-ne las estructuras ecológicas para la adqui-sición de las habilidades sociales y cognos-citivas, Berry y la mayoría de lospsicólogos interculturales (para una visiónpanorámica adecuada, véase Berry e Irvi-ne, 1986) han apoyado y preparado duran-te muchos años esta postura ecológicageneral.

El elemento critico diferenciador de estateoría es la distinción en la elaboración deperfiles personales es la distinción entre el“parecer” y el “ser”. En cuestionarios,declaraciones o informes propios, hechosen respuesta de elección forzosa al estímu-lo, las palabras muestran más de lo que lapersona pueda imaginarse.

En síntesis, los creadores de los formu-larios trataron de combinar dos ideas bási-cas. En primer lugar, surgirían diferentesmodelos de acuerdo con las percepcionesde los climas. Los ambientes hostiles evo-can una conducta diferente de la que evo-can los ambientes amistosos. En segundolugar, lo que los entrevistados dicen acercade sus percepciones de sí mismos y delambiente no siempre puede revelar la pro-fundidad de su propio conocimiento de símismo. Las respuestas a las preguntas pue-den estar influidas tanto por el deseo socialcomo por el autoengaño y otros mecanis-mos para ocuparse de las emociones.

Las ideas de Allport son importantespara la comprensión de la razón fundamen-tal que subyace al APP. Para Allport, exis-ten cualidades que son comunes a todos, yconjuntos de cualidades que son específi-cas de los individuos. De acuerdo con esteacento sobre la plasticidad del individuo,se opuso a los que postulaban que la con-

ducta presente tiene su explicación en lainconsciencia pasada. Consideró que eramejor buscar explicaciones de los motivosen función de las situaciones y sentimien-tos contemporáneos.

De esto se deduce que cualquier res-puesta inmediata a un conjunto de estímu-los estructurados, como los adjetivos quedescriben a una persona en función decaracterísticas o cualidades que son comu-nes a muchas personas, aportará una com-prensión de las respuestas actuales delindividuo sobre el rol percibido en estecontexto. El trabajo que Allport hizo sobrelos nombre de las cualidades fue investiga-do extensamente por los creadores del APPpara las descripciones de cualidades queconforman las cuatro dimensiones deMarston. Esto no quiere decir que todas lascualidades que puedan haber sido medidasfueron incluidas en las cuatro interaccionesemocionales – ambientales básicas.

Puede consultarse (Thomas Internatio-nal, 1981a) para una revisión completa delmodelo y los trabajos posteriores para elanálisis de los datos históricos de validez yfiabilidad (Thomas International, 1983b, c,d; 1986a, b; 1987a, b, c).

Mucho más importante que el marcoteórico es la interpretación práctica quenos puede ofrecer el sistema. El sistemaAPP/APT ofrece tres gráficos, cada unonos da información.

El sistema nos da información sobre lapersona en tres escenarios. Por un ladonos informa de cómo la persona está en lasituación actual, en una situación de pre-sión y la autoimagen de la persona. Estatriple información es de gran utilidad parapoder diferenciar qué elementos del com-



portamiento de la persona son estables(en el tiempo) y consistentes (recurrentesen distintas situaciones). La Ilustración 2muestra un ejemplo real de una personaevaluada en estos tres escenarios, median-te las cuatro dimensiones de nuestro siste-ma.

La existencia de estos tres gráficos con-cede una gran potencia predictiva a estaprueba ipsativa porque como hemos vistouno de sus puntos fuertes es la compara-ción intraindividual. Esta comparación nose realiza únicamente entre las escalas,como veíamos en nuestro ejemplo inicial,sino que el caso exclusivo del APP ademásse puede hacer entre momentos temporalesy entre situaciones.

Como hemos vista la utilidad potencialdel sistema es grande en la medida que nosaporta gran cantidad de información convariedad de perspectiva temporal. Decimosutilidad potencial porque antes será nece-sario verificar que la validez del sistema esla adecuada.

Datos psicométricos

Disponer de datos Psicométricos rele-vantes del Sistema APP/APT es unadimensión importante de este apartado. Setrata de poder confirmar estadísticamente,lo que los clientes están viviendo día a día,ya que cada uno de los países en los queestá operativa esta herramienta, puede ava-lar, para tranquilidad de los usuarios, que



20161514131210987531

0-2-3-4-6-7-9-10-11-13-14-21

1798

7654321

0

-1-2-3-4-5-6-7-8-9-10

-19

191110987543210-1-2-3-4-5-6-7-8-9-10-11-12-19

15765432

1

0-1-2-3-4-5-6-7-8-9-10-11-12-16

D i S CD i S C D i S C201615

141210

9

8

7

6

543

2

1

0

17109

8

7

6

5

4

3

2

1

0

191211

10

98

7

6

5

43

2

1

0

1598

7

6

5

4

3

2

1

0

0

1

2

3

45678910111213141516

21

012

3

4

5

6

7

8

910

11

121319

012

3

4

5

6

7

8

9

10

11

121316

0

1

2

3

45

6

7

891011

19

Ilustración 2EJEMPLO DE GRAFICO

se han realizado los pertinentes análisispara adaptarla a su población laboral. Aveces los análisis estadísticos se repiten enel tiempo una vez que he transcurrido untiempo considerado como prudencial, pararepetir tales estudios matemáticos.

En la medida en que el objetivo de esteapartado es informar de los datos psicomé-tricos de la prueba, consideramos que esnecesario hacer un breve recorrido por losdatos de otros países más relevantes. Ensegundo lugar, presentaremos de maneramás extensa los datos propios para lapoblación española.

Otros países

Los primeros datos que vamos a mos-trar deben necesariamente estar referidos ala estructura interna. Hemos descrito elmodelo teórico, pero ahora es necesariodemostrar que los datos confirman estossupuestos.

En la siguiente tabla se muestra lascorrelaciones entre las cuatro variables delmodo, para el grafico 3, para 6 muestras depaíses distintos.

Tal y como se presentan en la tablaestos datos muestran que la estructurainterna de la prueba es constante paratodos los países. Esto es de gran impor-tancia a la hora de conceder credibilidad ala prueba, especialmente en aplicacionesinternacionales o para uso su internacio-nal en el caso de un tratamiento intercul-tural de la información psicométrica reco-gida.

Otro elemento a tener en cuenta es quelas variables están relacionadas entre si.

Esta característica, como hemos visto, espropia de los modelos ipsativos ya que larespuesta en un factor condiciona el resul-tado en los factores restantes.

Por ultimo, es relevante que se demues-tre también el carácter bipolar de lasdimensiones del APP. Los valores de la Dy la I están correlacionados negativamentecon la S y la C. Tal y como hemos visto enel modelo, la D y la I son activos en supolo positivo, en tanto que la S y la C son,pasivos, es decir negativos en el continuobipolar.

Un análisis especialmente importante encualquier prueba se refiere a la fiabilidadde la misma. En este caso, y para facilitarla lectura sólo vamos a presentar los datosreferidos al Reino Unido. Los datos com-pletos de todos los países se pueden con-sultar en (REF).

Los análisis de fiabilidad que vamos apresentar son los habituales, con cada fac-tor analizado independientemente. Estetipo de análisis no suele beneficiar a losvalores que obtenemos de una prueba ipsa-tiva, pero no obstante nos permite compa-rar los datos con el resto de las pruebas.Un análisis más fino de la fiabilidad de unaprueba ipsativa debería de considerar elperfil conjunto en lugar de un análisis dife-renciado.

En la Tabla 6 se ofrecen los resultadosde la fiabilidad para población inglesa.Estos datos demuestran que cada una delas escalas cumple los requisitos impuestospara las pruebas normativas. Hay querecordar que analizar la fiabilidad de estamanera implica hacer una serie de asuncio-nes que distorsionan e infravaloran la fia-bilidad real de las escalas ipsativas.





Tabla 5TABLA DE CORRELACIONES ENTRE LOS FACTORES DEL DISC

EN SEIS PAÍSES

D I S C

Dominancia .03 -.65 -.51Influencia -.50 -.58Estabilidad .47Conformidad

RUSIA: 600 sujetos

D I S CDominancia .11 -.70 -.60Influencia -.31 -.57Estabilidad .38Conformidad

HOLANDA: 127 sujetos


TURQUIA: 214

D I S CDominancia -.09 -.73 -.50Influencia -.31 -.44Estabilidad .32Conformidad

DINAMARCA: 539


USA: 1512

D I S CDominancia -.15 -.75 -.49Influencia -.21 -.40Estabilidad .24Conformidad

REINO UNIDO: 4083

Los datos se obtuvieron de poblaciónbritánica, de un total de 123 empresas.

Para nuestro propósito de predicción enel contexto de RRHH es más la validez, yaque requiere una fiabilidad previa. Ennuestro contexto de trabajo, la validez pre-dictiva referida al rendimiento es el pasoprevio inicial para determinar si una prue-ba es útil para su uso en un contexto labo-ral determinado (tabla 7).

Además de estos datos, Thomas dispo-ne a nivel internacional de datos sobre lavalidez de constructo y la validez de cri-terio. Son especialmente relevantes losestudios que correlacionan el APP con el16PF y el OPQ que por razones obvias noreproducimos en este documento ya queexceden el propósito de este trabajo enparticular.



Tabla 7VALIDEZ PREDICTIVA

Escala D I S C

El total de 1323 individuos .39 .25 .44 .14

798 con APT en la entrevista .48 .29 .56 .24

N=1323; 0.05, P<0.17N=798; 0.05, P<0.22

Tabla 6RESULTADOS DE FIABILIDAD PARA LA POBLACIÓN INGLESA

Escala compuesta D I S C

Media APP -.2 1.9 .1 0

Desviación Típica APP 4.2 4.1 4.5 3.4

Media APP .8 1.2 .3 -.5

Desviación Típica APP 4.4 4.2 4.7 3.6

Test – Retest .78 .64 .64 .52

Nota: N= 1323.

Población española

Los datos españoles sobre la estructurainterna se muestran en la siguiente tabla.Los resultados muestran que mantiene lamisma estructura que los datos internacio-nales (tabla 8).

Fiabilidad:

Los datos de fiabilidad están divididosen dos estudios. El primero fue llevado acabo entre los años 1992-1993. El numerototal de persona es de 84 (23% de los cua-

les eran mujeres), pertenecientes a 12empresas (tabla 9).

Las pruebas se aplicaron a personas quellevaban en el mismo puesto un tiempo noinferior a un año y la diferencia entre elprimer APP y el segundo, se realizó al

cabo de 3 meses. Las muestras pertenecíana empresas de Madrid y Barcelona prefe-rentemente.

En el segundo estudio los datos fueronobtenidos entre 1999 y el año 2000. El



Tabla 8TABLA DE CORRELACIONES ENTRE FACTORES PARA POBLACIÓN

ESPAÑOLA

D I S C

Dominancia -.05 -.69 -.53

Influencia -.37 -.51

Estabilidad .35

Conformidad

N= 3723 sujetos

Tabla 9FIABILIDAD EN POBLACIÓN ESPAÑOLA

D I S C

Momento 1 Media .4 1.1 .2 .1Desviación típica 4.1 4.2 4.3 3.6

Momento 2 Media .1 1.3 .4 0Desviación típica 4.3 4.3 4.7 3.8

Test – Retest .81 .67 .62 .54

N= 84

número total de personas es de 375, de loscuales el 25% son mujeres; pertenecientesa 25 empresas (tabla 10).

Pruebas paralelas

Un segundo tipo de estudios se refiere alas pruebas paralelas de las que disponeThomas Internacional. La primera de estaspruebas es el APP PLUS. Este cuestiona-rio se usa cuando a la persona le cuestaentender los adjetivos empleados habitual-mente, sustituyendo algunos adjetivos o

sustantivos de cierta complejidad semánti-ca por frases descriptivas.

Los resultados obtenidos se muestran enla tabla siguiente. Estos datos fueron obte-nidos en el estudio de validación llevado acabo en el año 2000 (tabla 11).

Las pruebas se aplicaron a personas quellevaban en el mismo puesto un tiempo noinferior a un año y la diferencia entre elprimer APP y el segundo, se realizó al



Tabla 10FIABILIDAD EN POBLACIÓN ESPAÑOLA

D I S C

Momento 1 Media -.73 .21 -.85 -.81Desviación típica 4.59 3.20 4 3.29

Momento 2 Media .07 .14 -.04 -.58Desviación típica 4.84 3.4 3.79 3.41

Test – Retest .89 .74 .76 .77

N= 375

Tabla 11CORRELACIÓN APP Y APP PLUS

D I S C

APP Media -.08 .57 .13 .23Desviación típica 5,11 3,53 4,07 3,27

APP Plus Media -.43 -.34 .43 .05Desviación típica 5.03 3.58 3.40 3.22

Test – Retest .78 .78 .74 .73

cabo de 3 meses. Las muestras pertenecíana empresas de Madrid y Barcelona prefe-rentemente.

La segunda prueba desarrolla es el APPen euskera. Este estudio se llevo a cabodurante el año 2004. Los resultados semuestran en la tabla 2.

Validez

La primera estimación de la validez esla Observación Conductual. Los resultadosobtenidos se muestran en la Tabla 13.

Respecto a los 84 personas entrevis-tados (23% mujeres, 77% hombres) per-tenecientes a 12 empresas, los jefes a

partir del APT hicieron una escala likert,previamente reajustada y después derealizar la entrevista se procedió a suevaluación, a la vez que se aplicaba el 2ºAPP.

Todos los sujetos, a la vez que se hacíala 2ª aplicación re-test, fueron evaluadospor observación en su trabajo usando lasdescripciones del APT. Estos resultados,en principio, superan a los valores de laTabla 7.

Conclusiones

De acuerdo con los resultados de lospuntos anteriores, se puede concluir:



Tabla 12CORRELACIÓN APP CASTELLANO Y APP EUSKERA

D I S C

Castellano Media -0.16 -2.16 .49 1.86Desviación típica 3.44 2.88 3.09 3.14

Euskera Media -.83 -1.4 -.38 1.02Desviación típica 3.89 3.27 3.9 3.28

N=113

Tabla 13VALIDEZ APP-ENTREVISTA EN POBLACION ESPAÑOLA

ESCALAS D I S C

Sobre toda la muestra 84 sujetos .38 .31 .42 .23

N= 84; 0.05 p < 0.19

a) Que la validez y la fiabilidad sonestadísticamente significativas para lamuestra española, e incluso superan losvalores de otros países.

b) Que el concepto DISC de ThomasInternational a través de los análisisAPP/APT, son perfectamente transferiblesa la población española.

c) En consecuencia se puede considerarque la comercialización del sistemaAPP/APT cumple con los estándares decalidad psicométricos requeridos parapruebas de este tipo

Conclusiones

Llegados a este punto es bueno haceruna revisión crítica del significado quetiene para nosotros la información presen-tada y comentada en este articulo. Espe-cialmente porque seguro que queda en elaire la siguiente reflexión: “Estas teoríasestán muy bien, pero ¿cómo contribuye asolucionar mis problemas de evaluación delas personas?”. Vamos a intentar resumirnuestra posición.

Las pruebas de elección múltiple y laspruebas de elección forzosa son claramen-te distintas. Ambas tienen áreas de aplica-ción, formas de utilización y por tantomodos de utilización distintas. El objetivo

de ambas es común, evaluar a la persona,la diferencia radica en como cada una res-ponde al criterio de rentabilidad (dentro dela cual es crítica la validez).

Las pruebas normativas funcionan demanera muy eficiente cuando cumplen lossupuestos que hemos analizado (las cate-gorías son continuas, nivel de medida deintervalo, independencia de las varianzaserror y nivel de distribución), pero hemosvisto que en determinadas situaciones, yespecialmente en contextos de selección,estos supuestos pueden llegar a distorsio-nar las puntaciones de una persona en unadesviación típica. Esta diferencia es másque suficiente para incluir en la siguientefase a un mal candidato o excluir a unobueno.

Esto no quiere decir, que siempre queempleamos pruebas normativas comete-mos sistemáticamente errores, sino quedebemos de ser conscientes de que en cier-tas ocasiones el riesgo es alto, y puedeinducir a pérdidas de precisión de una des-viación típica.

En cambio, las pruebas ipsativas, comoel APP, no hacen supuestos tan rígidos,por lo que la información intraindividualque obtenemos corre menos riesgo desufrir variaciones graves; lo que evita quecometamos errores estadísticamente signi-ficativos aunque no se cumplan los supues-



Tabla 14VALIDEZ APP-OBSERVACIÓN EN POBLACIÓN ESPAÑOLA

ESCALAS D I S C

Sobre 46 sujetos con APT y entrevista .49 .32 .60 .28

N= 46

tos de las pruebas normativas. No obstante,las pruebas ipsativas son algo más frágilesen la comparación interindividual cuandoanalizamos dimensiones aisladas. Afortu-nadamente en el caso de la selección depersonal, la toma de decisiones siempreimplica que la comparación de todo el per-fil de varias personas, por lo que no semuestran perdidas de potencia en las prue-bas ipsativas.

Si consideramos que la situación en lacual vamos a evaluar puede tener el riesgode cometer errores o poner en peligro lossupuestos de las pruebas normativas, ento-ces es recomendable emplear pruebas detipo ipsativo, pero que hayan probadoposeer las siguientes características.

En primer lugar, la prueba ipsativa debetener al menos la misma validez que laspruebas normativas, sino más. De nada nossirve una prueba que no incumpla ningúnsupuesto si luego no dispone de validezsuficiente, porque jamás alcanzaremosnuestro objetivo de rentabilidad.

El segundo criterio crítico es el númerode escalas. Es deseable que la prueba tengaun numero bajo de escalas. Cuando elnúmero es alto, se pierden las ventajasestadísticas propias de las pruebas de elec-ción forzosa. Tener más escalas no mejorala predicción, como hemos visto la puedeincluso perjudicar en ambos tipos de prue-bas. Además es probable que la presenciade un mayor número de escalas reduzca laventaja de tiempo que supone hacer unaprueba de elección forzosa.

El análisis del número de escalas es per-tinente ligarlo a la correlación que hayentre las distintas escalas. No es lo mismocontar con cuatro escalas que no tiene nada

que ver entre sí, que disponer del mismonúmero de escalas y además relacionadas.Para el análisis de las puntaciones lo ideales mejor que las escalas sean pocas, muyrelacionadas y bipolares.

Para maximizar los beneficios de unaprueba ipsativa debemos de analizar endetalle el modo en que ha resuelto lamayor dificultad de este paradigma de eva-luación, que es la comparación entre indi-viduos. Para poder confiar plenamente enuna prueba de elección forzosa requiereque tenga resuelta las herramientas decomparación intraindividual.

Por último, hemos mostrado como elsistema APP/APT cumple los requisitosexigidos a las pruebas ipsativas y puederesolver esos problemas en términos devalidez, rentabilidad de la inversión ycaracterísticas psicométricas de las escalas.

Con respecto a los datos de fiabilidad yvalidez, tanto para población españolacomo para la población internacional,demuestra que los valores son altos y sig-nificativos. Esto era esperable por laausencia de fuentes de error, pero era nece-sario probarlo. Este dato todavía cobra másvalor tendiendo en cuenta que las muestrasutilizadas se han obtenido en situacionescotidianas de procesos de selección, eva-luación y desarrollo análogas a las quehace todos los días cualquier profesionalde RRHH. Todos sabemos, aunque sólo sepor simple observación, que esos candida-tos poco o nada tienen que ver con losestudiantes de cualquier universidad oescuela de negocios donde son utilizadoscasi como un grupo experimental.

En definitiva, creemos que el sistemaAPP/APT de Thomas International es una



prueba ipsativa de elección forzosa, sólida,rápida con una excelente capacidad predic-tiva y que ha sido desarrollada para servirde apoyo eficaz a la gestión racional de losrecursos humanos en las organizaciones.

REFERENCIAS BIBLIOGRÁFICAS

Baron, H. (1995). Strengths and limita-tions of Ipsative Measurement. Journal ofOccupational and Organisational Psycho-logy.

Barrett, P. (1999). Test Design, Measu-rement and Assessment. En http://www.liv.ac.uk/pbarrett/paulhome.htm

Bartram, D. (1996). The relationshipbetween ipsatized and normative measuresof personality. Journal of Occupational andOrganisational Psychology, 69, 25-39.

Berry, J.W. y Irvine, S.H. (1986). Bri-colage: savages do it daily. In R.J. Stern-berg y R.K. Wagner, (Eds.). Practical Inte-lligence. New York: Cambridge.

Catell, R. B. (1988) The data box: Itsordering of total resources in terms of pos-sible relational systems. In J.R. Nesselroa-de y R. B. Catell (Eds.) Handbook of mul-tivariate experimental psychology. NY:Plenum Press.

Closs, S. J. (1996). On the factoring andinterpretation of ipsative data. Journal ofOccupational and Organisational Psycho-logy, 69, 41-47.

Hendrickson, T.M. (Undated). Personalprofile analysis: a technical manual: Mar-low: Thomás International ManagementSystems (Europe) Ltd.

Irvine, S.H.; Mettam, D. y Syrad, T.(1994). Valid or more valid? Keys tounderstanding personal appraisal practicesal work. Current Psychology, Spring 1994,Vol 13, nº1, 27-59.

Johnson, C.E., Wood, R. y Blikhorn, S.F.(1988). Spuriouser and spuriouser: the useof Occupational Psychology. 57: 67-76.

Karpatschof, B. y Elkjaer, H. (1999).The reliability of Ipsative scores- Exami-ned by espiral data and simulation study.Research report number 1. Departament ofPsychology. Universty of Copenhagen.

Kline, P. (1983). Personality: measure-ment and theory. London. Hutchinson.

Kline, P. (1998). The new Psychome-trics: Science, Psychology and Measure-ment. Routledge.

Lord, F. M. y Novick, M. R. (1968) Sta-tistical Theories of Mental Test Scores.Reading, Mass.: Addison-Wesley.

Marston, W.M. (1928). Emotions ofnormal people. New York: Harcourt,Brace.

Michell, J. (1990). An introduction tothe logic of Psychological Measurement.Lawrence Erlbaum.

Ones, D. S., Viswesvaran, C. y Korbin,W. P. (1995) Meta-analyses of fakabilityestimates: Between subjects versus withinsubjects designs. Paper presented at the10th annual meeting of the Society ofIndustrial and Organisational Psychology,Orlando, FL.

Thomas International (1981a). Personal



Profile Analysis (Revised) Marlow: Tho-mas International Management Systems(Europe) Ltd.

Thomas International (1981b). HumanJob Analysis (Revised) Marlow: ThomasInternational Management Systems (Euro-pe) Ltd.

Thomas International (1983a). Intervie-wing and screening guide. Marlow: Tho-mas International Management Systems(Europe) Ltd.

Thomas International (1983b). Advan-ced analysis course manual. Marlow: Tho-mas International Management Systems(Europe) Ltd.

Thomas International (1983c). Selectingeffective people. Marlow: Thomas Interna-tional Management Systems (Europe) Ltd.

Thomas International (1983d). PPAadvanced profile guide. Marlow: ThomasInternational Management Systems (Euro-pe) Ltd.

Thomas International (1986a). TIRR-1.Concurrent validity among instrumentsused by industry for personnel purposes,16 PF, OPQ and PPA Part.1 (B. Cripps yE. Geelhoed). Marlow: Thomas Interna-

tional Management Systems (Europe)Ltd.

Thomas International (1986b). TIRR-3.Concurrent validity among instrumentsused by industry for personnel purposes,16 PF, OPQ and PPA Part.2 (B. Cripps yE. Geelhoed). Marlow: Thomas Internatio-nal Management Systems (Europe) Ltd.

Thomas International (1987a). TIRR-2.Description of 4083 PPA results: correla-tions and distributions (B. Cripps y E.Geelhoed). Marlow: Thomas InternationalManagement Systems (Europe) Ltd.

Thomas International (1987b). TIRR-4.Description of 5242 PPA results: correla-tions and distributions (B. Cripps y E.Geelhoed). Marlow: Thomas InternationalManagement Systems (Europe) Ltd.

Thomas International (1987c). TIRR-6.Predictive validity, illusion or reality (B.Cripps y E. Geelhoed). Marlow: ThomasInternational Management Systems (Euro-pe) Ltd.

Viswesvaran, C. y Ones D. S. Meta-Analyses of Fakability Estimates: Implica-tions for Personality Measurement Educa-tional and Psychological Measurement.1999; 59: 197-210.



la tecnología de evaluación ipsativa y el sistema …las pruebas de elección múltiple y las...

Documents