Cómo probar una IA en tu proceso de selección antes de confiarle candidatos.
Si usás IA para resumir entrevistas, puntuar respuestas o filtrar CVs, conviene saber dónde se equivoca antes de que el error le llegue a un cliente o le cueste una oportunidad a un candidato. Este es el método que uso para medirlo. En la industria de la IA se le dice "eval", y funciona como un assessment center, solo que el evaluado es el modelo.
Las mismas piezas que un proceso de selección.
Una eval tiene cuatro partes. Si alguna vez armaste una entrevista estructurada, ya las conocés.
Las tareas que le das al modelo, como las preguntas de una entrevista. Conviene empezar con 5 a 10 bien pensadas.
Lo que esperás para cada caso, escrito antes de probar. Puede ser un puntaje o una lista de cosas que tienen que aparecer y otras que no.
Quién decide si la respuesta cumple: una persona, una regla automática u otro modelo con tu grilla en la mano.
Qué porcentaje de casos resolvió bien y, más importante, en cuáles falló y por qué.
Seis pasos, en este orden.
Elegí una tarea real y angosta
"Resumir entrevistas" es demasiado amplio para medirlo. "Puntuar una respuesta según la grilla de una competencia" se puede medir. Empezá por la tarea que ya le estás delegando a la IA.
Escribí la respuesta correcta antes de probar
Si la decidís después de leer lo que contestó la IA, vas a terminar dándole la razón. Apoyate en tu grilla, por ejemplo una escala BARS (una escala que describe con conductas qué vale cada puntaje), para que la respuesta correcta no se discuta.
Armá casos con trampa
Los casos fáciles los acierta cualquier modelo. Buscá los que harían dudar a un entrevistador junior: el candidato que habla muy bien y no cuenta nada que haya hecho, o el que se describe con humildad y trae resultados concretos.
Corregí para los dos lados
Reprobá cuando la IA se equivoca y también cuando se niega a hacer la tarea. Si solo castigás el error, un modelo que contesta "no puedo ayudarte" saca la nota máxima.
Repetí cada caso varias veces
El mismo modelo, con la misma pregunta, puede contestar distinto cada vez. Con tres a cinco corridas por caso ves si falla siempre o de vez en cuando, que no es lo mismo.
Probá al corrector antes de confiar en él
Una regla que busca palabras puede reprobar una frase inocente que contiene la palabra. Pasale respuestas que sabés que están bien y otras que sabés que están mal, y fijate que las separe como lo harías vos.
Cómo se ve un caso con trampa.
Competencia: resolver problemas sin información clara. La escala dice que vale 2 la respuesta que cuenta lo que hizo el equipo sin acciones propias, y 4 la que tiene situación, acciones propias, razonamiento y resultado.
"El área venía con los tiempos de cobertura en 61 días. Se hizo un diagnóstico de las últimas 40 búsquedas, se acortó el plazo de feedback de los managers a 48 horas y se simplificaron las grillas. Al trimestre siguiente estábamos en 39 días."
Hay situación concreta y números, pero ninguna acción tiene dueño: "se hizo", "se acortó", "se simplificaron". La trampa son los números, que hacen que suene a un 4. Un modelo que se deja llevar por ellos sobrevalúa a este candidato.
CASO Tarea que se evalúa: puntuar una respuesta según la grilla Consigna para la IA: (el texto exacto que le vas a dar) Entrada: (la respuesta del candidato, inventada o anonimizada) Respuesta correcta: (el puntaje o lo que tiene que aparecer y lo que no) Por qué es la correcta:(qué parte de la grilla lo define) La trampa: (qué podría confundir a la IA) Cómo se corrige: (regla automática, persona u otro modelo con la grilla) Corridas: 3 a 5 por modelo Resultado: (aciertos sobre corridas y qué escribió cuando falló)
Hacelo hoy: elegí la tarea que más le delegás a la IA y escribí tres casos con esta plantilla, uno de ellos con trampa. Probalos tres veces cada uno. Con eso ya sabés más que la mayoría de los que la usan.
Para qué te sirve tener esto.
- Saber qué tareas le podés delegar a la IA y cuáles todavía no.
- Un registro para mostrarle a tu cliente cómo controlás la calidad cuando usás IA.
- Un criterio para comparar herramientas o modelos antes de pagar por uno.
- Detectar cuándo una actualización del modelo empeoró algo que antes funcionaba: volvés a correr los mismos casos y comparás.
Una advertencia: nunca uses CVs ni entrevistas reales de candidatos para probar. Inventá los casos o anonimizalos, y revisá qué hace con tus datos el servicio de IA que usás.
¿Querés probar la IA que ya usás en tu proceso?
Escribime por WhatsApp y armamos juntos los primeros casos para la tarea que más te preocupa, trabajemos juntos después o no.
escribime por WhatsApp →¿Te sirvió? Pasáselo a alguien que use IA en sus búsquedas.