---
El hilo de Slack que lo inició todo
Hace unas semanas, nos encontramos en una acalorada discusión en Slack sobre las implicaciones de la Ley Local 144 de NYC. Como equipo de ingenieros en Fitlane AI, sabíamos que nuestros algoritmos de contratación necesitaban cumplir con esta nueva regulación sobre herramientas automatizadas de decisión de empleo (AEDTs). Las apuestas eran altas: si no lo hacíamos bien, no solo arriesgábamos sanciones financieras, sino también daños a nuestra reputación como plataforma de contratación justa.
Entendiendo la Ley Local 144
La Ley Local 144 de NYC exige que cualquier empresa que use IA en la contratación realice auditorías de sesgo de AEDT de forma regular. Esta ley tiene como objetivo garantizar que las herramientas de contratación basadas en IA no discriminen a los candidatos por motivos de raza, género u otras clases protegidas. La ley se aplica tanto al software que desarrollamos como a las empresas que utilizan nuestros servicios, lo que hace crucial para nosotros asegurar el cumplimiento.
El desafío del cumplimiento
A medida que profundizábamos en los requisitos, nos dimos cuenta de la complejidad involucrada. Un escenario en particular destacó esto: un cliente que utilizaba nuestra plataforma notó discrepancias en las evaluaciones de candidatos donde ciertos grupos demográficos recibían consistentemente puntuaciones más bajas. Esto levantó una bandera roja sobre posibles sesgos en nuestros modelos de aprendizaje automático. Necesitábamos un enfoque sistemático para auditar nuestros algoritmos de manera efectiva.
Enfoques iniciales y callejones sin salida
Inicialmente, consideramos un análisis estadístico simple de las puntuaciones de los candidatos a través de varios grupos demográficos. Sin embargo, este enfoque nos pareció insuficiente. Confiar únicamente en métricas estadísticas podría enmascarar problemas más profundos relacionados con el comportamiento del modelo. Después de mucho debate, decidimos abandonar este método y explorar marcos de auditoría más rigurosos.
Implementando la solución técnica
Finalmente, optamos por un marco estructurado que incluía tanto evaluaciones cuantitativas como cualitativas de nuestros algoritmos. Esto implicó:
- Desarrollar una lista de verificación estandarizada para auditorías de sesgo.
- Implementar evaluaciones de terceros para garantizar la independencia.
- Crear un bucle de retroalimentación con los clientes para refinar los modelos basados en los hallazgos de la auditoría.
Aquí hay un fragmento del código que utilizamos para facilitar el registro de auditoría:
import logging
logging.basicConfig(level=logging.INFO, filename='audit_log.txt')
def log_audit(candidate_id, score, demographic_info):
logging.info(f"Registro de auditoría para {candidate_id}: Puntuación {score}, Demografía {demographic_info}")Esta solución nos permitió rastrear el rendimiento de nuestros modelos de manera más transparente y aseguró el cumplimiento de los requisitos de auditoría establecidos en la Ley Local 144.
Cambios observables en nuestro producto
El cambio más significativo tras la implementación fue la introducción de los registros de auditoría. Los clientes que utilizan nuestras herramientas de contratación ahora podían acceder a informes detallados sobre cómo se evaluaron los candidatos, ayudándoles a entender no solo los resultados, sino también la lógica detrás de ellos. Esta transparencia ha afectado positivamente nuestras relaciones con los clientes, especialmente en el contexto de /for-companies, donde enfatizamos nuestro compromiso con prácticas de contratación justas.
Lecciones clave aprendidas
A través de este proceso, obtuvimos varias ideas que no habíamos anticipado:
- La proactividad es clave: Esperar a que surjan problemas de cumplimiento puede llevar a problemas más significativos en el futuro.
- Las auditorías independientes añaden valor: Las evaluaciones de terceros a menudo revelan percepciones que los equipos internos podrían pasar por alto.
- La documentación es importante: Mantener registros detallados no solo es una necesidad de cumplimiento; mejora la calidad general de nuestros algoritmos de contratación.
- La retroalimentación de los interesados es invaluable: Las discusiones regulares con los clientes sobre sus experiencias pueden llevar a mejoras continuas en nuestros modelos.
Implicaciones para los candidatos
Para los candidatos, este proceso de auditoría significa que sus evaluaciones serán más transparentes y justas. Pueden confiar en que los algoritmos que evalúan sus solicitudes son revisados regularmente en busca de sesgos, asegurando un proceso de contratación más equitativo.
Implicaciones para los reclutadores
Los reclutadores se beneficiarán de una comprensión más clara de cómo se están evaluando a los candidatos. Con acceso a registros de auditoría e informes, pueden comprender mejor los procesos de toma de decisiones detrás de las selecciones de candidatos, lo que lleva a decisiones de contratación más informadas y justas.
Mirando hacia el futuro
Si bien hemos logrado avances significativos en el cumplimiento de la Ley Local 144, aún hay mucho por monitorear. Nos estamos enfocando especialmente en refinar nuestros procesos de auditoría y mantenernos actualizados sobre cualquier cambio legal. Si pudiéramos volver a visitar este proyecto, priorizaríamos la integración de mecanismos de detección de sesgos en tiempo real, permitiendo ajustes inmediatos en lugar de esperar auditorías periódicas. Nuestro compromiso con la transparencia y la equidad en la contratación sigue siendo fuerte, y esperamos evolucionar junto a estos requisitos regulatorios. ---