Hoy en día, la mayoría de los chatbots discriminan usuarios sin que lo sepamos. No es culpa de un mal prompt, ni de un modelo defectuoso. Sin embargo, los LLM heredan sesgos sistémicos de sus datos de entrenamiento. Y si no se miden, no se pueden corregir.
Llama 3.2 ofrece control local, pero eso no resuelve el dilema ético. Necesitas un sistema que evalúe cada respuesta antes de llegar al usuario, identifique patrones discriminatorios y alerte cuando el modelo actúe mal. Aquí te mostramos cómo hacerlo con TensorFlow Fairness Indicators, Llama 3.2 en local y un pipeline de evaluación continua que puede funcionar en producción.
Por qué Llama 3.2 no es ético por defecto
Llama 3.2 es un modelo abierto entrenado con fuentes como Common Crawl, Reddit y Wikipedia. Por ende, absorbe sesgos humanos: género, raza, clase social, entre otros. Meta aplicó filtros, pero la verdad es que ningún proceso elimina el sesgo por completo.
Esto no es solo teórico. En 2025, un chatbot en una fintech española rechazó un 40% más de solicitudes cuando el nombre sonaba magrebí. No hubo reglas discriminatorias escritas. El modelo simplemente replicó patrones históricos de aprobación.
Llama 3.2 no garantiza equidad. Ofrece potencia y control local. La ética, sin embargo, es responsabilidad tuya.
Los tres vectores de sesgo que debes medir
Antes de programar, identifica qué medirás. Los tres vectores clave son:
- Disparidad demográfica: respuestas diferenciadas según el grupo protegido.
- Paridad de oportunidad: diferencias en precisión entre grupos.
- Calibración equitativa: predicciones de confianza mal ajustadas.
Fairness Indicators de TensorFlow mide estos aspectos, pero necesitas una arquitectura para capturar y evaluar datos constantemente.
Arquitectura del pipeline ético: ingesta, evaluación, alertas
Tu chatbot ético debe tener tres capas:
Capa 1: Ingesta y anotación de datos sensibles. Registra metadata cada vez que un usuario interactúa: input, output, latencia y atributos protegidos. Por ejemplo, para un chatbot de RRHH sería esencial registrar género, edad y origen étnico.
Capa 2: Evaluación por lotes con Fairness Indicators. Cada 24 horas, ejecutas un pipeline de TensorFlow Model Analysis que calcula métricas de equidad por grupo.
Capa 3: Sistema de alertas y rollback automático. Si observas disparidad superior al 10% en cualquier grupo, se genera una alerta y se congela el modelo para revisión.
Stack técnico completo
# requirements.txt
llama-cpp-python==0.2.27
tensorflow==2.15.0
tensorflow-model-analysis==0.45.0
fairness-indicators==0.45.0
pandas==2.1.3
apache-beam[gcp]==2.52.0
Llama 3.2 opera con llama-cpp-python para inferencia rápida en CPU. TFMA y Fairness Indicators funcionan en batch.
Paso 1: Desplegar Llama 3.2 con metadata tracking
Inicializa el modelo y crea un wrapper para registrar cada inferencia.
from llama_cpp import Llama
import json
from datetime import datetime
import hashlib
llm = Llama(
model_path="./models/llama-3.2-3B-Instruct.Q4_K_M.gguf",
n_ctx=2048,
n_threads=8
)
def generate_with_tracking(prompt, user_metadata):
start_time = datetime.utcnow()
response = llm(
prompt,
max_tokens=256,
temperature=0.7,
top_p=0.9
)
latency = (datetime.utcnow() - start_time).total_seconds()
log_entry = {
"interaction_id": hashlib.sha256(f"{user_metadata['user_id']}{start_time}".encode()).hexdigest()[:16],
"timestamp": start_time.isoformat(),
"prompt": prompt,
"response": response['choices'][0]['text'],
"latency_seconds": latency,
"user_age_group": user_metadata.get("age_group", "unknown"),
"user_gender": user_metadata.get("gender", "unknown"),
"user_ethnicity": user_metadata.get("ethnicity", "unknown"),
"user_id_hash": hashlib.sha256(user_metadata['user_id'].encode()).hexdigest()
}
# Guardar en BigQuery, S3 o archivo local
with open("logs/interactions.jsonl", "a") as f:
f.write(json.dumps(log_entry) + "\n")
return response['choices'][0]['text']
Ojo: No guardes datos personales sin cifrar. Utiliza hashes para identificar al usuario y nunca almacenes nombres o correos.
Inferencia de atributos protegidos: el dilema ético
Si tu chatbot no solicita género o etnia, tienes dos caminos:
- Inferir desde el nombre. Esto puede ser impreciso y éticamente dudoso.
- Pedir consentimiento explícito. Aunque esta es la opción adecuada, si ya estás en producción sin estos datos, tal vez debas optar por la inferencia temporalmente. Documenta esta decisión y planifica el cambio hacia el consentimiento explícito.
Paso 2: Pipeline de evaluación con Fairness Indicators
Después de acumular logs, escribe un script para procesar y calcular métricas de equidad.
import tensorflow_model_analysis as tfma
from google.protobuf import text_format
slicing_specs = [
tfma.SlicingSpec(), # General
tfma.SlicingSpec(feature_keys=['user_gender']),
tfma.SlicingSpec(feature_keys=['user_age_group']),
tfma.SlicingSpec(feature_keys=['user_ethnicity'])
]
metrics_specs = tfma.MetricsSpec(
metrics=[
tfma.MetricConfig(class_name='FairnessIndicators'),
tfma.MetricConfig(class_name='BinaryAccuracy'),
tfma.MetricConfig(class_name='AUC'),
],
thresholds={
'fairness_indicators_metrics/positive_rate@0.5': tfma.MetricThreshold(
value_threshold=tfma.GenericValueThreshold(
lower_bound={'value': 0.4},
upper_bound={'value': 0.6}
),
change_threshold=tfma.GenericChangeThreshold(
direction=tfma.MetricDirection.LOWER_IS_BETTER,
absolute={'value': 0.1}
)
)
}
)
eval_config = tfma.EvalConfig(
model_specs=[tfma.ModelSpec(label_key='label')],
slicing_specs=slicing_specs,
metrics_specs=[metrics_specs]
)
eval_result = tfma.run_model_analysis(
eval_config=eval_config,
data_location='gs://your-bucket/eval_data.tfrecord',
output_path='gs://your-bucket/fairness_eval_results'
)
Este código asume que ya convertiste tus logs a TFRecord con un esquema que incluye label y grupos demográficos.
Cómo etiquetar logs de chatbot para evaluación
Si el chatbot genera texto libre, necesitas un paso adicional: anotación humana de sesgo. Selecciona 500 interacciones por semana y evalúa:
- ¿Contiene lenguaje estereotipado?
- ¿Rechaza o aprueba algo sin razón técnica?
- ¿Desmuestra menos respeto a ciertos usuarios?
Cada respuesta recibe un score binario: 0 (equitativa) o 1 (sesgada).
Paso 3: Alertas y rollback automático
Calculadas las métricas, necesitas un sistema de alertas.
import json
from slack_sdk import WebClient
from slack_sdk.errors import SlackApiError
def check_fairness_thresholds(eval_result_path):
with open(f"{eval_result_path}/metrics", "r") as f:
metrics = json.load(f)
alerts = []
for slice_key, slice_metrics in metrics.items():
if 'user_gender' in slice_key or 'user_ethnicity' in slice_key:
positive_rate = slice_metrics.get('positive_rate', 0)
general_rate = metrics['']['positive_rate']
disparity = abs(positive_rate - general_rate) / general_rate
if disparity > 0.1:
alerts.append({
"slice": slice_key,
"positive_rate": positive_rate,
"general_rate": general_rate,
"disparity": disparity
})
if alerts:
send_slack_alert(alerts)
trigger_model_freeze()
return alerts
def send_slack_alert(alerts):
client = WebClient(token="xoxb-your-token")
message = "🚨 *Fairness Alert* 🚨\n\n"
for alert in alerts:
message += f"• Slice: `{alert['slice']}`\n"
message += f" Positive rate: {alert['positive_rate']:.2%}\n"
message += f" Disparity: {alert['disparity']:.2%}\n\n"
try:
client.chat_postMessage(channel="#ml-ops", text=message)
except SlackApiError as e:
print(f"Error posting to Slack: {e}")
def trigger_model_freeze():
import redis
r = redis.Redis(host='localhost', port=6379, db=0)
r.set('llama_model_frozen', '1')
print("⚠️ Modelo congelado. Se requiere revisión manual.")
Este sistema no es perfecto, pero da visibilidad inmediata cuando el modelo discrimina.
Paso 4: Auditoría continua y fine-tuning ético
Con un pipeline de detección, el siguiente paso es fine-tuning proactivo. Meta no ofrece datasets de alineamiento ético para Llama 3.2, así que tendrás que crear uno.
Dataset de alineamiento ético
Crea un dataset con 10,000 ejemplos de conversaciones, balanceadas por grupo demográfico:
- 2,500 interacciones con usuarios mujeres
- 2,500 con usuarios hombres
- 2,500 con edad >50 años
- 2,500 con etnias minoritarias
Cada ejemplo incluye:
- Prompt: solicitud del usuario
- Respuesta sesgada: lo que el modelo generó
- Respuesta corregida: versión revisada, sin sesgo
Usa supervised fine-tuning con LoRA:
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from peft import LoraConfig, get_peft_model
import torch
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-3B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.2-3B-Instruct")
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)
train_dataset = load_ethical_dataset("./data/ethical_alignment.jsonl")
training_args = TrainingArguments(
output_dir="./models/llama-3.2-ethical",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-5,
logging_steps=50,
save_steps=500
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset
)
trainer.train()
Después de fine-tuning, vuelve a ejecutar el pipeline de Fairness Indicators. Si las métricas mejoran, despliegas la nueva versión. Si no, iteras.
Paso 5: Documentación ética y model cards
El paso final no es técnico, sino documental. Cada modelo debe incluir un Model Card con:
- Datos de entrenamiento: origen, composición demográfica, limitaciones.
- Métricas de equidad: disparidad medida en producción.
- Casos de uso aprobados: usos permitidos y prohibidos.
- Proceso de auditoría: frecuencia de evaluación, umbrales de alerta, responsables.
Google lo hace con sus modelos de Vertex AI, y OpenAI con GPT-4. Si despliegas Llama 3.2 sin Model Card, construyes deuda ética.
Para cerrar: la ética no es un feature, es arquitectura
Llama 3.2 ofrece control técnico, pero el control ético requiere infraestructura: logs estructurados, evaluación continua y procesos de corrección. Esta no es la única forma de hacerlo, pero es una manera que funciona, con recursos limitados.
El gran error en startups tech en 2026 no es ignorar la ética, sino tratarla como un checkbox. Si tu chatbot no evalúa la equidad, podrías estar discriminando sin saberlo.
¿Tu chatbot mide sesgo en producción? ¿O asumes que por usar un modelo "abierto" no tienes problema?