Open resources for AI safety and governance

• 69verified resources
• 13courses and curricula
• 20programs and fellowships
• 12relevant to Latin America

The catalog was curated in Spanish: resource summaries and category labels remain in Spanish.

• Directorio ·General

  AISafety.com

  Un solo punto de entrada al ecosistema: mapa del campo, cursos, eventos, convocatorias, comunidades, financiamiento, empleos, asesoría y medios.

  Format: En línea Duration: Referencia permanente

  • hub
  • referencia
  • datos abiertos

• Directorio ·General

  AISafety.info

  Respuestas en lenguaje sencillo a cientos de preguntas frecuentes sobre riesgos de la IA. Buen punto de partida para divulgación.

  Format: En línea Duration: Autogestionado

  • preguntas frecuentes
  • divulgación
  • introducción

• Comunidad ·Técnica

  AI Alignment Forum

  Foro donde los investigadores discuten alineación, desde modelos técnicos de agencia hasta el panorama estratégico del campo.

  Format: En línea Duration: Permanente

  • foro
  • investigación
  • debate

• Comunidad ·General

  LessWrong

  Comunidad de escritura y discusión donde se publica buena parte del pensamiento sobre riesgos de la IA y racionalidad aplicada.

  Format: En línea Duration: Permanente

  • foro
  • blog
  • racionalidad

• Comunidad ·General

  EA Forum

  Foro donde se anuncian convocatorias, se publican análisis de impacto y se debaten prioridades del campo de la seguridad en IA.

  Format: En línea Duration: Permanente

  • foro
  • convocatorias
  • análisis

• Comunidad ·Construcción de campo

  Alignment Ecosystem Development

  Proyectos abiertos de infraestructura para el ecosistema de alineación, con espacio para personas voluntarias.

  Format: Remoto Duration: Continuo

  • voluntariado
  • infraestructura
  • proyectos abiertos

• Comunidad ·Construcción de campo

  AI Safety Support

  Apoyo a personas que quieren entrar al campo: sesiones de orientación, conexiones y recursos para quienes empiezan.

  Format: Remoto Duration: Continuo

  • apoyo
  • ingreso al campo
  • mentoría

• Organización ·Construcción de campo Spanish LatAm

  AI Safety México

  Investigación, educación y política sobre seguridad en IA en México. Cursos gratuitos, mesas de trabajo y proyectos como VIGÍA.

  Format: Híbrido (México) Duration: Continuo

  • México
  • cursos
  • investigación

• Carrera y empleo ·General Spanish LatAm

  Carreras con Impacto

  Guía de carrera en español para trabajar en problemas globales apremiantes, incluida la seguridad en inteligencia artificial.

  Format: En línea Duration: Autogestionado

  • carrera
  • español
  • orientación

• Organización ·Gobernanza Spanish LatAm

  Observatorio de Riesgos Catastróficos Globales (ORCG)

  Organización hispanohablante que investiga y asesora sobre riesgos catastróficos globales, incluidos los derivados de la IA avanzada.

  Format: Híbrido (Iberoamérica) Duration: Continuo

  • español
  • política pública
  • riesgo global

• Comunidad ·Construcción de campo Spanish LatAm

  LANAIS (Latin American Network for AI Safety)

  Red que conecta a quienes trabajan en seguridad en IA en América Latina, con mapa regional, guías de carrera y eventos propios.

  Format: Remoto (regional) Duration: Continuo

  • América Latina
  • red regional
  • orientación

• Comunidad ·Técnica Spanish LatAm

  BAISH (Buenos Aires AI Safety Hub)

  La comunidad técnica más consolidada de la región: cursos con BlueDot, talleres de reimplementación de papers y la beca AISAR.

  Format: Presencial (Buenos Aires) e híbrido Duration: Continuo

  • Argentina
  • investigación
  • beca

• Organización ·Construcción de campo LatAm

  AI Safety Brazil

  Organización sin fines de lucro que cubre desde sesgo e interpretabilidad hasta alineación y riesgo catastrófico en el contexto brasileño.

  Format: Híbrido (Brasil) Duration: Continuo

  • Brasil
  • comunidad
  • educación

• Organización ·Interdisciplinaria LatAm

  FAIR IALAB (Universidad de Buenos Aires)

  Grupo de investigación en una universidad pública latinoamericana que aborda la seguridad de IA de frontera como problema sociotécnico.

  Format: Presencial (Buenos Aires) Duration: Continuo

  • Argentina
  • universidad pública
  • investigación

• Organización ·Gobernanza LatAm

  CEGIA

  Centro brasileño que ha llevado las discusiones de seguridad en IA a los debates de gobernanza y política pública de la región.

  Format: Híbrido (Brasil) Duration: Continuo

  • Brasil
  • política pública
  • gobernanza

• Agenda de investigación ·Construcción de campo LatAm

  América Latina y su lugar en AI safety: un mapa

  Mapeo de quién hace qué en seguridad en IA en América Latina: talento, trabajo técnico, regulación, financiamiento y vacíos por llenar.

  Format: Lectura Duration: Lectura de 15 minutos

  • América Latina
  • panorama
  • estrategia

• Organización ·Interdisciplinaria Spanish LatAm

  LatamGPT (CENIA)

  Modelo abierto entrenado con textos regionales en español, portugués y lenguas indígenas. Proyecto de soberanía con evaluación de seguridad pendiente.

  Format: Presencial (Chile) y abierto Duration: Continuo

  • Chile
  • soberanía
  • modelo abierto

• Comunidad ·Construcción de campo

  European Network for AI Safety (ENAIS)

  Red que conecta investigadores y constructores de campo; colabora con AI Safety México en cursos de gobernanza y en VIGÍA.

  Format: Híbrido Duration: Continuo

  • red
  • gobernanza
  • colaboración

• Programa de investigación ·Técnica LatAm

  Apart Research

  Hackathones de investigación y el programa Apart Lab, con presencia activa en el Sur Global. Coorganiza el Global South AIS Challenge.

  Format: Remoto / híbrido Duration: Varía por convocatoria

  • hackathones
  • Sur Global
  • investigación

• Curso ·General

  BlueDot Impact

  El curso introductorio estándar del campo, con rutas de seguridad técnica, gobernanza de IA de frontera y estrategia de AGI.

  Format: En línea con cohortes Duration: De 2 horas a 5 semanas

  • introducción
  • cohorte
  • gratuito

• Curso ·General

  AI Safety Atlas

  Libro de texto del CeSIA que organiza el conocimiento de AI safety en una narrativa progresiva. Base de varios cursos de AI Safety México.

  Format: En línea Duration: Autogestionado

  • libro de texto
  • autoestudio
  • estructurado

• Curso ·Técnica

  ARENA (Alignment Research Engineer Accelerator)

  Bootcamp intensivo para pasar de programador competente a ingeniero de alineación. Su currículo está disponible de forma abierta.

  Format: Presencial (Londres) y currículo abierto Duration: 4-5 semanas

  • bootcamp
  • transformers
  • currículo abierto

• Curso ·Técnica

  Introduction to ML Safety (CAIS)

  Curso de nivel posgrado del Center for AI Safety sobre robustez, monitoreo, control y seguridad sistémica en aprendizaje automático.

  Format: En línea Duration: 8 semanas

  • robustez
  • monitoreo
  • posgrado

• Curso ·General

  AI Safety, Ethics and Society (AISES)

  Libro y curso del CAIS que cubre pérdida de control, desalineación y uso malicioso con marcos de otras disciplinas de riesgo.

  Format: En línea Duration: Autogestionado

  • ética
  • sociedad
  • libro

• Curso ·Técnica

  ML4Good

  Bootcamp intensivo con proyecto final y sesiones técnicas y de gobernanza. Integrantes de AI Safety México han sido participantes.

  Format: Presencial (varias sedes) Duration: 10 días

  • bootcamp
  • proyecto final
  • presencial

• Curso ·General

  AI Risk Fundamentals (Lens Academy)

  Curso basado en el libro "If Anyone Builds It, Everyone Dies" sobre por qué la superinteligencia podría ser catastrófica y qué hacer.

  Format: En línea Duration: Autogestionado

  • introducción
  • riesgo existencial
  • nuevo

• Curso ·Técnica

  Introduction to AI Safety (Stanford CS120)

  Curso universitario de Stanford sobre los retos técnicos de construir sistemas de IA confiables, éticos y alineados.

  Format: En línea (material abierto) Duration: Un semestre

  • universitario
  • Stanford
  • material abierto

• Curso ·Técnica

  Language Models and Intelligent Agentic Systems

  Serie de lecciones de Meridian sobre cómo se construyen los sistemas de modelos de lenguaje, para entender y anticipar su comportamiento.

  Format: En línea Duration: 16 clases

  • LLM
  • agentes
  • clases grabadas

• Curso ·Técnica

  UChicago XLab AI Security Guide

  Guía en cinco secciones sobre ejemplos adversarios, jailbreaking, manipulación de modelos, envenenamiento de datos y extracción de información.

  Format: En línea Duration: Autogestionado

  • seguridad
  • adversarial
  • jailbreaks

• Curso ·Interdisciplinaria

  Introduction to Cooperative AI

  Introducción al campo de la IA cooperativa, centrado en mejorar la inteligencia cooperativa de sistemas avanzados.

  Format: En línea Duration: Autogestionado

  • cooperación
  • teoría de juegos
  • multiagente

• Curso ·Técnica

  Agent Foundations for Superintelligence-Robust Alignment

  Guía a la corriente que busca alineación con garantías teóricas capaces de escalar hasta la superinteligencia.

  Format: En línea Duration: Autogestionado

  • fundamentos de agencia
  • teoría
  • avanzado

• Curso ·General

  Reading What We Can

  Colección de libros y artículos organizados como reto de lectura: bases de AI safety, ingeniería de ML y ciencia ficción relevante.

  Format: En línea Duration: Reto de 20 días

  • lecturas
  • reto
  • autoestudio

• Programa de investigación ·Técnica

  MATS (ML Alignment & Theory Scholars)

  El programa de mentoría más grande del campo: investigación guiada en alineación e interpretabilidad, con beca económica.

  Format: Berkeley y remoto Duration: 10 semanas

  • mentoría
  • interpretabilidad
  • beca

• Programa de investigación ·Mixta LatAm

  SPAR (Supervised Program for Alignment Research)

  Programa remoto de medio tiempo que empareja talento emergente con especialistas. Integrantes de AI Safety México han participado.

  Format: Remoto Duration: 3 meses (medio tiempo)

  • remoto
  • medio tiempo
  • mentoría

• Programa de investigación ·Técnica

  LASR Labs

  Equipos de tres o cuatro personas trabajando a tiempo completo para publicar investigación en seguridad, con beca y apoyo integral.

  Format: Presencial (Londres) Duration: 13 semanas

  • publicación
  • equipo
  • Londres

• Programa de investigación ·Mixta

  Pivotal Research Fellowship

  Investigación a tiempo completo en seguridad, gobernanza o bioseguridad con mentoría, beca, viaje y hospedaje cubiertos.

  Format: Presencial (Londres, sede LISA) Duration: 9 semanas + extensiones

  • beca completa
  • bioseguridad
  • LISA

• Programa de investigación ·Técnica

  MARS (Cambridge AI Safety Hub)

  Mentoría estructurada para estudiantes en proyectos de alineación. Antes en alignmentmentorship.com, ahora alojado en caish.org.

  Format: Remoto Duration: 2-3 meses

  • estudiantes
  • mentoría
  • remoto

• Programa de investigación ·Técnica

  AI Safety Camp

  Colabora con líderes de proyecto para producir investigación publicable en alineación. Formato accesible para primeras contribuciones.

  Format: Remoto y presencial Duration: Por proyecto

  • proyectos
  • accesible
  • colaboración

• Programa de investigación ·Técnica

  Algoverse AI Safety Fellowship

  Equipos pequeños con mentores de Apollo, FAR AI y MATS, orientados a publicar en conferencias de aprendizaje automático.

  Format: Remoto Duration: 12 semanas

  • publicación
  • equipo
  • remoto

• Programa de investigación ·Interdisciplinaria

  PrincInt Fellowship (antes PIBBSS)

  Investigación que aplica neurociencia, biología evolutiva, sistemas dinámicos y filosofía a la seguridad en IA. PIBBSS ahora es Principles of Intelligence.

  Format: Presencial (Ciudad del Cabo) Duration: 3 meses

  • interdisciplinaria
  • doctorado
  • Sur Global

• Programa de investigación ·Técnica

  Constellation

  Centro de investigación en Berkeley con programas de residencia e investigadores visitantes; opera el espacio de los Anthropic Fellows.

  Format: Presencial (Berkeley) Duration: Varía por programa

  • Berkeley
  • residencia
  • centro

• Programa de investigación ·Técnica

  Anthropic Fellows Program

  Financiamiento y mentoría de Anthropic para un proyecto empírico con resultado público. Convocatoria continua por cohortes.

  Format: Remoto (EE. UU., Reino Unido, Canadá) Duration: 4 meses

  • Anthropic
  • empírico
  • cohortes

• Programa de investigación ·Mixta

  SteadRise (antes Impact Academy)

  Ruta directa al campo para profesionales con experiencia en investigación, ingeniería, política y advocacy. Impact Academy se renombró SteadRise.

  Format: Remoto / híbrido Duration: 3-6 meses

  • profesionales
  • colocación
  • internacional

• Programa de investigación ·Mixta

  ERA Fellowship (Cambridge)

  Investigación de verano sobre riesgos existenciales y gobernanza de IA, con mentoría y beca en la Universidad de Cambridge.

  Format: Presencial (Cambridge) Duration: 8-9 semanas

  • Cambridge
  • verano
  • riesgo existencial

• Fellowship de política ·Gobernanza

  GovAI: oportunidades y fellowships

  Fellowships de verano e invierno del Centre for the Governance of AI, con mentoría doble y seminarios de investigación.

  Format: Presencial (Oxford) y remoto Duration: 3 meses

  • gobernanza
  • mentoría
  • Oxford

• Fellowship de política ·Gobernanza

  Horizon Fellowship

  Colocaciones en oficinas de gobierno, comités del Congreso y centros de pensamiento de Estados Unidos sobre tecnologías emergentes.

  Format: Presencial (Washington D. C.) Duration: 6-24 meses

  • gobierno
  • Estados Unidos
  • colocación

• Fellowship de política ·Gobernanza

  IAPS (Institute for AI Policy and Strategy)

  Proyectos de investigación sobre gobernanza de modelos de frontera, con acompañamiento y acceso a la red de política de IA.

  Format: Washington D. C. y remoto Duration: 3 meses

  • modelos de frontera
  • política
  • investigación

• Fellowship de política ·Gobernanza

  Talos Network

  Curso de fundamentos, cumbre en Bruselas y colocación remunerada en organizaciones europeas de política de IA.

  Format: Bruselas y remoto Duration: 7 meses

  • Unión Europea
  • colocación
  • beca

• Fellowship de política ·Comunicación

  Tarbell Fellowship

  Periodismo especializado en IA con beca y colocación en una redacción. El programa ahora opera bajo el Tarbell Center.

  Format: Presencial (redacciones) Duration: 1 año

  • periodismo
  • divulgación
  • beca

• Fellowship de política ·Gobernanza

  Institute for Law & AI

  Programas de verano en derecho y política de IA, con vertientes estadounidense y europea y una semana intensiva presencial.

  Format: Remoto con semanas presenciales Duration: 8-12 semanas

  • derecho
  • Europa
  • Estados Unidos

• Fellowship de política ·Gobernanza

  RAND: Global and Emerging Risks

  Investigación sobre seguridad y tecnologías emergentes en RAND, incluido su centro de seguridad de la IA y programas de fellows.

  Format: Presencial y remoto Duration: 1-3 años

  • seguridad nacional
  • centro de pensamiento
  • investigación

• Agenda de investigación ·Gobernanza técnica

  Open Problems in Technical AI Governance

  Mapa de problemas abiertos donde herramientas técnicas pueden habilitar la gobernanza: evaluaciones, verificación y cómputo.

  Format: Lectura (arXiv) Duration: Problemas abiertos

  • evaluaciones
  • gobernanza técnica
  • agenda

• Agenda de investigación ·Técnica

  Open Problems in Mechanistic Interpretability

  Revisión colectiva de los problemas abiertos que definen la agenda de interpretabilidad mecanicista y sus retos conceptuales.

  Format: Lectura (arXiv) Duration: Problemas abiertos

  • interpretabilidad
  • agenda
  • revisión

• Agenda de investigación ·Técnica

  Foundational Challenges in Assuring Alignment and Safety of LLMs

  Doscientas preguntas de investigación sobre los retos fundamentales para asegurar la alineación y seguridad de modelos de lenguaje.

  Format: Lectura (arXiv) Duration: Problemas abiertos

  • LLM
  • agenda
  • colaborativo

• Agenda de investigación ·Gobernanza

  GovAI: investigación

  Publicaciones y líneas de investigación del Centre for the Governance of AI, útiles para identificar preguntas de política pendientes.

  Format: Lectura Duration: Referencia permanente

  • política
  • publicaciones
  • agenda

• Organización ·Gobernanza técnica

  METR (Model Evaluation & Threat Research)

  Desarrolla y ejecuta evaluaciones de capacidades peligrosas, incluida la autonomía y la capacidad de hacer investigación en IA.

  Format: Remoto / Berkeley Duration: Continuo

  • evaluaciones
  • capacidades
  • referencia

• Organización ·Técnica

  Redwood Research

  Investigación sobre control de IA y simulación de alineación; también asesora a gobiernos y empresas en prácticas de seguridad.

  Format: Presencial (Berkeley) Duration: Continuo

  • control de IA
  • investigación
  • asesoría

• Organización ·Técnica

  Center for AI Safety (CAIS)

  Investigación técnica, construcción de campo y promoción de estándares de seguridad. Publica el boletín de referencia del sector.

  Format: Presencial (San Francisco) y remoto Duration: Continuo

  • investigación
  • estándares
  • campo

• Organización ·Gobernanza técnica

  UK AI Security Institute (AISI)

  Instituto gubernamental que evalúa modelos de frontera y publica metodologías de evaluación reutilizables por otros países.

  Format: Presencial (Reino Unido) Duration: Continuo

  • gobierno
  • evaluaciones
  • modelo institucional

• Carrera y empleo ·General

  80,000 Hours: bolsa de trabajo

  Vacantes de alto impacto en investigación, política y operaciones, con filtros por causa, ubicación y nivel de experiencia.

  Format: En línea Duration: Continuo

  • empleos
  • vacantes
  • filtros

• Carrera y empleo ·General

  Successif

  Mentoría de carrera para profesionales de media y alta trayectoria que quieren reorientarse hacia trabajo en seguridad en IA.

  Format: En línea Duration: Acompañamiento

  • mentoría
  • transición
  • profesionales

• Financiamiento ·General

  Long-Term Future Fund

  Financia proyectos individuales y de grupos pequeños en seguridad en IA, incluidos periodos de estudio y de investigación independiente.

  Format: En línea Duration: Convocatoria abierta

  • becas
  • individual
  • flexible

• Financiamiento ·General

  grantmaking.ai

  Base pública de proyectos de seguridad en IA que buscan financiamiento, con evaluaciones comunitarias para coordinar donantes.

  Format: En línea Duration: Rondas periódicas

  • transparencia
  • donantes
  • nuevo

• Boletines y medios ·General

  AI Safety Newsletter (CAIS)

  Resumen semanal de los desarrollos más relevantes en seguridad en IA, escrito para audiencias técnicas y no técnicas.

  Format: Correo electrónico Duration: Semanal

  • boletín
  • semanal
  • panorama

• Boletines y medios ·Comunicación

  Transformer

  Periodismo independiente sobre la industria de la IA y sus implicaciones de política, con reportería original.

  Format: Correo electrónico y web Duration: Varias veces por semana

  • periodismo
  • política
  • industria

• Boletines y medios ·General

  Don't Worry About the Vase

  Análisis exhaustivo de Zvi Mowshowitz sobre novedades en IA; el registro más completo semana a semana del campo.

  Format: Boletín Duration: Semanal

  • análisis
  • profundidad
  • seguimiento

• Boletines y medios ·General

  Import AI

  Boletín de Jack Clark que conecta avances técnicos de investigación con sus consecuencias de política y gobernanza.

  Format: Correo electrónico Duration: Semanal

  • boletín
  • investigación
  • política

• Boletines y medios ·Gobernanza

  AI Lab Watch

  Seguimiento comparado de las prácticas y compromisos de seguridad de los laboratorios de IA de frontera.

  Format: En línea Duration: Actualización continua

  • rendición de cuentas
  • comparativo
  • laboratorios

• Boletines y medios ·Gobernanza

  ControlAI

  Organización de advocacy con boletín y materiales divulgativos sobre riesgos de la IA avanzada dirigidos a tomadores de decisión.

  Format: En línea y correo electrónico Duration: Continuo

  • advocacy
  • divulgación
  • boletín