Deepfakes y fraudes con IA: la nueva amenaza a la ciberseguridad empresarial | Entrevista exclusiva
En esta entrevista exclusiva conversamos con Isaac Castejón, experto en inteligencia artificial y emprendimiento, sobre los crecientes peligros de los deepfakes. Siga leyendo.
¿Alguna vez ha visto un video que parece completamente real, pero algo simplemente no encaja? Tal vez el movimiento de los labios no coincide del todo con la voz, o hay un brillo extraño en la mirada. Es posible que se haya topado con un deepfake: una de las aplicaciones más inquietantes de la inteligencia artificial, capaz de recrear rostros, voces y gestos humanos con una fidelidad cada vez más difícil de detectar.
Le puede interesar: Ojo, DIAN modifica plazos para entregar información exógena de 2024: revise si aplica en su caso
Lo que comenzó como una curiosidad tecnológica hoy representa una amenaza real para la ciberseguridad. Estafadores están utilizando deepfakes para suplantar la identidad de ejecutivos, manipular reuniones virtuales y engañar a empleados para que transfieran millones de dólares.
Lo preocupante es que, mientras se desarrollan herramientas para detectar estos fraudes, los criminales también perfeccionan sus técnicas para evadirlas. La línea entre lo verdadero y lo falso nunca ha sido tan delgada.
En esta entrevista exploramos el tema con Isaac Castejón, fundador de Castleberry Media y NewBrain Ventures y experto en marketing digital, inteligencia artificial y emprendimiento.
1. ¿Cómo están respondiendo los criminales al desarrollo de herramientas de detección de deepfakes? ¿Estamos entrando en una carrera armamentista entre atacantes y defensores?
Definitivamente estamos en una carrera armamentista, pero siempre la hemos tenido. Los criminales están constantemente refinando sus técnicas para evadir la detección. Cuando surge una herramienta que detecta ciertos patrones en deepfakes, los estafadores rápidamente adaptan su tecnología para superar estas barreras.
Están utilizando técnicas como el “adversarial learning”, donde sus sistemas de IA aprenden específicamente a engañar a los detectores existentes. Lo más preocupante es que están creando deepfakes “híbridos” que combinan elementos reales y artificiales, haciendo que la línea entre lo auténtico y lo falso sea cada vez más difusa.
2. En su experiencia, ¿cuál es el mayor “punto ciego” de las empresas colombianas frente a fraudes potenciados por IA? ¿Qué no están viendo o subestimando?
El mayor punto ciego es la confianza excesiva en los sistemas de verificación visual. Muchas empresas colombianas siguen dependiendo de la revisión humana de documentos, firmas o identificaciones, sin comprender que el ojo humano ya no es suficiente ante las falsificaciones generadas por inteligencia artificial.
Otro punto ciego crítico es la falta de protocolos de verificación “offline”. La mayoría de las compañías aún confían en un solo canal de comunicación para autorizar transacciones importantes, lo que las hace vulnerables a suplantaciones sofisticadas de ejecutivos o proveedores.
3. ¿Qué papel juega el sesgo humano en la confianza digital y cómo lo están explotando hoy los estafadores que usan IA?
Los sesgos son los de siempre, eso no ha cambiado. Los estafadores están aprovechando mucho la autoridad y la urgencia. La IA les permite crear escenarios hiperpersonalizados que explotan estos sesgos a niveles nunca vistos. Por ejemplo, pueden generar correos o llamadas que simulan perfectamente a un superior jerárquico solicitando una acción urgente, activando tanto nuestro sesgo de obediencia a la autoridad como nuestro sesgo de disponibilidad frente a la urgencia.
4. En entornos donde los recursos son limitados, ¿cuándo es más costoso no invertir en ciberseguridad? ¿Puede dar un ejemplo de una empresa que aprendió esto por las malas?
No invertir en ciberseguridad siempre resulta costoso. Uno de los grandes problemas es que las empresas suelen medir el impacto únicamente en términos financieros. Sin embargo, no consideran el impacto reputacional, que puede llevar a la pérdida de confianza de los clientes y requerir años para recuperarse.
En la mayoría de los fraudes realizados con Inteligencia artificial vemos que el entrenamiento del personal para detectarlos y los cambios en las políticas de aprobaciones son suficiente para mitigar los riesgos. No se trata de comprar un software de ciberseguridad, se trata de adaptar el comportamiento de la empresa a la nueva realidad.
Por ejemplo, una empresa de servicios financieros en Hong Kong fue víctima de un fraude de $25 millones mediante la implementación de deepfakes en videoconferencias. Los estafadores utilizaron IA para crear réplicas convincentes de altos ejecutivos de la compañía en una supuesta reunión virtual, engañando a un empleado para que realizara transferencias a cuentas fraudulentas. Si la empresa hubiese aplicado un proceso de doble verificación de la transacción, la pérdida no hubiese ocurrido.
También le puede interesar: Corrupción en el Fomag: nuevos avances en la investigación por el caso del ‘laberinto de la salud’
5. ¿Estamos ante el fin de la prueba visual como mecanismo de verificación? ¿Qué vendría a reemplazarla?
Definitivamente la prueba visual ya no basta como único mecanismo de verificación. Lo que veremos es un cambio hacia sistemas de verificación múltiples que analiza patrones del comportamiento histórico, y sobre todo, protocolos que requieren confirmación por canales completamente separados.
6. Muchos fraudes apelan al miedo, la urgencia o la autoridad. ¿Cómo podrían las empresas entrenar a sus equipos para reconocer estos patrones sin caer en la paranoia?
Las empresas deben crear una cultura de “pausa estratégica” frente a la urgencia. Esto significa entrenar a los equipos para reconocer conscientemente cuando se sienten presionados por tiempo o autoridad, y tomar un momento para verificar.
Una técnica efectiva es establecer protocolos claros para situaciones de alta presión, como la regla de “las tres verificaciones” para cualquier transacción urgente. También es fundamental normalizar el cuestionamiento saludable, donde los empleados se sientan seguros preguntando y verificando sin temor a represalias, sobre todo cuando la solicitud viene de un alto ejecutivo.
7. ¿Cuál es la responsabilidad ética de las empresas que desarrollan modelos de IA que podrían ser mal utilizados en fraudes? ¿Están haciendo lo suficiente?
Las empresas que desarrollan los modelos grandes de IA tienen una responsabilidad inmensa. El problema es que no siempre es tan sencillo controlar los modelos y establecer perfectamente los parámetros.
La mayoría hace un esfuerzo grande para limitar el mal uso de la IA, pero todos sabemos que siempre hay personas que buscan aprovechar las vulnerabilidades de estos sistemas para explotarlos. El otro factor es que, así las grandes empresas de IA logren controlar muy bien sus modelos, siempre existirán los modelos de código abierto que se pueden modificar y correr en servidores privados.
8. ¿Se ha planteado la necesidad de crear una “huella digital” certificada para audios, imágenes o videos que provienen de fuentes legítimas? ¿Qué tan viable sería esa solución en Colombia?
Sí, se ha planteado usar blockchain y es una idea interesante, similar a un sello digital de autenticidad. Técnicamente, es posible implementar sistemas que firmen digitalmente el contenido multimedia en su origen.
La viabilidad en Colombia, como en muchos lugares, dependerá de la adopción, la creación de estándares y la infraestructura para verificar estas “huellas”. El mayor obstáculo no es tecnológico sino de adopción y estandarización.
Para ser efectiva, requeriría la participación coordinada de entidades públicas y privadas, con un marco regulatorio claro. Colombia tiene la capacidad técnica para implementarlo, pero necesitaríamos avanzar en la alfabetización digital y establecer incentivos claros para la adopción.
9. ¿Cómo ve el rol de la inteligencia artificial en la defensa contra fraudes? ¿Puede la misma tecnología que los impulsa convertirse en su mejor antídoto?
Así como la IA potencia fraudes más sofisticados, también es nuestra mejor herramienta para combatirlos. La IA puede analizar enormes cantidades de datos en tiempo real para detectar patrones irregulares que un humano jamás podría identificar. La clave está en que nuestros sistemas aprendan y evolucionen proactivamente, anticipándose a las nuevas técnicas de los estafadores.
10. ¿Qué señales debería monitorear un CEO o gerente financiero para detectar que su empresa podría estar siendo atacada sin saberlo?
Hay varias señales clave que deberían levantar alarmas:
- Solicitudes inusuales de información sensible, especialmente bajo pretextos de urgencia.
- Patrones anómalos en las comunicaciones internas, como cambios sutiles en el estilo de escritura o en los protocolos habituales de comunicación.
- Accesos a sistemas en horarios atípicos o desde ubicaciones inusuales.
- Pequeñas discrepancias en documentación financiera que parecen errores menores pero son consistentes.
- Aumento de gastos sutiles y recurrentes que tienen explicaciones muy básicas.
