Preludio de AGI: El avance del modelo Manus y los nuevos desafíos de la Seguridad de la IA
En el campo de la inteligencia artificial, el modelo Manus ha logrado recientemente avances significativos, alcanzando un nivel de vanguardia en las pruebas de referencia GAIA, superando incluso el rendimiento de modelos de lenguaje de gran tamaño en su misma categoría. Esto significa que Manus puede llevar a cabo de manera independiente tareas complejas como negociaciones comerciales transnacionales, involucrando múltiples etapas como análisis de contratos, predicción estratégica y formulación de planes, e incluso puede coordinar equipos legales y financieros.
Las ventajas de Manus se reflejan principalmente en tres aspectos: la capacidad de descomposición dinámica de objetivos, la capacidad de inferencia multimodal y la capacidad de aprendizaje mejorado por memoria. Puede descomponer tareas grandes en cientos de subtareas ejecutables, al mismo tiempo que maneja múltiples tipos de datos, y mejora continuamente su eficiencia de decisión y reduce la tasa de errores a través del aprendizaje por refuerzo.
El progreso de Manus ha vuelto a generar discusiones en la industria sobre la trayectoria del desarrollo de la IA: ¿aparecerá en el futuro una inteligencia artificial general unificada (AGI), o será dominada por sistemas de múltiples agentes (MAS)? Esta cuestión involucra la filosofía central del diseño de Manus, insinuando dos posibles direcciones de desarrollo:
Ruta AGI: A través de la mejora continua de las capacidades de un único sistema inteligente, acercándolo gradualmente al nivel de toma de decisiones integral de los humanos.
Ruta MAS: usar Manus como un supercoordinador, dirigiendo a miles de agentes inteligentes en diferentes campos para trabajar en conjunto.
En la superficie, se trata de una discusión sobre la ruta técnica, pero en esencia refleja la contradicción fundamental en el desarrollo de la IA: ¿cómo lograr un equilibrio entre la eficiencia y la seguridad? A medida que un sistema de inteligencia única se acerca cada vez más a AGI, también aumenta el riesgo de falta de transparencia en su proceso de toma de decisiones. Aunque la colaboración de múltiples agentes puede dispersar el riesgo, puede perder oportunidades clave de decisión debido a la latencia en la comunicación.
El desarrollo de Manus ha amplificado sin querer los riesgos inherentes de la IA. Por ejemplo, en el contexto médico, necesita acceder en tiempo real a los datos genómicos de los pacientes; en las negociaciones financieras, puede involucrar información financiera no divulgada de las empresas. Además, existe el problema de sesgo algorítmico, como en las negociaciones de contratación, donde puede ofrecer recomendaciones salariales injustas para ciertos grupos, o una alta tasa de error en la revisión de cláusulas de industrias emergentes en contratos legales. Más grave aún, Manus puede tener vulnerabilidades a ataques adversariales, donde los hackers podrían engañar su juicio de negociación al implantar frecuencias de audio específicas.
Esto destaca una dura realidad de los sistemas de IA: cuanto mayor es el nivel de inteligencia, mayor es la superficie de ataque potencial.
En el ámbito de Web3, la seguridad siempre ha sido un tema central. Basado en la teoría del "triángulo imposible" propuesta por Vitalik Buterin (las redes blockchain no pueden lograr simultáneamente seguridad, descentralización y escalabilidad), han surgido diversas tecnologías criptográficas:
Modelo de seguridad de cero confianza: enfatiza el principio de "nunca confiar, siempre verificar", realizando una estricta autenticación y autorización para cada solicitud de acceso.
Identidad descentralizada (DID): un nuevo estándar de identidad digital descentralizada que permite la verificación de identidad sin necesidad de un registro centralizado.
Encriptación totalmente homomórfica (FHE): permite realizar cálculos sobre datos en estado cifrado, sin necesidad de descifrar para operar con los datos.
Entre ellos, la criptografía de homomorfismo total, como la tecnología de cifrado más reciente, se considera clave para resolver los problemas de seguridad en la era de la IA.
Para los desafíos de seguridad de sistemas de IA como Manus, FHE ofrece soluciones en múltiples niveles:
Capa de datos: toda la información ingresada por el usuario (incluidas las características biométricas, la voz, etc.) se procesa en estado cifrado, incluso el propio sistema de IA no puede descifrar los datos originales.
A nivel de algoritmo: implementar "entrenamiento de modelos cifrados" a través de FHE, de modo que incluso los desarrolladores no puedan observar directamente el proceso de decisión de la IA.
Nivel de colaboración: La comunicación entre múltiples agentes inteligentes utiliza cifrado umbral, de modo que incluso si un nodo individual es comprometido, no se producirá una filtración de datos global.
Aunque la tecnología de seguridad de Web3 puede parecer lejana para los usuarios comunes, está estrechamente relacionada con los intereses de todos. En este mundo digital lleno de desafíos, es difícil escapar de los riesgos de seguridad de la información sin tomar medidas de defensa activamente.
En el ámbito de la identidad descentralizada, el proyecto uPort se lanzó en la mainnet de Ethereum en 2017. En cuanto al modelo de seguridad de cero confianza, el proyecto NKN lanzó su mainnet en 2019. Por otro lado, Mind Network es el primer proyecto de FHE que se lanzó en la mainnet y ha colaborado con instituciones de renombre como ZAMA, Google y DeepSeek.
A pesar de que los proyectos de seguridad tempranos pueden no haber recibido una atención generalizada, con el rápido desarrollo de la tecnología de IA, la importancia del campo de la seguridad se ha vuelto cada vez más evidente. Vale la pena seguir de cerca si Mind Network podrá romper esta tendencia y convertirse en un líder en el campo de la seguridad.
A medida que la tecnología de IA se acerca continuamente al nivel de inteligencia humana, necesitamos sistemas de defensa avanzados. El valor de FHE no solo radica en resolver problemas actuales, sino también en sentar las bases para la futura era de la IA fuerte. En el camino hacia la AGI, FHE ya no es una opción, sino una condición necesaria para garantizar el desarrollo seguro de la IA.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
8 me gusta
Recompensa
8
4
Compartir
Comentar
0/400
SandwichVictim
· hace12h
¿Esto es de verdad?
Ver originalesResponder0
MEVictim
· hace12h
La Agencia de Profecías - PI
Ver originalesResponder0
ForkMonger
· hace12h
otro vector para la manipulación del sistema... acabo de encontrar nuestra próxima explotación de gobernanza
La ruptura del modelo Manus provoca discusiones sobre AGI, FHE podría ser clave para la Seguridad de la IA.
Preludio de AGI: El avance del modelo Manus y los nuevos desafíos de la Seguridad de la IA
En el campo de la inteligencia artificial, el modelo Manus ha logrado recientemente avances significativos, alcanzando un nivel de vanguardia en las pruebas de referencia GAIA, superando incluso el rendimiento de modelos de lenguaje de gran tamaño en su misma categoría. Esto significa que Manus puede llevar a cabo de manera independiente tareas complejas como negociaciones comerciales transnacionales, involucrando múltiples etapas como análisis de contratos, predicción estratégica y formulación de planes, e incluso puede coordinar equipos legales y financieros.
Las ventajas de Manus se reflejan principalmente en tres aspectos: la capacidad de descomposición dinámica de objetivos, la capacidad de inferencia multimodal y la capacidad de aprendizaje mejorado por memoria. Puede descomponer tareas grandes en cientos de subtareas ejecutables, al mismo tiempo que maneja múltiples tipos de datos, y mejora continuamente su eficiencia de decisión y reduce la tasa de errores a través del aprendizaje por refuerzo.
El progreso de Manus ha vuelto a generar discusiones en la industria sobre la trayectoria del desarrollo de la IA: ¿aparecerá en el futuro una inteligencia artificial general unificada (AGI), o será dominada por sistemas de múltiples agentes (MAS)? Esta cuestión involucra la filosofía central del diseño de Manus, insinuando dos posibles direcciones de desarrollo:
Ruta AGI: A través de la mejora continua de las capacidades de un único sistema inteligente, acercándolo gradualmente al nivel de toma de decisiones integral de los humanos.
Ruta MAS: usar Manus como un supercoordinador, dirigiendo a miles de agentes inteligentes en diferentes campos para trabajar en conjunto.
En la superficie, se trata de una discusión sobre la ruta técnica, pero en esencia refleja la contradicción fundamental en el desarrollo de la IA: ¿cómo lograr un equilibrio entre la eficiencia y la seguridad? A medida que un sistema de inteligencia única se acerca cada vez más a AGI, también aumenta el riesgo de falta de transparencia en su proceso de toma de decisiones. Aunque la colaboración de múltiples agentes puede dispersar el riesgo, puede perder oportunidades clave de decisión debido a la latencia en la comunicación.
El desarrollo de Manus ha amplificado sin querer los riesgos inherentes de la IA. Por ejemplo, en el contexto médico, necesita acceder en tiempo real a los datos genómicos de los pacientes; en las negociaciones financieras, puede involucrar información financiera no divulgada de las empresas. Además, existe el problema de sesgo algorítmico, como en las negociaciones de contratación, donde puede ofrecer recomendaciones salariales injustas para ciertos grupos, o una alta tasa de error en la revisión de cláusulas de industrias emergentes en contratos legales. Más grave aún, Manus puede tener vulnerabilidades a ataques adversariales, donde los hackers podrían engañar su juicio de negociación al implantar frecuencias de audio específicas.
Esto destaca una dura realidad de los sistemas de IA: cuanto mayor es el nivel de inteligencia, mayor es la superficie de ataque potencial.
En el ámbito de Web3, la seguridad siempre ha sido un tema central. Basado en la teoría del "triángulo imposible" propuesta por Vitalik Buterin (las redes blockchain no pueden lograr simultáneamente seguridad, descentralización y escalabilidad), han surgido diversas tecnologías criptográficas:
Entre ellos, la criptografía de homomorfismo total, como la tecnología de cifrado más reciente, se considera clave para resolver los problemas de seguridad en la era de la IA.
Para los desafíos de seguridad de sistemas de IA como Manus, FHE ofrece soluciones en múltiples niveles:
Capa de datos: toda la información ingresada por el usuario (incluidas las características biométricas, la voz, etc.) se procesa en estado cifrado, incluso el propio sistema de IA no puede descifrar los datos originales.
A nivel de algoritmo: implementar "entrenamiento de modelos cifrados" a través de FHE, de modo que incluso los desarrolladores no puedan observar directamente el proceso de decisión de la IA.
Nivel de colaboración: La comunicación entre múltiples agentes inteligentes utiliza cifrado umbral, de modo que incluso si un nodo individual es comprometido, no se producirá una filtración de datos global.
Aunque la tecnología de seguridad de Web3 puede parecer lejana para los usuarios comunes, está estrechamente relacionada con los intereses de todos. En este mundo digital lleno de desafíos, es difícil escapar de los riesgos de seguridad de la información sin tomar medidas de defensa activamente.
En el ámbito de la identidad descentralizada, el proyecto uPort se lanzó en la mainnet de Ethereum en 2017. En cuanto al modelo de seguridad de cero confianza, el proyecto NKN lanzó su mainnet en 2019. Por otro lado, Mind Network es el primer proyecto de FHE que se lanzó en la mainnet y ha colaborado con instituciones de renombre como ZAMA, Google y DeepSeek.
A pesar de que los proyectos de seguridad tempranos pueden no haber recibido una atención generalizada, con el rápido desarrollo de la tecnología de IA, la importancia del campo de la seguridad se ha vuelto cada vez más evidente. Vale la pena seguir de cerca si Mind Network podrá romper esta tendencia y convertirse en un líder en el campo de la seguridad.
A medida que la tecnología de IA se acerca continuamente al nivel de inteligencia humana, necesitamos sistemas de defensa avanzados. El valor de FHE no solo radica en resolver problemas actuales, sino también en sentar las bases para la futura era de la IA fuerte. En el camino hacia la AGI, FHE ya no es una opción, sino una condición necesaria para garantizar el desarrollo seguro de la IA.