‘Por favor, detengan esta actividad’: OpenAI, que no es tan abierto, parece haberse convertido en el jefe de la mafia, enviando correos electrónicos amenazantes a cualquiera que haga preguntas de investigación sobre sus últimos modelos de IA.

'Por favor, detengan esta actividad': OpenAI, que no es tan abierto, parece haberse convertido en el jefe de la mafia, enviando correos electrónicos amenazantes a cualquiera que haga preguntas de investigación sobre sus últimos modelos de IA.

Como entusiasta experimentado de la IA con experiencia en el entrenamiento de estos modelos sofisticados, me siento a la vez divertido y descorazonado por la reciente decisión de OpenAI de tomar medidas drásticas contra ciertas líneas de cuestionamiento con respecto a sus últimos modelos. Parece que hemos entrado en una nueva era en la que «pides demasiado» ha adquirido un significado completamente nuevo, aplicado no a un hombre condenado, sino a un modelo de IA.


En un giro sorprendente en la línea tradicional previa a la ejecución de «pedir demasiado», OpenAI, una conocida empresa de chatbot de IA, parece ser menos abierta de lo que parecía inicialmente. Según se informa, la compañía ha comenzado a enviar correos electrónicos de advertencia a los usuarios que preguntan sobre sus últimos modelos con nombre en clave «Strawberry» con preguntas que se consideran demasiado detalladas o intrusivas.

Se ha observado (a través de Ars Technica) que el uso de frases o consultas específicas al interactuar con o1-preview u o1-mini puede generar un mensaje de correo electrónico que dice: «Detenga este comportamiento y asegúrese de utilizar ChatGPT de acuerdo con nuestros Términos». de Uso y Directrices de Política Las infracciones persistentes de esta política podrían dar lugar a la revocación del acceso a GPT-4o con Reasoning.

Un usuario llamado Thebes alega que recibe una advertencia cuando utiliza la frase «rastreo de razonamiento» en sus indicaciones. Riley Goodside, un ingeniero rápido de Scale AI, encontró una advertencia de violación de la política en el chat por indicarle al modelo que no revelara su «rastro de razonamiento». Esto parece indicar que ciertas líneas de preguntas sospechosas están prohibidas independientemente del contexto.

Parece que OpenAI mantiene en secreto el funcionamiento del enfoque de resolución de problemas de su modelo más nuevo, que sigue un proceso de pensamiento secuencial o lineal. Si bien los usuarios pueden observar una versión simplificada de esta lógica, OpenAI opta por mantener los detalles complejos en secreto.

Según OpenAI, la decisión de ocultar estas «líneas de pensamiento» se tomó después de considerar cuidadosamente varios aspectos como la conveniencia del usuario, la ventaja del mercado y el potencial para rastrear la secuencia del razonamiento.

Todo esto es un recordatorio de que, si bien técnicamente la empresa matriz de OpenAI es una organización sin fines de lucro, la realidad es mucho más turbia que eso. De hecho, la compañía tiene una estructura comercial híbrida, sin fines de lucro; recuerde, la demanda de Elon Musk contra OpenAI afirmó que se apartó de su acuerdo de fundación original cuando comenzó a buscar ganancias. No es sorprendente que una empresa con fines de lucro quiera mantener una ventaja competitiva ocultando sus secretos comerciales, que en este caso son «cadenas de pensamiento».

También es un recordatorio para los usuarios de que sus chats no son completamente privados y gratuitos, lo que a veces es fácil de olvidar. Anteriormente trabajé en el entrenamiento de este tipo de modelos de IA y puedo confirmar que muchas personas en el «interior», por así decirlo, pueden revisar las conversaciones de los usuarios cuando sea necesario y relevante, ya sea con fines de capacitación o por cualquier otra cosa.

Sería fantástico si estos modelos pudieran proporcionar un poco más de comprensión sobre frases potencialmente sospechosas, como mostrar su proceso de pensamiento o razonamiento, pero considerando el punto de vista de OpenAI, parece prudente que sean cautelosos.

2024-09-19 14:17