Microsoft da voz y visión a Copilot en el mayor rediseño jamás realizado

Microsoft anunció hoy una importante revisión de la experiencia Copilot, agregando capacidades de voz y visión para transformarla en un asistente de IA más personalizado. Como revelé en exclusiva, bloc de notas boletín de la semana pasadaLas nuevas funciones de Copilot incluyen un modo de presentador de noticias virtual que lee los titulares en voz alta, la capacidad de Copilot de ver lo que estás viendo y capacidades de voz que te permiten hablar con Copilot de forma natural, como OpenAI. Modo de voz avanzado.

Copilot ha sido rediseñado en dispositivos móviles, web y una aplicación de Windows dedicada para estar más basado en tarjetas y tener una experiencia de usuario muy similar al trabajo que ha estado haciendo Inflection AI. pi Asistente de IA personalizado. Microsoft contrató a mucha gente Entre los miembros que se unieron desde Inflection AI a principios de este año se encuentra el cofundador de Google DeepMind, Mustafa Suleyman, quien actualmente es el director ejecutivo de Microsoft AI. Este es el primer cambio importante en Copilot desde que Suleyman se hizo cargo del lado del consumidor del asistente de IA.

“En Microsoft AI, estamos creando un compañero de IA para todos”, dijo Suleyman en la carta abierta de hoy. “Realmente creo que podemos crear una era de tecnología que sea completamente diferente a todo lo que hayamos visto antes, más amable, más útil y más colaborativa”.

Copilot no se parece a nada que hayamos visto antes en Microsoft y tiene una interfaz muy diferente a todo lo que existe hoy. Es mucho más cálido, con una página Copilot Discover personalizada que es más útil y atractiva que el mensaje de entrada de texto de un chatbot. Microsoft personaliza toda esta página de inicio de Copilot en función de su historial de conversaciones y, con el tiempo, incluirá búsquedas útiles, consejos e información relacionada.

Microsoft dividió la versión para consumidores de Copilot en el equipo de Suleiman a principios de este año, lo que claramente permitió a la empresa experimentar más con la personalidad y la personalización. “Con el equipo de Pi [Inflection AI] Las personas que han estado aquí siempre han prestado mucha atención a las necesidades de los clientes”, dijo en una entrevista Yusuf Mehdi, vicepresidente ejecutivo y director de marketing de consumo de Microsoft. El borde. “La forma en que escucharon y lo que aprendieron de esas largas conversaciones durante su investigación ciertamente ha influido en lo que hemos hecho aquí. “

Más allá de la apariencia de este nuevo Copilot, Microsoft está ampliando su visión de un compañero de IA para todos al agregar capacidades de voz muy similares a las que OpenAI trajo a ChatGPT. Ahora puedes chatear, hacer preguntas e interrumpir a tu asistente de IA como lo harías con un amigo o colega. Copilot tiene cuatro opciones de voz y recomendamos seleccionar una la primera vez que utilice esta experiencia Copilot actualizada.

“Estamos haciendo una gran apuesta por la voz”, afirma Mehdi. “Cuando lo usas de la forma en que lo diseñamos, realmente puedes liberarte e iniciar una conversación, de modo que la IA realmente pueda ayudarte, con una visión de lo que puedes ver si quieres. Veremos dónde. vamos hacia el largo plazo”.

Copilot Vision es la segunda gran apuesta de Microsoft en este rediseño, permitiendo a su asistente de IA ver lo que ves en las páginas web que estás viendo. Puede hacer preguntas sobre el texto, las imágenes y el contenido que está viendo y, cuando se combina con la nueva función Copilot Voice, responde de forma natural. Utilice esta función para buscar recomendaciones de productos mientras compra en la web y Copilot le ayudará a encontrar diferentes opciones.

Las sesiones de Copilot Vision son voluntarias y temporales, y Microsoft dice que el contenido que involucra a Copilot Vision no se guarda ni se usa para capacitación. Microsoft ha impuesto límites a los tipos de sitios web con los que trabaja Copilot Vision, por lo que esta nueva experiencia aún no funciona en todos los sitios web. “Comenzamos con una lista limitada de sitios web populares para mantener a todos seguros”, dice el equipo de Copilot. Durante la vista previa, Copilot Vision tampoco funciona con contenido confidencial protegido por un muro de pago.

A pesar del descargo de responsabilidad, está claro que Microsoft tiene una visión a largo plazo para estas nuevas funciones de voz y visión en Copilot. Una demostración muestra cómo se puede utilizar Copilot Vision para mirar fotografías de antiguas recetas escritas a mano, explicar qué es la comida y dar pistas sobre cuánto tiempo llevará preparar la receta. Microsoft ha demostrado Brindamos una experiencia asistida similar en juegos de Xbox a principios de este año, mostrando cómo Copilot puede ayudar con la navegación en el juego. minecraft.

Esta siguiente fase de Copilot también incluye Copilot Daily, un resumen en audio de noticias y clima que Copilot lee como si fuera un presentador de CNN. Está diseñado como un clip corto que puedes escuchar por la mañana y solo utiliza contenido de proveedores de noticias y clima que han dado permiso a Copilot para usar su contenido. Microsoft está colaborando ReutersAxel Springer, Hearst y tiempos financieros Inicialmente, planeamos agregar más fuentes con el tiempo.

Copilot también puede manejar preguntas más complejas gracias a los últimos modelos de OpenAI. Think Deeper es una nueva función de Copilot que permite a su asistente responder más rápidamente y brindar respuestas paso a paso a preguntas complejas. Esto está diseñado para funcionar mejor cuando intentas comparar dos opciones una al lado de la otra, por ejemplo, “¿Debería mudarme a Nueva York o San Francisco?”

Think Deeper aún se encuentra en una fase inicial de desarrollo y Microsoft lo llevará a Copilot Labs. Esta es una nueva forma para que la empresa pruebe las funciones experimentales que está desarrollando. Copilot Vision también será inicialmente parte de la función Labs y los participantes podrán brindar comentarios sobre su experiencia. Microsoft claramente está adoptando un enfoque cauteloso con respecto a Copilot Vision luego de la reacción violenta por los problemas de seguridad y privacidad en el retiro inicial. Microsoft reveló lo siguiente la semana pasada: Los retiros se han revisado por completo y se ha reforzado la seguridad. También hay opciones de privacidad que le permiten desinstalar la función por completo o nunca activarla en primer lugar.

Esta experiencia Copilot actualizada está disponible a partir de hoy en aplicaciones móviles de iOS y Android, y en la web. copiloto.microsoft.coma través de la aplicación Copilot para Windows. Copilot Voice estará disponible inicialmente en inglés en Australia, Canadá, Nueva Zelanda, el Reino Unido y EE. UU., y se expandirá a más regiones e idiomas en el futuro. Copilot Daily se limitará a EE. UU. y el Reino Unido antes de expandirse a otras regiones, y Copilot Vision se limitará a suscriptores selectos de Copilot Pro en EE. UU.

Si eres como yo y te preguntas adónde irá el copiloto a continuación. El nuevo CEO de IA de Microsoft tiene grandes ideas. “Con el tiempo, desarrollamos funciones que se adaptan a los hábitos de los usuarios y se construyen en torno a sus preferencias y necesidades. No estamos creando herramientas estáticas, sino dinámicas y emergentes. Estamos estableciendo una interacción específica y en evolución”, dice Suleiman. “Acompaña las citas médicas, toma notas y haz un seguimiento oportuno. Distribuye la carga de planificar y preparar la fiesta de cumpleaños de tu hijo. Y al final del día, te ayudará a tomar las decisiones difíciles de la vida”. Piensa con cuidado”.