Intenta añadiendo en el prompt validaciones como "La conversación debe ser siempre en español". También puede depender mucho del proveedor de voces que estés usando. 11labs funciona muy bien en español. Otra posibilidad es que las frases que dice en inglés sean las frases que tiene VAPI para verificar si la persona sigue en la llamada, estas frases por el momento solo están en inglés, por lo que se recomienda no usar esta función o subir mucho el tiempo de espera para que no se active.