Initiate Speech-to-Speech WebRTC Session

curl --request POST \
  --url https://secureai.hiperai.ai/api/external/speech/s2s/webrtc \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "sdp": "v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...",
  "model": "gpt-4o-mini-realtime-preview",
  "voice": "alloy",
  "smltp_policy": "internal",
  "output_audio": true,
  "user_id": "60a7c8f5e8b4f5001f7a8c23",
  "instructions": "You are a helpful customer service agent."
}
'

import requests

url = "https://secureai.hiperai.ai/api/external/speech/s2s/webrtc"

payload = {
    "sdp": "v=0
o=- 4611731400430051336 2 IN IP4 127.0.0.1
s=-
t=0 0
...",
    "model": "gpt-4o-mini-realtime-preview",
    "voice": "alloy",
    "smltp_policy": "internal",
    "output_audio": True,
    "user_id": "60a7c8f5e8b4f5001f7a8c23",
    "instructions": "You are a helpful customer service agent."
}
headers = {
    "Authorization": "Bearer <token>",
    "Content-Type": "application/json"
}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    sdp: 'v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...',
    model: 'gpt-4o-mini-realtime-preview',
    voice: 'alloy',
    smltp_policy: 'internal',
    output_audio: true,
    user_id: '60a7c8f5e8b4f5001f7a8c23',
    instructions: 'You are a helpful customer service agent.'
  })
};

fetch('https://secureai.hiperai.ai/api/external/speech/s2s/webrtc', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

"v=0\r\no=- 1234567890 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n..."

Modelos y Generación AI

Sesión WebRTC Speech-to-Speech

Establishes a WebRTC connection for real-time speech-to-speech conversations using OpenAI Realtime API. This endpoint accepts a WebRTC SDP offer and returns an SDP answer that can be used to establish a peer connection with OpenAI’s Realtime API.

Usage Flow:

Client creates a WebRTC offer (RTCPeerConnection.createOffer)
Client sends the SDP offer to this endpoint
This endpoint proxies the offer to OpenAI Realtime API
Client receives SDP answer and establishes WebRTC connection
Client can then have real-time voice conversations with the AI

S2S Time Tracking:

Each user has a monthly S2S time quota based on their license
Time is tracked in minutes and deducted when sessions are logged
Use /speech/s2s/status to check remaining time
Use /speech/s2s/log-session to log session duration and deduct time

SMLTP Integration:

All requests are processed through SMLTP for security and compliance
Model validation is enforced based on the specified SMLTP policy
Requests are audited and logged for compliance tracking

POST

speech

s2s

webrtc

Initiate Speech-to-Speech WebRTC Session

curl --request POST \
  --url https://secureai.hiperai.ai/api/external/speech/s2s/webrtc \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "sdp": "v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...",
  "model": "gpt-4o-mini-realtime-preview",
  "voice": "alloy",
  "smltp_policy": "internal",
  "output_audio": true,
  "user_id": "60a7c8f5e8b4f5001f7a8c23",
  "instructions": "You are a helpful customer service agent."
}
'

import requests

url = "https://secureai.hiperai.ai/api/external/speech/s2s/webrtc"

payload = {
    "sdp": "v=0
o=- 4611731400430051336 2 IN IP4 127.0.0.1
s=-
t=0 0
...",
    "model": "gpt-4o-mini-realtime-preview",
    "voice": "alloy",
    "smltp_policy": "internal",
    "output_audio": True,
    "user_id": "60a7c8f5e8b4f5001f7a8c23",
    "instructions": "You are a helpful customer service agent."
}
headers = {
    "Authorization": "Bearer <token>",
    "Content-Type": "application/json"
}

response = requests.post(url, json=payload, headers=headers)

print(response.text)

const options = {
  method: 'POST',
  headers: {Authorization: 'Bearer <token>', 'Content-Type': 'application/json'},
  body: JSON.stringify({
    sdp: 'v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...',
    model: 'gpt-4o-mini-realtime-preview',
    voice: 'alloy',
    smltp_policy: 'internal',
    output_audio: true,
    user_id: '60a7c8f5e8b4f5001f7a8c23',
    instructions: 'You are a helpful customer service agent.'
  })
};

fetch('https://secureai.hiperai.ai/api/external/speech/s2s/webrtc', options)
  .then(res => res.json())
  .then(res => console.log(res))
  .catch(err => console.error(err));

"v=0\r\no=- 1234567890 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n..."

Iniciar sesión WebRTC de voz a voz

Establezca una conexión WebRTC para conversaciones de voz a voz en tiempo real utilizando OpenAI Realtime API.

Endpoint

POST /speech/s2s/webrtc

Descripción

Establece una conexión WebRTC para conversaciones de voz a voz en tiempo real utilizando OpenAI Realtime API. Este endpoint acepta una oferta SDP WebRTC y devuelve una respuesta SDP que se puede utilizar para establecer una conexión entre pares con la API en tiempo real de OpenAI.

Flujo de uso

El cliente crea una oferta WebRTC (RTCPeerConnection.createOffer)
El cliente envía la oferta SDP a este endpoint.
Este endpoint representa la oferta para OpenAI Realtime API
El cliente recibe la respuesta SDP y establece una conexión WebRTC.
Luego, el cliente puede tener conversaciones de voz en tiempo real con la IA.

Seguimiento del tiempo S2S

Cada usuario tiene una cuota de tiempo S2S mensual según su licencia
El tiempo se registra en minutos y se deduce cuando se registran las sesiones.
Utilice /speech/s2s/status para comprobar el tiempo restante
Utilice /speech/s2s/log-session para registrar la duración de la sesión y deducir el tiempo

Integración SMLTP

Todas las solicitudes se procesan a través de SMLTP por motivos de seguridad y cumplimiento.
La validación del modelo se aplica según la política SMLTP especificada.
Las solicitudes se auditan y registran para realizar un seguimiento del cumplimiento.

Autenticación

Requerido: Clave API

Authorization: Bearer sk-your-api-key-here

Cuerpo de solicitud

Parámetro	Tipo	Requerido	Descripción
`sdp`	cadena	Sí	Oferta WebRTC SDP de RTCPeerConnection del cliente
`model`	cadena	No	Modelo OpenAI Realtime (predeterminado: “gpt-4o-mini-realtime-preview”)
`voice`	cadena	No	Voz a utilizar para la respuesta de IA (predeterminado: “aleación”)
`smltp_policy`	cadena	No	Política SMLTP (predeterminada: “interna”)
`output_audio`	booleano	No	Ya sea para habilitar la salida de audio (predeterminado: verdadero)
`user_id`	cadena	No	ID de usuario al que facturar esta sesión (el valor predeterminado es el propietario de la clave API)
`instructions`	cadena	No	Instrucciones opcionales del sistema para el asistente de IA

Modelos disponibles

gpt-4o-mini-realtime-preview
gpt-4o-realtime-preview

Voces disponibles

alloy (predeterminado)
echo
fable
onyx
nova
shimmer
ash
ballad
coral

Políticas SMLTP disponibles

public
internal (predeterminado)
internal-strict
confidential
hipaa
gdpr
pci-dss

Ejemplo de solicitud

curl -X POST "https://{customer.name}.hiperai.ai/api/external/speech/s2s/webrtc" \
  -H "Authorization: Bearer sk-your-api-key-here" \
  -H "Content-Type: application/json" \
  -d '{
    "sdp": "v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...",
    "model": "gpt-4o-mini-realtime-preview",
    "voice": "alloy",
    "smltp_policy": "internal",
    "output_audio": true,
    "instructions": "You are a helpful customer service agent."
  }'

JavaScript/Node.js

// Create WebRTC peer connection
const pc = new RTCPeerConnection();

// Create offer
const offer = await pc.createOffer();
await pc.setLocalDescription(offer);

// Send SDP offer to SecureAI
const response = await fetch('https://{customer.name}.hiperai.ai/api/external/speech/s2s/webrtc', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer sk-your-api-key-here',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    sdp: offer.sdp,
    model: 'gpt-4o-mini-realtime-preview',
    voice: 'alloy',
    smltp_policy: 'internal',
    output_audio: true,
    instructions: 'You are a helpful customer service agent.'
  })
});

// Get SDP answer
const sdpAnswer = await response.text();

// Set remote description
await pc.setRemoteDescription(new RTCSessionDescription({
  type: 'answer',
  sdp: sdpAnswer
}));

// Now you can have real-time voice conversations

Pitón

import requests

url = "https://{customer.name}.hiperai.ai/api/external/speech/s2s/webrtc"
headers = {
    "Authorization": "Bearer sk-your-api-key-here",
    "Content-Type": "application/json"
}
data = {
    "sdp": "v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n...",
    "model": "gpt-4o-mini-realtime-preview",
    "voice": "alloy",
    "smltp_policy": "internal",
    "output_audio": True,
    "instructions": "You are a helpful customer service agent."
}

response = requests.post(url, headers=headers, json=data)
sdp_answer = response.text
print('SDP Answer:', sdp_answer)

Respuesta

Respuesta exitosa (200)

Tipo de contenido: application/sdp La respuesta es una cadena de respuesta SDP que se puede utilizar con RTCPeerConnection.setRemoteDescription().

v=0
o=- 1234567890 2 IN IP4 127.0.0.1
s=-
t=0 0
...

Respuestas de error

400 Solicitud incorrecta

{
  "success": false,
  "error": "Invalid SDP offer",
  "message": "SDP offer is required and must be a string",
  "request_id": "96bba6a4-0e7a-4fd7-93a7-3b40428729fb"
}

403 Prohibido

Límite de tiempo S2S alcanzado

{
  "success": false,
  "error": "S2S time limit reached",
  "message": "Insufficient S2S time remaining for this user",
  "remaining_minutes": 0,
  "next_renewal_date": "2024-12-01T12:55:35.721Z",
  "request_id": "96bba6a4-0e7a-4fd7-93a7-3b40428729fb"
}

Error en la validación del modelo

{
  "success": false,
  "error": "Model validation failed",
  "message": "Model gpt-4o-mini-realtime-preview is not allowed by SMLTP policy test-policy-active",
  "request_id": "96bba6a4-0e7a-4fd7-93a7-3b40428729fb"
}

500 Error interno del servidor

{
  "success": false,
  "error": "S2S WebRTC failed",
  "message": "An error occurred while processing your request",
  "request_id": "96bba6a4-0e7a-4fd7-93a7-3b40428729fb"
}

Notas

La oferta SDP debe ser una cadena de oferta WebRTC SDP válida
Después de recibir la respuesta SDP, úsela para configurar la descripción remota en su RTCPeerConnection
Verifique el estado del tiempo S2S antes de iniciar sesiones usando /speech/s2s/status
Registrar la duración de la sesión después de completarla usando /speech/s2s/log-session
Todas las solicitudes se procesan a través de SMLTP por motivos de seguridad y cumplimiento.
El parámetro user_id permite facturar a una cuenta de usuario diferente

Autorizaciones

Authorization

string

header

requerido

API key authentication using Bearer token format. Example: Authorization: Bearer sk-your-api-key-here

Cuerpo

application/json

sdp

string

requerido

WebRTC SDP offer from the client's RTCPeerConnection

Ejemplo:

"v=0\r\no=- 4611731400430051336 2 IN IP4 127.0.0.1\r\ns=-\r\nt=0 0\r\n..."

model

enum<string>

predeterminado:gpt-4o-mini-realtime-preview

OpenAI Realtime model to use

Opciones disponibles:

gpt-4o-mini-realtime-preview,

gpt-4o-realtime-preview

voice

enum<string>

predeterminado:alloy

Voice to use for the AI response

Opciones disponibles:

alloy,

echo,

fable,

onyx,

nova,

shimmer,

ash,

ballad,

coral

smltp_policy

enum<string>

predeterminado:internal

SMLTP policy to apply for this session

Opciones disponibles:

public,

internal,

internal-strict,

confidential,

hipaa,

gdpr,

pci-dss

output_audio

boolean

predeterminado:true

Whether to enable audio output (default: true)

user_id

string

Optional user ID to bill this session to (defaults to API key owner)

Ejemplo:

"60a7c8f5e8b4f5001f7a8c23"

instructions

string

Optional system instructions for the AI assistant

Ejemplo:

"You are a helpful customer service agent."

Respuesta

SDP answer from OpenAI Realtime API

SDP answer that can be used with RTCPeerConnection.setRemoteDescription()

Primeros Pasos y Configuración

Modelos y Generación AI

Knowledge Base y RAG

Seguridad, Guardrails y Auditoría

Usuarios y Acceso (IAM)

Facturación, Cuotas y Webhooks

Sesión WebRTC Speech-to-Speech

Iniciar sesión WebRTC de voz a voz

Endpoint

Descripción

Flujo de uso

Seguimiento del tiempo S2S

Integración SMLTP

Autenticación

Cuerpo de solicitud

Modelos disponibles

Voces disponibles

Políticas SMLTP disponibles

Ejemplo de solicitud

JavaScript/Node.js

Pitón

Respuesta

Respuesta exitosa (200)

Respuestas de error

400 Solicitud incorrecta

403 Prohibido

Límite de tiempo S2S alcanzado

Error en la validación del modelo

500 Error interno del servidor

Notas

Autorizaciones

Cuerpo

Respuesta

​Iniciar sesión WebRTC de voz a voz

​Endpoint

​Descripción

​Flujo de uso

​Seguimiento del tiempo S2S

​Integración SMLTP

​Autenticación

​Cuerpo de solicitud

​Modelos disponibles

​Voces disponibles

​Políticas SMLTP disponibles

​Ejemplo de solicitud

​JavaScript/Node.js

​Pitón

​Respuesta

​Respuesta exitosa (200)

​Respuestas de error

​400 Solicitud incorrecta

​403 Prohibido

​Límite de tiempo S2S alcanzado

​Error en la validación del modelo

​500 Error interno del servidor

​Notas

Autorizaciones

Cuerpo

Respuesta

Iniciar sesión WebRTC de voz a voz

Endpoint

Descripción

Flujo de uso

Seguimiento del tiempo S2S

Integración SMLTP

Autenticación

Cuerpo de solicitud

Modelos disponibles

Voces disponibles

Políticas SMLTP disponibles

Ejemplo de solicitud

JavaScript/Node.js

Pitón

Respuesta

Respuesta exitosa (200)

Respuestas de error

400 Solicitud incorrecta

403 Prohibido

Límite de tiempo S2S alcanzado

Error en la validación del modelo

500 Error interno del servidor

Notas