Медиа: изображения, видео, музыка, TTS

Синхронный (изображения, TTS) — ответ приходит через секунды, встраивается в сообщение.

Асинхронный (видео, музыка) — запрос уходит в фон, агент продолжает работу. Когда провайдер готовит результат, OpenClaw будит агента и он отправляет готовый медиа-файл.

Microsoft Edge TTS работает без API-ключа через node-edge-tts. Best-effort, без SLA:

{
  "messages": {
    "tts": {
      "auto": "always",
      "provider": "microsoft",
      "providers": {
        "microsoft": {
          "voice": "ru-RU-DmitryNeural",
          "lang": "ru-RU"
        }
      }
    }
  }
}

Голосовые вызовы для OpenClaw через плагин. Поддерживает исходящие уведомления и многоэтапные беседы со входящими политиками.

Текущие провайдеры:

• twilio (Programmable Voice + Media Streams)
• telnyx (Call Control v2)
• plivo (Voice API + XML transfer + GetInput speech)
• mock (разработка/без сети)

Где работает

Плагин Voice Call работает внутри процесса Gateway. Если используете удалённый Gateway — установите и настройте плагин на машине с Gateway, затем перезапустите.

Установка

Вариант A: из npm (рекомендуется)

openclaw plugins install @openclaw/voice-call

Затем перезапустите Gateway.

Вариант B: из локальной папки (для разработки)

PLUGIN_SRC=./path/to/local/voice-call-plugin
openclaw plugins install "$PLUGIN_SRC"
cd "$PLUGIN_SRC" && pnpm install

Затем перезапустите Gateway.

Конфигурация

Конфигурация — plugins.entries.voice-call.config:

{
  plugins: {
    entries: {
      "voice-call": {
        enabled: true,
        config: {
          provider: "twilio",  // или "telnyx" | "plivo" | "mock"
          fromNumber: "+15550001234",
          toNumber: "+15550005678",

          twilio: {
            accountSid: "ACxxxxxxxx",
            authToken: "...",
          },

          telnyx: {
            apiKey: "...",
            connectionId: "...",
            publicKey: "...",
          },

          plivo: {
            authId: "MAxxxxxxxxxxxxxxxxxxxx",
            authToken: "...",
          },

          serve: {
            port: 3334,
            path: "/voice/webhook",
          },

          webhookSecurity: {
            allowedHosts: ["voice.example.com"],
            trustedProxyIPs: ["100.64.0.1"],
          },

          outbound: {
            defaultMode: "notify",  // notify | conversation
          },

          streaming: {
            enabled: true,
            provider: "openai",
            streamPath: "/voice/stream",
            providers: {
              openai: {
                apiKey: "sk-...",
                model: "gpt-4o-transcribe",
                silenceDurationMs: 800,
                vadThreshold: 0.5,
              },
            },
            preStartTimeoutMs: 5000,
            maxPendingConnections: 32,
            maxPendingConnectionsPerIp: 4,
            maxConnections: 128,
          },
        },
      },
    },
  },
}

Транскрипция в реальном времени

streaming выбирает провайдера транскрипции для живого аудио звонка.

• streaming.provider — опционален. Если не задан — Voice Call берёт первого зарегистрированного провайдера.
• Сейчас встроенный провайдер — OpenAI.
• Если streaming.provider指向 незарегистрированный провайдер — Voice Call логирует предупреждение и пропускает media streaming, не ломая плагин.

Настройки OpenAI стриминга:

Reaper зависших звонков

staleCallReaperSeconds завершает звонки, которые не получили финального webhook (например, notify-звонки, которые никогда не завершились). По умолчанию 0 (отключено).

Рекомендуемые значения:

• Production: 120–300 секунд для notify-сценариев
• Значение должно быть больше maxDurationSeconds

{
  config: {
    maxDurationSeconds: 300,
    staleCallReaperSeconds: 360,
  },
}

Безопасность webhook’ов

Когда прокси или туннель стоит перед Gateway, плагин реконструирует публичный URL для верификации подписи.

Replay-защита включена для Twilio и Plivo. Повторенные валидные webhook-запросы подтверждаются, но пропускаются для side effects.

TTS для звонков

Voice Call использует messages.tts для стриминговой речи. Можно переопределить в конфиге плагина (deep-merge с messages.tts).

{
  tts: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "pMsXgVXv3BLzUgSXRplE",
        modelId: "eleven_multilingual_v2",
      },
    },
  },
}

Входящие звонки

Inbound policy по умолчанию disabled. Для включения:

{
  inboundPolicy: "allowlist",
  allowFrom: ["+15550001234"],
  inboundGreeting: "Hello! How can I help?",
}

Настройка автоответов:

• responseModel
• responseSystemPrompt
• responseTimeoutMs

Контракт голосового вывода

Для автоответов Voice Call добавляет строгий контракт в системный промпт: {"spoken":"..."}. Плагин извлекает текст для речи дефенсивно:

• Игнорирует reasoning/error контент
• Парсит JSON, fenced JSON или inline "spoken" ключи
• Fallback на plain text с удалением planning-абзацев

CLI

openclaw voicecall call --to "+15555550123" --message "Hello from OpenClaw"
openclaw voicecall start --to "+15555550123"   # alias для call
openclaw voicecall continue --call-id <id> --message "Any questions?"
openclaw voicecall speak --call-id <id> --message "One moment"
openclaw voicecall end --call-id <id>
openclaw voicecall status --call-id <id>
openclaw voicecall tail
openclaw voicecall latency                     # сводка задержек из логов
openclaw voicecall expose --mode funnel

latency читает calls.jsonl из стандартного пути. Используйте --file <path> для другого файла и --last <n> для ограничения анализа последними N записями.