Як Parloa будує evaluation-first voice agents на OpenAI

Voice customer service карає за латентність і помилки одразу: пауза, неправильно розпізнаний policy number або невдалий tool call відчуваються клієнтом у реальному часі. Parloa будує AMP як lifecycle platform, де subject-matter experts визначають поведінку, tools і boundaries, а система симулює, оцінює, запускає та моніторить агентів.

Ключова відмінність від банального voice bot — production contract. Агент має працювати з RAG, backend tools, authentication, booking/account changes, escalation і multilingual speech. Тому conversation quality, tool correctness, latency і deterministic business controls тестуються як одна система, а не як красивий transcript з демо.

Trigger — inbound voice/chat/messaging session або event у customer journey. Input — channel data, user utterance, authenticated customer context, approved knowledge, task-specific backend state і agent configuration. AI stage: STT або speech input, intent/subtask routing, model response, RAG/tool call, deterministic event/API chain і TTS/response delivery.

Integrations — CCaaS/telephony, CRM, booking/account systems, RAG, OpenAI models, speech providers і human routing. Output — resolved request, bounded backend action, clarification або handoff із full conversation context. Post-call workflows окремо summarize, classify intent і evaluate conversation against rules.

• Trigger → inbound conversation.
• Input → user speech/text + scoped customer/backend context.
• AI → route → retrieve → tool/action → response.
• Integrations → CCaaS, CRM, backend APIs, RAG, speech stack.
• Output → resolved task або human handoff з trace.

OpenAI описує, що Parloa mirror-ить production agents у simulation/evaluation pipeline, а новий model проходить internal benchmark на actual use cases перед promotion. Graders комбінують deterministic rules і LLM-as-a-judge; окремо тестуються instruction following, API-calling consistency, latency і overall performance.

Для reproduction candidate model fingerprint має включати model/revision, prompt/agent config, tools/schema, RAG/index, speech stack і policies. Promotion відбувається не через «нова модель краща в leaderboard», а через replay на versioned scenario corpus, shadow, canary і rollback. Migration cost — реальний operational constraint, тому поріг benefit повинен бути явним.

Parloa відділяє authentication, booking changes, account updates та інші задачі у sub-agents. Це зменшує instruction collision і дозволяє задавати окремі tools/boundaries. Але multi-agent architecture не повинна перетворитися на uncontrolled fan-out: orchestrator має визначати eligibility, max depth, shared state contract і termination.

Критичні state transitions — authenticated/not authenticated, read-only/write-capable, pending confirmation, tool success/unknown/failure, handoff. Кожен sub-agent отримує мінімальний context і authority. Результат одного агента є untrusted data для наступного, якщо не підтверджений authoritative source або deterministic validator.

Parloa тестує STT окремо, зокрема word error rate для sensitive identifiers, а TTS — через listening tests. Production flow має ще один рівень: critical slots повторюються або підтверджуються перед write. ASR uncertainty для account/policy number не можна лікувати впевненішим текстом моделі.

Barge-in і reconnect можуть створити race: користувач змінив рішення, а backend action уже в польоті. Write-capable action отримує idempotency key, explicit confirmation state і authoritative postcondition. Handoff передає reason, collected facts і actions already attempted, але не приховані chain-of-thought traces.

Failure modes: STT error, latency spike, RAG miss, wrong sub-agent, expired authentication, backend 5xx, duplicate action, model refusal, provider failover і escalation loop. Conversation може перейти в degraded mode, але fallback model не успадковує більше tools або ширший data scope.

Critical business sequences — наприклад authenticate → read current booking → confirm new option → update → verify — кодуються як structured API/event chain. Якщо tool timeout після submit, система читає current state перед retry. Якщо policy service або identity unavailable, consequential action fail-closed і, за потреби, handoff-иться людині.

Parloa працює з enterprise voice flows і повідомляє про millions of conversations. Cost складається зі STT, LLM reasoning, RAG, tools, TTS, telephony, orchestration, eval simulation, observability, storage/retention і human escalations. Найдешевша модель може програти, якщо збільшує повторні дзвінки або escalation.

Model routing має враховувати latency budget і task risk. Простий route/FAQ може йти через дешевший model, а складний authenticated multi-step flow — через stronger model із вужчим tool scope. Метрики: cost per verified resolution, p95 turn latency, tool-error rate, escalation reason distribution, duplicate-side-effect rate і postcondition mismatch.

Фаза 1 — один read-only voice intent і human shadow. Фаза 2 — simulations із deterministic + model graders. Фаза 3 — bounded tools без irreversible writes. Фаза 4 — authenticated low-risk writes з exact confirmation/idempotency. Фаза 5 — multi-agent decomposition, canary model promotion і continuous evaluation.

Підходить contact centers, insurance, travel, retail, telecom і service businesses з repeatable API-backed tasks. Не підходить там, де backend state неструктурований або немає clear escalation owner. Найсильніший 80/20 — не «замінити контакт-центр», а один high-volume intent із відтворюваним oracle, коротким tool path і зрозумілим handoff.