Як avatarin побудував голосового retail-агента на GPT-Realtime

Покупець побутової техніки рідко шукає лише одну характеристику. Йому треба зіставити розмір помешкання, звички сім’ї, бюджет, енергоспоживання, умови встановлення й сумісність із уже наявною технікою. Каталог дає фільтри, але не завжди пояснює компроміс людською мовою; контакт-центр дає діалог, проте має години роботи, чергу та мовні обмеження.

OpenAI описує, як avatarin разом із Yamada Holdings перенесли частину досвіду консультантів у Kurashi-Marugoto AI Agent на GPT-Realtime. Агент працює цілодобово, підтримує природну голосову розмову кількома мовами й веде користувача від формулювання потреби до рішення про покупку. Пошуковий намір цієї сторінки вузький: production-патерн synchronous voice retail, а не загальна автоматизація customer journey Cars24 чи текстовий inbound sales workflow OpenAI.

У текстовому чаті користувач терпить невелику паузу й бачить, де закінчилася відповідь. У голосі затримка, перебивання, тиша та помилкове визначення завершення репліки стають частиною якості продукту. Асистент має швидко підтвердити почуте, дозволити користувачу перебити довге пояснення, відновитися після шуму й не виконувати нову дію двічі через повторену фразу.

Realtime API дає двосторонню сесію для низьколатентного multimodal interaction, але transport сам по собі не робить консультацію коректною. Application layer усе одно володіє session identity, дозволеними tools, retrieval, business rules і журналом подій. Практична одиниця дизайну — не один довгий prompt, а короткий turn із явними станами listening, clarifying, retrieving, recommending, confirming та handing_off.

• turn detection і контроль перебивань;
• короткі voice-first відповіді замість довгих каталогових абзаців;
• явне повторне підтвердження моделі, ціни й ключової умови;
• відновлення після network drop без дубльованої дії;
• перехід у текст або до людини, коли голосовий канал незручний.

Відтворювана система починається з audio channel, який передає репліки в realtime session. Оркестратор зберігає conversation state, визначає, коли потрібне уточнення, й запитує контрольований product retrieval. Retrieval повертає лише актуальні SKU, специфікації, availability timestamp і source ID; policy layer відсіює несумісні або заборонені рекомендації; response layer формує стислу усну відповідь.

Це редакційна reference architecture AI-Magister. Публічна історія не розкриває точний retrieval stack avatarin, правила кешування або system-of-record integration. Проте межа є обов’язковою для будь-якого повторення: модель може пояснювати різницю між двома холодильниками, але не повинна вигадувати наявність, ціну, гарантію чи доставку. Кожне динамічне твердження має походити з актуального tool result і мати час отримання.

• Audio channel → stream, interruption і reconnect;
• Session state → мова, потреби, shortlist і consent;
• Retrieval → каталог, характеристики та expert knowledge;
• Policy → compatibility, claims і promotion boundaries;
• Response → коротка grounded voice reply;
• Handoff → transcript, selected products і unresolved question;
• Evidence → trace, source IDs, latency та outcome events.

Фраза «ця модель підійде для маленької кухні» є рекомендацією; «ціна гарантована» — комерційною обіцянкою; резервування товару або оформлення фінансування змінює зовнішній стан. Ці дії не можна відкривати одним прапорцем agent=true. Для кожного tool потрібні schema, scope, identity requirement, monetary limit, confirmation step та idempotency key.

Automation Level A3 відповідає доказам кейсу: агент автономно веде консультаційний діалог, але джерело не доводить повне самостійне завершення покупки чи high-impact дій. Безпечний шаблон — recommend, read availability і prepare handoff. Якщо команда додає reserve, order або finance tools, кожне розширення проходить окремі evals, а commit відбувається лише після явного підтвердження користувача й deterministic policy check.

За customer story OpenAI, приблизно 30 000 людей скористалися агентом у двотижневій публічній кампанії, а 92% відповідей у post-use survey були позитивними. Перше число показує масштаб залучення в конкретній активації; друге описує думку респондентів опитування. Вони не дорівнюють conversion rate, частці вирішених задач або незалежно виміряній точності рекомендацій.

Для власного pilot треба зберігати denominator: скільки сесій почалося, скільки користувачів дійшли до сформульованої потреби, отримали grounded shortlist, попросили людину, завершили розмову після помилки або погодили наступний крок. Survey response rate публікують поруч із позитивною часткою. Окремо вимірюють unsupported product claims, stale availability, p50/p95 turn latency, interruption recovery та repeat-question rate.

Мультимовний voice agent має розуміти product vocabulary, числа, одиниці вимірювання, назви моделей і перемикання мов усередині розмови. Literal translation може спотворити safety instruction або зробити локальну торгову умову універсальною. Тому eval set розділяють за мовами й містить вимову SKU, адреси, шум, акценти, code-switching та запит повторити критичну цифру.

Brand voice також не дає права імпровізувати. Hospitality можна кодувати через тон, довжину відповіді й способи уточнення, тоді як factual claims залишаються grounded. Якщо користувач просить медичну, електричну або монтажну пораду поза перевіреною базою, агент називає межу й передає діалог фахівцю. Хороша особистість зменшує тертя; вона не маскує відсутність доказів.

Почніть не з усього магазину, а з категорії з чіткими attributes і низькою ціною помилки, наприклад очищувачів повітря. Агент уточнює площу, шумові обмеження, бюджет і важливі функції, отримує актуальний shortlist із каталогу, пояснює компроміси та пропонує перейти на product page або до консультанта. Замовлення й фінансування лишаються поза першим authority scope.

Release gate вимагає grounded recommendation на representative eval set, нуль вигаданих SKU, контрольовану latency, успішне recovery після interruption і повний handoff packet. Лише потім додають нову категорію або reversible tool. Така послідовність відділяє корисного retail-агента від голосового демо: система доводить один customer outcome, а не просто здатність підтримувати приємну розмову.