Як Replit зробив AI-розробку дешевшою: Free Mode на GPT‑5.6 Luna, маршрутизація моделей і контекст проєкту

Для AI coding products економіка interaction loop часто важливіша за один ефектний benchmark. Користувач не лише просить «побудуй застосунок»: він десятки разів уточнює ідею, перевіряє припущення, обговорює архітектуру, просить пояснити помилку, порівнює варіанти й лише частину цих кроків перетворює на дорогий build. Якщо кожен такий крок спалює однаковий дорогий inference budget, люди починають економити на exploration — і продукт сам карає їх за нормальне мислення.

Replit у серпні 2026 року запустив Free Mode на GPT‑5.6 Luna саме навколо цієї проблеми. Everyday chat, ideation, feedback, analysis і частина Agent work переходять у дешевший режим; складніший reasoning можна передати GPT‑5.6 Sol, після чого повернутися до Luna без втрати project context. Практична цінність тут не в магічному слові «free», а в архітектурному розділенні задач за required capability і cost envelope.

Trigger — будь-який крок product-development loop, де користувач хоче уточнити ідею, дослідити codebase, сформувати plan, виправити локальну проблему або підготувати наступну дію. Input — поточний Replit project, файли, dependency/config context, попередня conversation state, user intent і за потреби selected execution mode. Критично, що контекст не збирається заново як випадковий prompt: Agent працює з уже наявним project context.

AI stage — classification складності, генерація відповіді або planning step у Luna, а для складніших задач — route до Sol із поверненням результату в той самий контекст. Integrations на рівні продукту включають repository/project workspace, build/runtime tools і Replit Agent execution surface. Output може бути поясненням, планом, candidate code change або підготовленим build step; production deployment не повинен автоматично успадковувати authority лише тому, що модель запропонувала коректний код.

• Trigger → question, planning step, code task або optimization request у межах поточного проєкту.
• Input → project files + conversation/project context + user objective + execution constraints.
• AI → Luna для high-volume everyday work; stronger route для task slices, що потребують глибшого reasoning.
• Integrations → Replit project/runtime/Agent surface; зовнішні secrets та production systems мають окремі permissions.
• Output → answer, plan або verified candidate change; consequential release лишається окремим gate.

Відтворюваний routing contract краще будувати не як «Luna поки не впорається — тоді Sol», а як deterministic eligibility + measured fallback. До cheap path допускаються task slices із низьким impact, достатнім context quality та простим verification: explanation, naming, lightweight refactor proposal, exploratory analysis, test generation із детермінованою перевіркою. High-risk architecture decisions, security-sensitive changes, ambiguous migrations або складні debugging chains одразу можуть іти в stronger route.

Routing decision треба логувати разом із task class, selected model tier, cost, latency, validation result і human correction. Інакше продукт бачить лише красиву економію токенів, але не знає, чи дешевший route збільшив rework. Найкраща метрика — не `cost per call`, а `cost per verified accepted outcome`: inference + tool runtime + review + retry + defects. Це швидко вбиває банальний трюк «зробимо все найдешевшою моделлю й назвемо це оптимізацією».

Репродукований workflow: `user intent → task classification → context eligibility → Luna/Sol route → candidate answer/action plan → local execution if allowed → deterministic checks → user review → build/deploy decision → verified result`. A3 доречний, бо Agent може виконувати кілька пов’язаних кроків і сам обирати частину execution path, але користувач лишається власником цілі, acceptance і consequential action.

HITL має бути змістовним, а не кнопкою «Approve» після двох екранів тексту. Перед dependency install, secret use, external write, paid resource creation або production deploy UI повинен показати exact action, target, scope і очікуваний side effect. Для routine local edits можна дозволити ширший bounded scope; для destructive або irreversible operations — explicit approval і postcondition check.

Failure modes: routing classifier недооцінює складність; project context застарів після паралельного edit; Luna дає правдоподібний, але некомпільований patch; Sol отримує недостатній context; tool timeout стається після фактичної зміни; model switch змінює assumptions; generated code читає недовірені інструкції з repository або external page. Для кожного потрібен окремий response — reroute, refresh context, run checks, abstain, quarantine source або reconcile actual state.

Model fallback не повинен повторювати side effect. Якщо Luna або Sol запустили tool і клієнт не отримав підтвердження, наступний step спочатку читає authoritative project/runtime state. Idempotency key прив’язується до action intent, а не model attempt. Для long-running build зберігається version marker: repository SHA, dependency lock, prompt/policy version і model route. Resume на іншому стані вимагає revalidation, а не оптимістичного «продовжимо з того самого місця».

Free Mode орієнтований на високу частоту дрібних і середніх interactions, тому bottleneck швидко зміщується з ціни одного token до concurrency, context loading, tool runtime, cache hit rate і review capacity. Product-scale routing потребує rate limits per user/project, queueing для expensive tasks, context compaction із provenance і окремого budget на paid execution. Модельний tier — лише один рядок у повній собівартості.

Cost model для відтворення: `model inference + context retrieval/storage + tool/runtime minutes + external APIs + build/CI + observability + human correction + failed-run reserve`. Replit заявляє up to 30× більше creation у Free Mode для Core users, але це зміна product allowance, а не доказ 30× більшої кількості корисного software output. Власний pilot має вимірювати accepted tasks/user, cost per verified task, retry/rework rate, route escalation rate і defects after acceptance.

Eval corpus розбийте за task slices: short Q&A про codebase, planning, bug localization, unit-test generation, small edit, multi-file refactor, security-sensitive change, ambiguous request, stale context і prompt injection у repository text. Для кожного є expected route, allowed tools, correctness rubric і severity. Deterministic graders перевіряють build/types/tests/schema; model або human graders — plan quality, unsupported claims і maintainability.

Rollout: `offline replay → shadow router → Luna only for read/explain slices → low-risk local edits → measured fallback to stronger model → bounded Agent actions → broader adoption`. Promotion gate: critical-slice quality не гірша baseline, route selection стабільний, escalation працює, cost per verified outcome знижується, а high-severity incidents дорівнюють нулю у визначеному acceptance window. Кожний production failure стає regression case.

Патерн підходить AI coding products, internal developer portals, no-code/low-code builders і enterprise copilots із великою кількістю недорогих everyday interactions та меншою часткою складних задач. Перед pilot потрібні task taxonomy, provider/model adapters, project-context contract, executable validation, tool permission model, telemetry і rollback. Без цих речей model routing перетворюється на випадковий load balancer з красивим billing dashboard.

Практичний pilot: візьміть 500–1,000 historical interactions, позначте outcome/complexity/risk, проганяйте їх двома tiers, зафіксуйте якість і повну собівартість, створіть deterministic eligibility rules і shadow routing. Далі віддайте cheap tier лише найстабільнішим slices, а stronger tier використовуйте як explicit escalation. Після двох-трьох ітерацій оптимізуйте не token price, а verified throughput.