Bỏ qua đến nội dung chính
Cloud voice & agent runtime

Cloud voice & agent runtime cho AI assistant biết nói, biết nhớ, biết dùng tool.

Assistant Core là lớp vận hành cloud xử lý voice, reasoning, memory, knowledge base và tool calling để assistant chạy trên web, app, thiết bị thông minh, IoT và robot.

Voice RuntimeTool CallingMCP LayerKnowledge BaseLong-term MemoryDevice-ready
Assistant Core chạy trên web, ứng dụng, widget nhúng, đồng hồ và thiết bị voice
Vấn đề thị trường

Chatbot demo thì dễ. Assistant trong sản phẩm thật khó hơn nhiều.

Khi assistant cần nghe, nói, nhớ, gọi tool, hiểu dữ liệu riêng và chạy trên thiết bị thật, đội ngũ thường phải tự nối nhiều lớp hạ tầng rời rạc.

Voice realtime không chỉ là TTS

Một trải nghiệm voice tự nhiên cần VAD, ASR, LLM, TTS, streaming audio, interruption và xử lý độ trễ trong cùng một pipeline.

Agent cần hành động, không chỉ trả lời

Assistant phải gọi API, đọc dữ liệu, kích hoạt workflow, điều khiển thiết bị và mở rộng qua MCP hoặc tool calling có kiểm soát.

Thiết bị nhỏ không chạy nổi model lớn

Smart device, robot và IoT nên giữ phần microphone, speaker, sensor, actuator; cloud runtime xử lý phần reasoning, memory và voice nặng.

Sản phẩm thật cần vận hành an toàn

Multi-tenant, auth, quyền truy cập, conversation history, memory và quan sát hệ thống phải đi cùng assistant ngay từ đầu.

Runtime layers

Một lớp runtime thống nhất cho assistant biết nói và biết hành động.

Assistant Core gom các phần khó của voice, agent, tool và device integration vào một kiến trúc có thể cấu hình theo từng assistant.

Xem trang runtime

Assistant Intelligence

Định hình prompt, model, knowledge base, long-term memory, brand voice, domain và hành vi của từng assistant.

PromptModel stackKnowledge baseMemoryBrand voice

Voice Runtime

Tùy chỉnh voice pipeline từ VAD, ASR, LLM đến TTS và realtime speech-to-speech cho web, app hoặc thiết bị không màn hình.

VADASRLLMTTSRealtime voice

Tool & MCP Layer

Kết nối assistant với API, dữ liệu, workflow, hệ thống nội bộ, smart home hoặc robot thông qua tool calling và MCP.

Built-in toolsCustom APIsMCP serverDevice tools

Integration Layer

Tích hợp assistant vào sản phẩm bằng Chat API, Voice WebSocket, MQTT gateway, embed widget hoặc phần cứng tùy biến.

Chat APIVoice WebSocketMQTTEmbedHardware

Operation Layer

Quản lý assistant, user, conversation, memory, device, quyền truy cập và cấu hình vận hành ở môi trường production.

UsersConversationsDevicesRBACObservability
Tình huống sử dụng

Một runtime cho nhiều nhóm sản phẩm.

Assistant Core phù hợp khi bạn cần assistant không chỉ trả lời, mà còn nói chuyện, nhớ ngữ cảnh, gọi tool và kết nối với sản phẩm hoặc thiết bị.

Developer & SaaS

Tích hợp assistant vào landing page, app, tài liệu, dashboard hoặc sản phẩm SaaS qua API, WebSocket và embed widget.

Doanh nghiệp

Xây trợ lý nội bộ cho CSKH, sales, HR, training, knowledge management và workflow automation trên dữ liệu riêng.

Creator & chuyên gia

Nhân bản tri thức thành trợ lý ảo hỗ trợ học viên, cộng đồng, khách hàng hoặc người theo dõi với memory và knowledge base riêng.

Smart device & robot

Đưa voice assistant lên robot giáo dục, smart toy, smart home, thiết bị học tập, kiosk hoặc phần cứng AI nhỏ gọn.

Core capabilities

Những năng lực cần có để assistant vận hành trong sản phẩm thật.

Không chỉ là giao diện chat. Assistant Core cung cấp các lớp cần thiết để assistant hiểu dữ liệu riêng, ghi nhớ, gọi tool, nói chuyện realtime và vận hành an toàn.

Assistant Intelligence

Kiểm soát system prompt, model stack, knowledge base, tool, MCP, hành vi và quyền truy cập của từng assistant.

System PromptRBACMulti-tenantMCP

Knowledge Base

Kết nối tài liệu, website và dữ liệu có cấu trúc để câu trả lời bám sát nguồn thông tin đáng tin cậy.

PDF / DOCXWeb URLspgvector

Voice Runtime

Voice pipeline VAD → ASR → LLM → TTS với audio streaming cho trải nghiệm nói chuyện tự nhiên.

< 1sOpus Audio

Tool Calling & MCP

Cho phép cùng một assistant gọi các tool tích hợp sẵn, API tùy chỉnh, server MCP, endpoint MCP và các tool chạy trên thiết bị.

MCPCustom APIs

Device Experience

Tùy biến giao diện, font chữ, emoji, wake word và hình nền, sau đó triển khai lên smart device, IoT hoặc robot.

MQTTWake WordEdge

Long-term Memory

Assistant ghi nhớ ngữ cảnh qua nhiều phiên, trích xuất thông tin quan trọng và truy xuất lại bằng pgvector khi cần.

Long-termCross-sessionpgvector
Provider ecosystem

Chọn provider theo từng lớp của voice pipeline.

Kết hợp model cho reasoning, ASR, TTS, realtime voice hoặc embedding theo nhu cầu của từng assistant.

OpenAI
OpenAI
Anthropic
Anthropic
Google
Google
xAI
xAI
DeepSeek
DeepSeek
Xiaomi
Xiaomi
ElevenLabs
ElevenLabs
Soniox
Soniox

Provider availability phụ thuộc cấu hình triển khai và API key của từng workspace.

Security & operations

Runtime assistant cần bảo mật ngay từ lớp request.

Voice, memory, tool và device integration đều đi qua lớp xác thực, phân quyền, cách ly tenant và quan sát vận hành.

Layer 1

Bảo mật Truyền tải

Mã hóa TLS 1.3 trên tất cả kết nối HTTP, WebSocket và MQTT. Không có dữ liệu văn bản thuần khi truyền tải.

Layer 2

Xác thực (Authentication)

JWT access + refresh token, OAuth Google/GitHub với trạng thái ký HMAC và nonce Redis để ngăn tấn công replay.

Layer 3

Phân quyền & RBAC

Kiểm soát truy cập theo vai trò với JWT claims. Phân quyền từng assistant và cách ly multi-tenant ở cấp độ request.

Layer 4

Bảo mật Dữ liệu

Mã hóa dữ liệu khi lưu trữ qua PostgreSQL và S3. Cách ly dữ liệu theo hàng giữa các tenant.

Layer 5

Bảo mật Mạng

Giới hạn tốc độ theo người dùng và IP. Chính sách CORS. Giảm thiểu DDoS tại lớp load balancer.

Layer 6

Kiểm toán & Quan sát

Ghi nhật ký request, lưu LLM/tool trace theo từng hội thoại trong admin và theo dõi chỉ số assistant để giám sát bảo mật.

TLS 1.3JWT / OAuth 2.0RBACpgvectorRedis NonceLLM Traces
Blog

Góc nhìn từ đội ngũ

Phân tích kỹ thuật chuyên sâu, cập nhật sản phẩm và phương pháp tốt nhất để xây dựng sản phẩm AI.

Xem tất cả bài viết
Voice22/05/2026

AEC: Tại sao AI Voice Assistant Cần Khử Echo

Giải thích Acoustic Echo Cancellation từ thuật toán NLMS đến thực tế triển khai trên browser (AEC3) và ESP32 (ESP-ADF). Bao gồm so sánh AEC support giữa OpenAI, Gemini Live và xAI Grok.

Kiến trúc15/04/2025

Xây dựng RAG Pipeline Thực tế với pgvector

Cách chúng tôi xây dựng retrieval-augmented generation pipeline xử lý PDF, DOCX, URL web với chunking, embedding và cosine search — đạt 91% accuracy so với 34% khi dùng LLM thuần.

IoT28/03/2025

MQTT + UDP: Đưa AI xuống Thiết bị Edge

Tại sao chúng tôi từ bỏ WebSocket cho thiết bị phần cứng và chuyển sang MQTT + UDP — giảm latency từ 380ms xuống 165ms, RAM từ 45KB xuống 12KB, và tăng 40% battery life.

Kiến trúc22/05/2026

Kiến trúc Multi-LLM: 6 Provider, 14 Model, 1 Codebase

Cách chúng tôi tích hợp OpenAI, Anthropic, Google, xAI, DeepSeek và Xiaomi qua native SDK — cho phép user đổi model giữa cuộc trò chuyện, tiết kiệm tới 90% chi phí input token nhờ prompt caching, và deploy zero-downtime.

Sẵn sàng xây assistant biết nói và biết hành động?

Bắt đầu với một assistant, sau đó cấu hình prompt, voice pipeline, memory, knowledge base, tool/MCP và kênh triển khai theo sản phẩm của bạn.