Portkey AI Gateway: Route Tới 1600+ Models + MCP Gateway Vừa GA

Nếu bạn đang build AI apps và phải juggle giữa nhiều LLM providers (OpenAI, Anthropic, Google, các models local...), thì AI Gateway là thứ bạn cần. Và Portkey là một trong những options đáng chú ý nhất.

Tin nóng: MCP Gateway của Portkey vừa GA (Generally Available) vào 22/01/2026. Cùng mình xem Portkey có gì hay.

Portkey AI Gateway là gì?

Portkey là một AI Gateway mã nguồn mở, siêu nhẹ (122KB), siêu nhanh (<1ms latency), cho phép route requests tới 1600+ models - bao gồm language, vision, audio, và image models.

Số liệu ấn tượng:

  • 10 tỷ tokens/ngày được xử lý
  • 104 contributors trên GitHub
  • 81 releases
  • SOC2, HIPAA, GDPR, CCPA compliant

Core Features

1. Reliable Routing

Feature Mô tả
Fallbacks Tự động chuyển sang provider/model khác khi lỗi
Auto Retries Retry up to 5 lần với exponential backoff
Load Balancing Phân phối requests giữa nhiều API keys
Request Timeouts Terminate requests vượt quá thời gian cho phép

2. Security & Accuracy

  • 50+ Guardrails tích hợp: Verify inputs/outputs theo các checks bạn định nghĩa
  • Secure Key Management: Dùng keys của bạn hoặc generate virtual keys
  • Role-based Access Control: Granular permissions cho users, workspaces, API keys
  • Compliance: SOC2, HIPAA, GDPR, CCPA

3. Multi-modal

Không chỉ text - Portkey hỗ trợ:

  • Vision models
  • Audio (text-to-speech, speech-to-text)
  • Image generation
  • Realtime APIs (WebSocket)

4. Agent Integrations

Tích hợp sẵn với:

  • Autogen, CrewAI
  • LangChain, LlamaIndex
  • Phidata, Control Flow
  • Custom Agents

MCP Gateway - Tính năng mới GA

Đây là điểm nhấn lớn. MCP Gateway cung cấp control plane tập trung để quản lý MCP servers trong tổ chức:

Feature Mô tả
Authentication Single auth layer - users xác thực 1 lần
Access Control Kiểm soát team/user nào được access server/tool nào
Observability Log mọi tool call với full context (who, what, params, latency)
Identity Forwarding Tự động forward user identity tới MCP servers

Hỗ trợ: Claude Desktop, Cursor, VS Code, và mọi MCP-compatible client.

Đây là giải pháp cho vấn đề enterprise cần: AI agents truy cập databases, trigger workflows, access internal systems một cách an toàn.

Quickstart (2 phút)

# Cài gateway
npx @portkey-ai/gateway

# Gateway chạy trên http://localhost:8787/v1

Sau đó gọi API như bình thường, chỉ thay base URL:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8787/v1",
    api_key="your-openai-key"
)

So sánh với LiteLLM

Theo một số ý kiến trong cộng đồng, LiteLLM vẫn được coi là "vua" trong category này. Cả hai đều có:

  • Load balancing, fallbacks
  • Cost tracking
  • Guardrails
  • Multi-provider support

Portkey được coi là lựa chọn mạnh thứ 2, với điểm mạnh về enterprise features và MCP Gateway.

Built in India 🇮🇳

Một điểm thú vị: Portkey được build tại Ấn Độ và đang được dùng bởi Fortune 50 companies. Đây được coi là milestone lớn cho AI infrastructure của Ấn Độ.

Kết luận

Portkey AI Gateway là lựa chọn solid cho:

  • Teams cần unified API cho nhiều LLM providers
  • Enterprise cần compliance (SOC2, HIPAA)
  • Những ai đang build với MCP và cần centralized control

Links: