Kimi K3: số tham số, cửa sổ ngữ cảnh và token đầu ra tối đa

Kimi K3 có 2,8 nghìn tỷ tham số và kích hoạt 16 trong số 896 expert cho mỗi token. Cửa sổ ngữ cảnh của nó là 1.048.576 token, và một câu trả lời có thể dài tới 1.048.576 token, dù giới hạn mặc định là 131.072. Moonshot AI gọi nó là "mô hình mã nguồn mở đầu tiên trên thế giới thuộc hạng 3 nghìn tỷ tham số" và đã phát hành toàn bộ trọng số. Mô hình luôn suy luận, đọc văn bản và hình ảnh, và viết văn bản.

Tổng quan thông số Kimi K3

Kimi K3 có bao nhiêu tham số?

2,8 nghìn tỷ. Quickstart của Moonshot AI gọi Kimi K3 là "mô hình flagship mạnh nhất cho tới nay, với 2,8 nghìn tỷ tham số" và "mô hình mã nguồn mở đầu tiên đạt 2,8 nghìn tỷ tham số".

Kimi K3 có bao nhiêu tham số hoạt động?

Quickstart của Moonshot AI không đưa ra số tham số hoạt động. Điều tài liệu này có nói là mô hình "kích hoạt hiệu quả 16 trong số 896 expert" thông qua framework Stable LatentMoE. Vì vậy chỉ một phần nhỏ trong 2,8 nghìn tỷ tham số thực hiện công việc cho mỗi token, giúp giữ lượng tính toán trên mỗi token ở mức thấp. Tuy vậy, toàn bộ trọng số vẫn phải được nạp, đó là lý do tự chạy Kimi K3 cần phần cứng nhiều GPU cấp trung tâm dữ liệu.

Kimi K3 dùng kiến trúc gì?

Một mô hình mixture-of-experts xây dựng trên hai thay đổi về attention. Theo lời Moonshot AI, mô hình "được xây dựng trên Kimi Delta Attention (KDA), một cơ chế attention tuyến tính lai, và Attention Residuals". Moonshot AI cho biết những thay đổi này, cùng với cách bố trí expert thưa hơn và các phương pháp huấn luyện mới, mang lại cho Kimi K3 "hiệu quả mở rộng tổng thể gấp khoảng 2,5 lần K2". Chi tiết đầy đủ sẽ có trong báo cáo kỹ thuật của Kimi K3.

Cửa sổ ngữ cảnh của Kimi K3 là bao nhiêu?

1.048.576 token, thường được viết là 1M. Prompt, hình ảnh, lịch sử hội thoại và câu trả lời đều dùng chung một cửa sổ này.

Đầu ra tối đa của Kimi K3 là bao nhiêu?

Tối đa 1.048.576 token mỗi yêu cầu, đặt bằng max_completion_tokens. Mặc định là 131.072. Quickstart của Moonshot AI viết: "max_completion_tokens defaults to 131072 and can be set up to 1048576." (max_completion_tokens mặc định là 131072 và có thể đặt tới 1048576.)

Hai điều cần biết:

• Phần suy luận được tính vào giới hạn. Kimi K3 luôn suy luận, và token suy luận dùng chung ngân sách với câu trả lời.
• max_tokens là tên cũ đã ngừng khuyến nghị của cùng giới hạn này. Hãy dùng max_completion_tokens.

Nếu câu trả lời bị cắt ngắn, hãy tăng max_completion_tokens hoặc giảm reasoning_effort để phần ngân sách dành cho suy luận ít hơn. Cửa sổ ngữ cảnh và token đầu ra tối đa giải thích cách nhận biết câu trả lời bị cắt ngắn ở từng định dạng API.

Có tắt được chế độ suy luận của Kimi K3 không?

Không. Kimi K3 luôn suy luận. Bạn có thể đặt reasoning_effort là low, high hoặc max; mặc định là max, mức chậm nhất và dùng nhiều token đầu ra nhất. high phù hợp với hầu hết tác vụ, còn low phù hợp với các bước nhanh, đơn giản. Phần suy luận được trả về trong reasoning_content, bên cạnh content, và được tính phí như token đầu ra.

Những thiết lập nào bị cố định?

Moonshot AI cố định tham số lấy mẫu của Kimi K3: temperature 1.0, top_p 0.95, n 1, presence_penalty 0 và frequency_penalty 0. Mọi giá trị khác đều trả về lỗi, nên hãy bỏ các trường này ra khỏi yêu cầu.

Kimi K3 có đọc được hình ảnh không?

Có, nhưng chỉ dưới dạng data URI base64. URL hình ảnh công khai không được chấp nhận và trả về 400, giống như trên API của chính Kimi. Đầu ra luôn là văn bản.

Gọi Kimi K3 như thế nào?

Trên SeedRouter, Kimi K3 nhận các định dạng OpenAI Chat Completions, OpenAI Responses và Anthropic Messages với cùng một khóa API và ID mô hình kimi-k3. Hướng dẫn API Kimi K3 đi qua yêu cầu đầu tiên, hướng dẫn thiết lập Claude Code và Codex có các cấu hình đã được kiểm thử, và tài liệu tham chiếu API Kimi K3 liệt kê mọi tham số. Giá trực tiếp có trên trang Kimi K3.

Câu hỏi thường gặp

Kimi K3 lớn cỡ nào?

Tổng cộng 2,8 nghìn tỷ tham số, với 16 trong số 896 expert hoạt động mỗi token.

Kimi K3 có phải mã nguồn mở không?

Moonshot AI đã phát hành toàn bộ trọng số mô hình. Kimi K3 có miễn phí không? giải thích tự chạy chúng cần những gì.

Vì sao Kimi K3 dừng ở 131.072 token?

Đó là giới hạn đầu ra mặc định. Đặt max_completion_tokens tới 1048576 để có câu trả lời dài hơn.

Ai phát triển Kimi K3?

Moonshot AI, công ty Trung Quốc đứng sau trợ lý Kimi.