Xiaomi vừa chính thức gia nhập sân chơi mô hình ngôn ngữ lớn (LLM) với việc công bố MiMo-7B. Điểm đáng chú ý là dù có kích thước chỉ 7 tỷ tham số, tương đối “nhỏ gọn” so với nhiều “gã khổng lồ” khác. Mô hình này được Xiaomi định hướng tập trung vào khả năng xử lý các tác vụ đòi hỏi khả năng suy luận chuyên sâu, đặc biệt là trong lĩnh vực toán học và lập trình.
Vậy làm thế nào một mô hình 7 tỷ tham số lại có thể cạnh tranh trong các lĩnh vực vốn đòi hỏi năng lực tính toán và suy luận cao? Câu trả lời nằm ở quá trình huấn luyện và các kỹ thuật tối ưu mà đội ngũ Big Model Core Team của Xiaomi đã áp dụng. Nền tảng của MiMo-7B được xây dựng từ việc “tiêu thụ” tổng cộng 25 nghìn tỷ token dữ liệu qua ba giai đoạn huấn luyện. Trong đó, có tới 200 tỷ token được chọn lọc kỹ lưỡng, tập trung vào việc nâng cao khả năng suy luận logic và thuật toán của mô hình.
Một điểm khác biệt kỹ thuật quan trọng là việc Xiaomi không sử dụng phương pháp dự đoán token kế tiếp thông thường. Thay vào đó, hãng triển khai mục tiêu dự đoán đa token, một cách tiếp cận được cho là giúp rút ngắn đáng kể thời gian cần thiết để mô hình đưa ra kết quả (tốc độ suy luận) mà vẫn đảm bảo chất lượng đầu ra. Quá trình tinh chỉnh sau huấn luyện cũng được đầu tư bài bản với các thuật toán học tăng cường (RL) tùy chỉnh như “Test Difficulty Driven Reward” và kỹ thuật ổn định huấn luyện “Easy Data Re-Sampling”. Hạ tầng phần cứng cũng được tối ưu với hệ thống “Seamless Rollout”, giúp tăng tốc độ huấn luyện lên 2.29 lần và hiệu suất xác thực cải thiện gần gấp đôi so với trước.
Hiệu quả của những nỗ lực kỹ thuật này được thể hiện qua các kết quả benchmark được công bố. Xiaomi cho biết, phiên bản MiMo-7B-RL đã vượt qua các mô hình như o1-mini của OpenAI và Qwen-32B-Preview của Alibaba trong các bài kiểm tra cụ thể về suy luận toán học (AIME 24-25) và cạnh tranh viết mã (LiveCodeBench v5). Cụ thể hơn, mô hình đạt trên 68% điểm trong bộ dữ liệu AIME 2024, 95.8% trên MATH-500 và 57.8% trên LiveCodeBench v5. Đối với các bài kiểm tra kiến thức tổng quát hơn (như DROP, MMLU-Pro, GPQA), MiMo-7B đạt điểm số trong khoảng trên 50%, một mức hiệu năng được xem là phù hợp với quy mô 7 tỷ tham số.
Với định hướng đóng góp cho cộng đồng, Xiaomi đã phát hành MiMo-7B hoàn toàn miễn phí dưới dạng mã nguồn mở. Các nhà phát triển và nhà nghiên cứu có thể dễ dàng truy cập và thử nghiệm bốn phiên bản khác nhau của mô hình (Base, SFT, RL-Zero, và RL là phiên bản được tinh chỉnh sâu nhất thông qua nền tảng Hugging Face. Toàn bộ tài liệu kỹ thuật liên quan và các điểm kiểm tra mô hình (checkpoints) cũng được công khai trên GitHub, tạo điều kiện thuận lợi cho việc tích hợp và phát triển các ứng dụng dựa trên MiMo-7B.
Xem thêm: Google mở rộng tính năng Gemini Live cho mọi thiết bị Android
