Suy nghĩ về giải pháp

1. Khả năng gọi lại thông tin cũ
2. Ví dụ: “Nhà hàng bạn gợi ý ở Stockholm tên gì nhỉ?” – đây là bài toán trích xuất thông tin cơ bản.
3. Không chỉ đổ tất cả vào context window vì làm vậy dễ gây “hallucination”.
4. Lưu trữ từng tin nhắn kèm tóm tắt, dùng truy vấn kết hợp (hybrid search) khi cần.
5. Gắn timestamp, metadata, tự chỉnh sửa (self-editing) để cập nhật và làm mới các sự kiện đã thay đổi.
6. Multi-hop reasoning (suy luận nhiều bước) và nhận dạng mẫu – để trả lời các câu hỏi nhận thức sâu như: “Bạn đã đi bao nhiêu concert năm nay?”, “Bạn nghĩ gu âm nhạc của tôi thế nào?” → có thể cần xây biểu đồ tri thức (knowledge graph).

Tổ chức giải pháp bộ nhớ

Chia bộ nhớ dài hạn thành hai nhóm:

• Pocket-sized facts: những thông tin nhỏ gọn, ví dụ như sở thích người dùng, được lưu và truy xuất nhanh. ChatGPT (bản có hỗ trợ bộ nhớ) triển khai theo dạng này: phân loại thông tin vào các mục như hồ sơ, sở thích, dự án; cập nhật nếu trùng hoặc tạo mới khi khác.
• Long-span conversational memory: lưu toàn bộ cuộc trò chuyện và tóm tắt để dùng sau. Khi xây tự mình, bạn cần cân nhắc mức độ chi tiết lưu trữ để tránh bộ nhớ phình to (memory bloat) và cơ sở dữ liệu quá lớn.

Kiến trúc phổ biến hiện nay

A. Vector store

• Dễ triển khai: embed tài liệu, rồi tìm theo câu hỏi.
• Nhược điểm: bất biến, dễ sinh ra dữ kiện mâu thuẫn; không rõ thời điểm nói gì; cần giản lược hoặc nén dữ liệu.

Giải pháp:

• Cập nhật và tóm tắt thường xuyên, gắn timestamp metadata, prune dữ liệu cũ.

B. Knowledge Graph (KG)

• Mỗi sự kiện gắn với thời điểm hết hạn (invalid_at date), giữ nguyên lịch sử.
• Hỗ trợ truy vấn đa bước và reasoning tốt hơn.
• Nhược: cơ sở hạ tầng phức tạp, độ trễ cao khi truy vấn “thâm sâu”.

Kết luận: cả hai mô hình thường kết hợp lưu trữ, phân loại pocket-facts, tóm tắt bằng LLM trước khi ingest.

Giải pháp hiện có từ các vendor

Các framework mới xuất hiện 1–2 năm gần đây, chia theo hướng vector-first hoặc KG-first.

Ví dụ:

• Zep / Graphiti (KG-first): dùng LLM để tạo node/edge, cập nhật khi thông tin thay đổi, tìm theo semantic + traversal để multi-hop reasoning.
• Mem0 (vector-first): thêm facts dưới dạng vector và tự động cập nhật hoặc ghi đè facts lỗi thời.
• Letta: giống Mem0, thêm tính năng lưu tóm tắt hội thoại + phân vùng theo category.

Các nền tảng này đều hỗ trợ phân loại theo category (ví dụ: “mood hiện tại”) – tương tự ChatGPT.

• Vector-first gặp khó khăn về reasoning theo thời gian và multi-hop, vì dữ liệu ngày càng nhiều gây “nhiễu”.
• KG-first gặp khó về mở rộng và độ trễ khi traverse sâu.

Chưa thông tin đầy đủ về latency thực tế, nhưng về bảo mật, nền tảng duy nhất đạt chứng chỉ SOC 2 Type 2 (chứng chỉ kiểm toán bảo mật dữ liệu cho các nhà cung cấp dịch vụ) là Zep. Các nền tảng khác có thể tự host nên phụ thuộc vào hạ tầng của bạn.

Chi phí và mô hình kinh tế

Hầu hết nền tảng bắt đầu miễn phí, nhưng khi gửi vài nghìn tin nhắn, chi phí tăng nhanh. Nếu tổ chức bạn trao đổi hàng trăm cuộc mỗi ngày, phí sẽ đáng kể.

Chiến lược:

• Bắt đầu với cloud vendors,
• Chuyển sang tự host khi quy mô tăng,
• Hoặc kết hợp: dùng classifier để tiết kiệm, chỉ lưu facts nhỏ, push phần còn lại vào vector store rồi prune/tóm tắt định kỳ.

Cho LLM “byte-sized facts” trong context giúp giảm hallucination và tiết kiệm token generation.

Lưu ý quan trọng

• Không kỳ vọng hệ thống hoàn hảo: LLM vẫn có thể tạo ra thông tin sai hallucinate và bỏ sót, bộ nhớ đôi khi không chính xác.
• Không hệ thống nào hiện tại đạt độ chính xác tuyệt đối.
• Những bài toán còn bỏ trống: chất lượng scale, evaluate hệ thống, bảo mật, latency thực tế.
• Cần tự thử nghiệm và điều chỉnh cho từng use case.

📌 Nguồn: Ida Silfverskiöld – a self-taught developer and AI-focused blogger based in Stockholm; TowardDataScience.

------------

Follow us on our social media to keep updated!

LinkedIn: https://vn.linkedin.com/company/fptiscareers

Facebook: https://www.facebook.com/fptiscareer

TikTok: https://www.tiktok.com/@fptiscareers

Threads: https://www.threads.com/@lifeatfptis?hl=en

Email us: Fiscareers@fpt.com