Sun* AI Research Team

Overview Trong bài viết lần trước, mình đã trình bày về tổng quan lý thuyết về Triton Inference Server bao gồm kiến trúc của Triton, các tính năng chính, thông tin cơ bản và một số Triton Server Tool. Ta hãy cùng sơ lược lại một chút thông tin.

Triton Inference Server là gì ? Triton Inference Server là một "open source inference serving software", cho phép deploy các AI model từ nhiều deep-mac...

Lời mở đầu

Các mô hình embedding văn bản hoạt động rất tốt ở việc encoding các đoạn văn bản (dữ liệu không có cấu trúc) và khiến cho việc tìm kiếm các văn bản giống nhau một các dễ dàng hơn. Và các mô hình embedding này đang được sử dụng phổ biến trong các kiến trúc RAG (Retrieval Augmented Generation) hiện nay, với khả năng có thể encode và truy hồi các thông tin liên quan từ tài liệu hoặc cá...

I. Giới thiệu Với sự phát triển nhanh chóng của trí tuệ nhân tạo trong những năm trở lại đây, các mô hình ngôn ngữ lớn (LLM) đang giải quyết nhiều bài toán đa dạng trong nhiều lĩnh vực:

• Trả lời câu hỏi tự nhiên và hỗ trợ khách hàng: LLM có thể xử lý các câu hỏi từ khách hàng, tự động cung cấp câu trả lời hoặc hướng dẫn người dùng qua chatbot, giúp tối ưu hoá trải nghiệm khách hàng.
• Hỗ trợ s...

Như các bạn đã biết, Retrieval Augmented Generation (RAG) là một phương pháp hiệu quả giúp các mô hình ngôn ngữ lớn có thể truy cập vào cơ sở dữ liệu thông tin bên ngoài mà không cần phải fine-tune mô hình. Một pipeline RAG cơ bản bao gồm một truy vấn từ người dùng (user query), một mô hình embedding có nhiệm vụ chuyển đổi văn bản thành các embedding (các vector số học trong không gian nhiều ch...

Chắc hẳn những anh em làm các con dự án RAG sẽ không còn xa lạ gì với việc phải thiết kế prompt cho một số phase trong hệ thống như QuestionAnalyzer, AnswerGenerator, AnswerEvaluator, ... Vậy các anh em dùng những chiến lược nào cho nhiệm vụ prompting này nhỉ? Từ kinh nghiệm bản thân và có trao đổi với một số anh em bạn bè khác, cá nhân mình nhận ra chúng ta khá thân thuộc với 3 kỹ thuật

• Zero...

1. Numba là gì Numba là trình biên dịch dành cho các hàm Python thực thi trên dữ liệu dạng số và mảng. Nó cho phép viết các chương trình thuần Python mà lại mang tốc độ ngang ngửa các ngôn ngữ biên dịch khác.

Numba thực hiện điều đó bằng cách tạo ra mã máy tối ưu từ code Python, sử dụng LLVM, một framework biên dịch open-source nổi tiếng. Chỉ với một vài thay đổi nhỏ đơn giản tới codebase, các...

Hallo có thể làm gì?

Để những bức ảnh tĩnh “lên tiếng” luôn là mong đợi của con người đối với trí tuệ nhân tạo. Trong những năm gần đây, với sự phát triển của deep learning, công nghệ tạo chuyển động ảnh chân dung được điều khiển bằng âm thanh đã có những bước tiến vượt bậc. Nhiều mô hình khác nhau đã xuất hiện như SadTalker and DiffTalk,... nhưng làm thế nào để đạt được sự đồng bộ hóa môi c...

Lời mở đầu

Đối với dân lập trình viên thì cơ sở dữ liệu là một phần quan trọng trong công việc. Tùy theo các kiểu dữ liệu và số lượng bản ghi mà tôi sẽ chọn sử dụng cơ sở dữ liệu phù hợp nhất. Thường thì là postgres, redis, ... Bình thường thì dân lập trình như chúng ta sẽ không cảm thấy khó khăn gì trong việc kết nối và sử dụng các package này, nhưng với những người không chuyên code thì ngượ...

Lời mở đầu Trong thế giới ngày càng phát triển của trí tuệ nhân tạo, việc tìm kiếm những công cụ hỗ trợ thông minh để tối ưu hóa công việc và cuộc sống hàng ngày ngày càng trở nên quan trọng. Mặc dù GPT (Generative Pre-trained Transformer) của OpenAI đã tạo ra một bước ngoặt lớn trong lĩnh vực này, nhưng hiện nay có nhiều lựa chọn khác đang nổi bật, trong đó có Claude Sonnet 3.5 và Gemini. Bài ...

1. Giới thiệu Ngày nay, các hệ thống chatbot đang ngày càng phổ biến với mục tiêu giải quyết nhiều bài toán thực tế như chăm sóc khách hàng tự động, hỗ trợ bán hàng, và nhiều lĩnh vực khác. Điểm mạnh của chatbot là khả năng tạo ra các cuộc hội thoại tự nhiên, thay thế cách tương tác thông qua các lệnh cứng nhắc. Điều này giúp người dùng dễ dàng trao đổi thông tin với hệ thống hơn, và từ đó cải ...

Tổng quan Triton Inference Server là một open source inference serving software, cho phép deploy các AI model từ nhiều deep-machine learning frameworks, bao gồm TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, v.v. Triton hỗ trợ inference trên cloud, data center và thiết bị nhúng trên GPU NVIDIA, x86 và CPU ARM hoặc AWS Inferentia cũng như mang lại hiệu suất được tối ưu hóa ch...

Mở đầu Với sự phát triển vượt bậc của các mô hình ngôn ngữ lớn (LLMs), từ độ chính xác đến mức độ lý luận càng ngày càng cao thì hệ thống đa tác nhân (LLM agents) càng ngày càng được chú trọng và mang lại những lợi ích vượt trội hơn so với các mô hình ngôn ngữ lớn (LLM) thông thường. Một trong những bài viết khá tổng quan về LLM agents mọi người có thể đọc ở đây

Tóm tắt một chút thì một agent ...

I. Mở đầu: Chào mọi người! Chắc hẳn các bạn đã quen thuộc với việc sử dụng các mô hình ngôn ngữ lớn (LLM) để hỗ trợ trong công việc và cuộc sống hàng ngày. Tuy nhiên, có thể nhiều người trong chúng ta mới chỉ dừng lại ở việc đặt câu hỏi và nhận câu trả lời đơn giản từ các mô hình này. Điều đó thật sự là một sự lãng phí, bởi tiềm năng và sức mạnh của những công nghệ này còn nhiều hơn thế rất nhi...

Mở đầu Giả sử chúng ta có một tệp CSV với nhiều cột và hàng nghìn dòng. Trong phân tích dữ liệu, thông thường ta sẽ tải tệp CSV này vào Pandas DataFrame để kiểm tra. Bạn có thể sẽ thực hiện kiểm tra và làm sạch dữ liệu, loại bỏ một số cột và tạo ra các cột mới. Tuy nhiên, việc này không phải lúc nào cũng rõ ràng với người khác, họ phải mở tệp CSV hoặc xem qua code để hiểu cách các cột được sử d...

Trong kỷ nguyên số hiện nay, dữ liệu không chỉ đóng vai trò là tài sản quý giá mà còn là nguồn lực vô tận giúp các doanh nghiệp và tổ chức đưa ra những quyết định chiến lược. Một trong những loại dữ liệu quan trọng và phổ biến nhất là dữ liệu chuỗi thời gian. Dữ liệu chuỗi thời gian là dữ liệu được thu thập theo thời gian, thường được sử dụng để theo dõi các biến động theo thời gian của một hiệ...

Trong bài này chúng ta sẽ đi tiếp một số kỹ thuật còn lại để cải thiện cho bài toán RAG.

In-Context RALM

Điểm “có thể thay đổi” là việc họ thêm phần rerank có thể training được.

In-Context RALM là một phương pháp kết hợp giữa mô hình ngôn ngữ cố định (Frozen RAG) và BM25 để cải thiện khả năng truy xuất thông tin thông qua việc xếp hạng lại (reranking). Dưới đây là các bước chính và khái niệm...

Trong thời gian gần đây, việc phát triển của các mô hình ngôn ngữ lớn (LLMs) đang phát triển chóng mặt, từ những open source model đến những close source model từ các ông lớn trong ngành. Và có lẽ những người được hưởng lợi khá lớn từ sự cạnh tranh này là những người như chúng ta, và những phương án tối ưu dần được thiết kế ra, từ những phương án tối ưu fine tuning về mặt weight, prompt đến nhữ...

Mở đầu Chắc hẳn anh em làm về AI không còn quá mới lạ về RAG (Retrieval Augmented generation) nữa rồi. Với sự rầm rộ của GPT của OpenAI thì các ông lớn như Microsoft cũng bắt tay để tạo ra các dịch vụ như Azure OpenAI. Các dự án về chatbot xây dựng theo hệ thống RAG cũng ngày một nhiều. Diễn đàn, LinkedIn, research paper, workshop về RAG đang rất nhiều bởi tính ứng dụng cao của nó.

Bản thân m...

Chào các bạn đến với bài viết của mình, đã rất lâu rồi mình mới có thể ngồi lại và chia sẻ một số kiến thức mà mình đã tìm hiểu được cho các bạn đọc. Trong một dự án AI có yêu cầu lưu trữ dữ liệu, việc sử dụng cơ sở dữ liệu là cần thiết. Mình đã chọn SQLAlchemy để thực hiện việc này, và đó chính là lý do bài viết này được hoàn thành.

Cảm ơn các bạn đã lựa chọn bài viết này để tham khảo, nếu c...

Trong lĩnh vực Information Retrieval, ranking là một phần quan trọng. Nó giúp ưu tiên các kết quả có liên quan hơn. Trong nhiều trường hợp, sử dụng duy nhất một mô hình ranking có thể không phù hợp với những yêu cầu phong phú từ người dùng. Chính vì cậy, ý tưởng về kết hợp các kết quả ranking ra đời. Việc kết hợp kết quả từ nhiều mô hình ranking sẽ làm tăng độ chính xác của retrival. Trong bài ...