Sun* AI Research Team

Tổng quan Triton Inference Server là một open source inference serving software, cho phép deploy các AI model từ nhiều deep-machine learning frameworks, bao gồm TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, v.v. Triton hỗ trợ inference trên cloud, data center và thiết bị nhúng trên GPU NVIDIA, x86 và CPU ARM hoặc AWS Inferentia cũng như mang lại hiệu suất được tối ưu hóa ch...

Mở đầu Với sự phát triển vượt bậc của các mô hình ngôn ngữ lớn (LLMs), từ độ chính xác đến mức độ lý luận càng ngày càng cao thì hệ thống đa tác nhân (LLM agents) càng ngày càng được chú trọng và mang lại những lợi ích vượt trội hơn so với các mô hình ngôn ngữ lớn (LLM) thông thường. Một trong những bài viết khá tổng quan về LLM agents mọi người có thể đọc ở đây

Tóm tắt một chút thì một agent ...

I. Mở đầu: Chào mọi người! Chắc hẳn các bạn đã quen thuộc với việc sử dụng các mô hình ngôn ngữ lớn (LLM) để hỗ trợ trong công việc và cuộc sống hàng ngày. Tuy nhiên, có thể nhiều người trong chúng ta mới chỉ dừng lại ở việc đặt câu hỏi và nhận câu trả lời đơn giản từ các mô hình này. Điều đó thật sự là một sự lãng phí, bởi tiềm năng và sức mạnh của những công nghệ này còn nhiều hơn thế rất nhi...

Mở đầu Giả sử chúng ta có một tệp CSV với nhiều cột và hàng nghìn dòng. Trong phân tích dữ liệu, thông thường ta sẽ tải tệp CSV này vào Pandas DataFrame để kiểm tra. Bạn có thể sẽ thực hiện kiểm tra và làm sạch dữ liệu, loại bỏ một số cột và tạo ra các cột mới. Tuy nhiên, việc này không phải lúc nào cũng rõ ràng với người khác, họ phải mở tệp CSV hoặc xem qua code để hiểu cách các cột được sử d...

Trong kỷ nguyên số hiện nay, dữ liệu không chỉ đóng vai trò là tài sản quý giá mà còn là nguồn lực vô tận giúp các doanh nghiệp và tổ chức đưa ra những quyết định chiến lược. Một trong những loại dữ liệu quan trọng và phổ biến nhất là dữ liệu chuỗi thời gian. Dữ liệu chuỗi thời gian là dữ liệu được thu thập theo thời gian, thường được sử dụng để theo dõi các biến động theo thời gian của một hiệ...

Trong bài này chúng ta sẽ đi tiếp một số kỹ thuật còn lại để cải thiện cho bài toán RAG.

In-Context RALM

Điểm “có thể thay đổi” là việc họ thêm phần rerank có thể training được.

In-Context RALM là một phương pháp kết hợp giữa mô hình ngôn ngữ cố định (Frozen RAG) và BM25 để cải thiện khả năng truy xuất thông tin thông qua việc xếp hạng lại (reranking). Dưới đây là các bước chính và khái niệm...

Trong thời gian gần đây, việc phát triển của các mô hình ngôn ngữ lớn (LLMs) đang phát triển chóng mặt, từ những open source model đến những close source model từ các ông lớn trong ngành. Và có lẽ những người được hưởng lợi khá lớn từ sự cạnh tranh này là những người như chúng ta, và những phương án tối ưu dần được thiết kế ra, từ những phương án tối ưu fine tuning về mặt weight, prompt đến nhữ...

Mở đầu Chắc hẳn anh em làm về AI không còn quá mới lạ về RAG (Retrieval Augmented generation) nữa rồi. Với sự rầm rộ của GPT của OpenAI thì các ông lớn như Microsoft cũng bắt tay để tạo ra các dịch vụ như Azure OpenAI. Các dự án về chatbot xây dựng theo hệ thống RAG cũng ngày một nhiều. Diễn đàn, LinkedIn, research paper, workshop về RAG đang rất nhiều bởi tính ứng dụng cao của nó.

Bản thân m...

Chào các bạn đến với bài viết của mình, đã rất lâu rồi mình mới có thể ngồi lại và chia sẻ một số kiến thức mà mình đã tìm hiểu được cho các bạn đọc. Trong một dự án AI có yêu cầu lưu trữ dữ liệu, việc sử dụng cơ sở dữ liệu là cần thiết. Mình đã chọn SQLAlchemy để thực hiện việc này, và đó chính là lý do bài viết này được hoàn thành.

Cảm ơn các bạn đã lựa chọn bài viết này để tham khảo, nếu c...

Trong lĩnh vực Information Retrieval, ranking là một phần quan trọng. Nó giúp ưu tiên các kết quả có liên quan hơn. Trong nhiều trường hợp, sử dụng duy nhất một mô hình ranking có thể không phù hợp với những yêu cầu phong phú từ người dùng. Chính vì cậy, ý tưởng về kết hợp các kết quả ranking ra đời. Việc kết hợp kết quả từ nhiều mô hình ranking sẽ làm tăng độ chính xác của retrival. Trong bài ...

Hello mn, hôm nay chúng ta sẽ cùng nhau tìm hiểu Snowflake nhé ^^.

Trong kỷ nguyên số, dữ liệu là tài sản quý giá nhất của các doanh nghiệp. Việc quản lý, phân tích và bảo mật dữ liệu trở thành nhiệm vụ tối quan trọng. Snowflake, một nền tảng dữ liệu đám mây, đã xuất hiện như một giải pháp đột phá, cung cấp khả năng lưu trữ, xử lý và phân tích dữ liệu một cách hiệu quả và linh hoạt.

1. Snowfl...

Giới thiệu chung về digital Human

Digital Human hay còn gọi là nhân vật ảo, đã và đang trở thành một xu hướng quan trọng trong lĩnh vực AI và công nghệ thông tin. Đây là những nhân vật được tạo ra hoàn toàn bằng kỹ thuật số có khả năng tương tác giống như con người. Trong năm qua, sự kết hợp giữa AI Avatar và các mô hình ngôn ngữ lớn (LLMs) đã mở ra khả năng mới cho việc tạo ra các avatar AI k...

Trong API docs của Google cung cấp cho mô hình Gemini, có mục Prompt design strategies, tức một số chiến lược chúng ta có thể áp dụng khi thiết kế prompt cho mô hình ngôn ngữ lớn. Tuy đây là tài liệu dành cho Gemini nhưng mình thấy nó hoàn toàn có thể áp dụng cho các LLM khác. Hãy cùng xem các kỹ sư Google có cho chúng ta biết thêm điều gì hay ho mới mẻ về prompt engineering không nhé:

1. Cung...

Chào mọi người, hôm nay chúng ta sẽ khám phá dbt (data build tool), một công cụ đặc biệt hữu ích cho những ai đang làm việc trong lĩnh vực dữ liệu. dbt là một quy trình biến đổi dữ liệu giúp tăng hiệu quả công việc và chất lượng kết quả thông qua việc sử dụng các phương pháp tốt nhất của kỹ thuật phần mềm, như kiểm soát phiên bản, modular hóa và CI/CD. Tuy nhiên hôm nay mình sẽ tập trung về db...

Mở đầu: Trong bối cảnh trí tuệ nhân tạo phát triển nhanh chóng, LLM agents (các tác nhân mô hình ngôn ngữ lớn) đang trở thành một bước tiến quan trọng, mang lại những lợi ích vượt trội so với các mô hình ngôn ngữ lớn (LLM) thông thường. Mặc dù LLM thông thường đã cho thấy khả năng xử lý ngôn ngữ tự nhiên ấn tượng và cung cấp câu trả lời dựa trên dữ liệu đào tạo, chúng vẫn còn hạn chế trong việc...

Lời nói đầu Xin chào các bạn, lâu lắm rồi mình mới có viết một bài viết mới, rất hi vọng là các bạn vẫn còn nhớ đến mình. Dạo gần đây với sự phát triển bùng nổ của các loại LLM khác nhau thì các ứng dụng RAG. - Retrieval Augmented Generation (RAG) cũng nổi lên như một kĩ thuật thượng thừa khi làm việc với các LLM. Ưu điểm của RAG thì không phải bàn cãi nữa rồi nhưng làm thể nào để có thể xây dự...

Trước khi vào bài, hãy cùng xem qua những RAD-NeRF có thể làm được:

https://me.kiui.moe/radnerf/

Lưu ý: bài đọc yêu cầu cần có kiến thức về NeRF, mọi người hãy đọc phần 1 ở đây để hiểu rõ hơn nhé!

Từ một video duy nhất, RAD-NeRF có thể tổng hợp được mô hình người có thể nói gần như bất kỳ từ hoặc câu nào trong thời gian thực với chất lượng khá tốt. Chúng ta có thể tạo hoạt ảnh cho phần đầu n...

Tổng quan Phần 1) chúng ta đã cùng nhau xác định các bước để tạo ra một mô hình xử lý bài toán NER thông qua việc finetuning BERT

Quá trình finetune BERT cho bài toán masking thông tin cá nhân bao gồm các bước sau:

• Chuẩn bị dữ liệu: Tùy thuộc vào mục tiêu bài toán chúng ta sẽ tập chung vào từng bộ dữ liệu cụ thể

• Tiền xử lý dữ liệu: Xử lý dữ liệu văn bản để đưa vào mô hình BERT, bao g...

Tổng quan Với sự phát triển nhanh chóng của công nghệ xử lý ngôn ngữ tự nhiên (NLP), việc bảo vệ thông tin cá nhân trên các nền tảng trực tuyến đã trở thành một vấn đề quan trọng. Một trong những giải pháp hiệu quả để giải quyết vấn đề này là sử dụng mô hình BERT (Bidirectional Encoder Representations from Transformers) để thực hiện bài toán masking thông tin cá nhân.

BERT là một mô hình ngôn ...

1. GEMM không phải là nhân ma trận thôi à? Đúng vậy, GEMM chính là phép nhân ma trận. GEMM là viết tắt của GEneral Matrix Multiplication, là một phần của đặc tả bậc 3 của BLAS (Basic Linear Algebra Subprogram). GEMM được đặc tả với công thức tổng quát sau:

Trong đó và là các ma trận đầu với size lần lượt là và , và là đại lượng vô hướng, là ma trận đầu ra được khởi tạo từ trước với size ...