Sun* AI Research Team

Gần đây, sự phát triển của các mô hình ngôn ngữ lớn đã mở đường cho những tiến bộ vượt bậc trong lĩnh vực xử lý ngôn ngữ tự nhiên cũng như đẩy mạnh việc ứng dụng AI tạo sinh vào cuộc sống. Tuy nhiên, những mô hình mạnh mẽ này cũng đi kèm với một số thách thức cần phải giải quyết. Một trong những vấn đề lớn là hiện tượng "hallucination" - ảo giác, tức việc LLM tạo ra các thông tin không chính xá...

Instruction finetuning Việc có một mô hình ngôn ngữ (LM) có khả năng generalize tốt (trong quá khứ) thì khá là khó. Ta đã có thể train instance-level generalize model một cách khá ổn. Tức là, ta sẽ train một model thực hiện mapping input sang output trong task : với . Và khi thực hiện test thì ta sẽ test trên các instance với cùng task .

Tuy nhiên, một LM mạnh, như đã nói, thì cần phải có...

Hiện nay, các công cụ Vector Search Engine như Elastic Search, Azure Cognitive Search vừa lưu trữ data vừa có tính năng search trong khi các Vector database như supabase,... cũng hỗ trợ cả hai tính năng đó. Điều này đôi khi khiến chúng ta khó phân biệt giữa hai khái niệm này. Trong chuỗi bài viết này, mình sẽ cùng các bạn tìm hiểu về hai khái niệm này cũng như phân biệt giữa chúng.

A. Một số ...

Dữ liệu đồ thị chắc hẳn các bạn đã và đang tìm hiểu về học sâu và học máy cũng đã từng nghe qua khái niệm và các bài toán về đồ thị. Nhưng không có quá nhiều bạn thực sự hiểu và triển khai các bài toán trên dữ liệu đồ thị một các hiệu quả. Vậy nên việc hiểu về cách mà các mô hình học sâu được xây dựng trên dữ liệu đồ thị hoạt động như thế nào và triển khai một bài toán đơn giản trên dữ liệu đồ ...

Xin chào mọi người, hôm nay mình sẽ viết bài tìm hiểu về việc kết hợp sử dụng SQL trong pandas như thế nào. Việc sử dụng kết hợp SQL và Pandas còn giúp tăng hiệu năng cho các Data Scientist

Khi kết hợp sử dụng SQL và Pandas, bạn có thể tận dụng sức mạnh của SQL để truy vấn và lọc dữ liệu từ cơ sở dữ liệu một cách hiệu quả, sau đó sử dụng Pandas để thực hiện các phân tích, biến đổi và tạo các ...

Mình sẽ phải mở đầu bài này bằng một câu khen: Đây là một paper cực kì tuyệt vời! Lần đầu tiên mình có thể đem áp dụng ngay một paper ngay khi nó mới ra mắt và đạt được kết quả cực kì tốt. (Gần) Đúng như ở tiêu đề, mình đã có thể fine-tune mô hình 7 tỷ, 13 tỷ và 33 tỷ tham số với 2 con RTX 3090. Đáng nói là mô hình 7 tỷ tham số chỉ chiếm 4-5Gb/GPU, tức là ~10Gb, hoàn toàn có thể training trên G...

Phân tích dữ liệu được sử dụng để khám phá dữ liệu, trích xuất thông tin chi tiết và hành động dựa trên những thông tin chi tiết đó. Phân tích dữ liệu bao gồm nhiều hoạt động, mỗi hoạt động có trọng tâm và mục tiêu riêng. Lĩnh vực phân tích dữ liệu thường được chia thành bốn loại chính: phân tích mô tả, phân tích chẩn đoán, phân tích dự đoán và phân tích theo quy định. Loại thứ năm, phân tích t...

Lời giới thiệu

Xin chào tất cả các bạn, đã lâu lắm rồi kể từ sau bài viết về Trải lòng sau khi đọc GPT-4 Technical Report của OpenAI - các bác nên đổi tên công ty đi mình không có viết bài về LLM nữa. Không phải vì mình không còn quan tâm đến lĩnh vực này mà bởi vì một phần mình chưa thực sự gặp được một LLM nào đủ hay về mặt kĩ thuật để chia sẻ đến tất cả mọi người, một phần vì mình đang tập ...

Fine-tuning là gì? Trong Machine Learning, Fine-tuning là một phương pháp của transfer learning, sử dụng weight của một pre-trained model để train với một bộ data mới, phù hợp với mục đích của người dùng và số lượng dataset thường nhỏ hơn khi pre-train. Việc làm này giúp tăng độ chính xác của model so với việc train trực tiếp với bộ dataset nhỏ của chúng ta. Thông thường, khi thực hiện fine-tun...

Giới thiệu

• Vấn đề đặt ra: hệ thống phân tích dữ liệu của doanh nghiệp thường bao gồm một số dịch vụ sử dụng các định dạng dữ liệu độc quyền do các dịch vụ này được cung cấp từ các nhà cung cấp khác nhau. Điều này làm cho việc tích hợp trở nên phức tạp, tốn thời gian và chi phí, và các hệ thống kết quả thường rất dễ hỏng.
• Vào ngày 23/5/2023 vừa qua, một giải pháp mới của Microsoft ra đời: M...

Mở đầu Tiếp nối bài viết chỉ toàn lý thuyết Bài viết về Airflow cho người mới như mình thì chúng ta đi ngay tới bài thực hành này thôi

Chú ý là mình sẽ thực hành cùng với Python nhé ạ, bài viết sẽ gồm 2 phần thực hành chính

• Thực hành với các tác vụ đơn giản
• Thực hành với bài toán đào tạo mô hình Deep Learning

Cài đặt môi trường

• Trong bài viết của anh Hoàng, có đề cập tới việc setup nhan...

Mở đầu Lướt dạo một vòng thì bài viết Airflow trên Viblo cũng có một số bài tương đối chi tiết như Tất tần tật về Airflow (P1) của anh Hoàng hay Một số điểm cần lưu ý khi sử dụng Airflow - Phần 1 của bạn Trung. Các bạn có thể đọc để hiểu hơn về Airflow

Đứng trên phương diện một người mới (đúng nghĩa, chưa từng làm việc với nó) thì bài viết này, mình rất mong muốn có thể vừa để lưu lại kiến thứ...

Giới thiệu Một trong những việc mà những người làm việc với Data cần làm, đặc biệt là Data Engineering, cần quan tâm đó là việc trích xuất dữ liệu từ nhiều nguồn, đổ về một chỗ (Data Warehouse, Data Lake, ...), để lưu trữ và phân tích dữ liệu. Chúng ta có thể gọi nó là Data Pipeline. Để hiểu hơn về nó, trước hết chúng ta cùng đi trao đổi về ETL và ELT nào. Lẹt doit E-T-L là gì đã? Extract

• Kha...

Note: Tiêu đề và nội dung của bài viết này được lấy cảm hứng từ bài viết của sếp mình: "Hướng đi nào cho những người làm AI trong kỉ nguyên của các Super Large Models?". Recommend các bạn nên đọc để tìm thêm những hướng phát triển trong tương lai (nếu các bạn là AI Engineer).

Nếu các bạn chưa đọc phần 1, có thể bắt đầu từ link này trước để có một cái nhìn tổng quan nhất: Lightweight Fine-Tunin...

Chắc thời gian qua các bạn cũng đã bắt gặp những bài viết với tiêu đề như "Kỹ sư tạo lời nhắc cho chatbot AI có thể kiếm 7,86 tỉ đồng/năm mà không cần bằng cấp công nghệ", hay "How to Get a Six-Figure Job as an AI Prompt Engineer". Vậy bạn có từng tự hỏi, chính xác thì kỹ sư tạo lời nhắc (prompt engineer) là làm cái gì?

Có thể so sánh như này, nếu mô hình ngôn ngữ lớn (LLM) như ChatGPT là sức ...

Xin chào các bạn Pandas cũng đã cập nhật lên bản 2.0 một thời gian rồi, ở bài viết này mình sẽ viết bài review xem có khác biệt gì với version cũ không nhé. Ok chúng ta cùng bắt đầu thôi nào...

Upgrade pandas 2.0 Việc đầu tiên chúng ta cần làm là update lên pandas 2.0

Nâng cao hiệu suất

Pandas 2.0 cải thiện hiệu suất, fixbug và hoạt động hiệu quả hơn. Dựa vào việc sủ dụng Apacge Arrow - một ...

Tiếp nối series kiến thức nền tảng của large language model. Ở Bài 1: Bắt đầu với kiến trúc mô hình - Transformer, mình đã giới thiệu với các bạn về kiến trúc khởi nguồn của large language model - transformer. Trong phần này chúng ta sẽ tiếp tục đi sâu vào những thay đổi về mặt mô hình và phương pháp training unsupervised hiệu quả của language model thông qua lý thuyết và ví dụ code đơn giản mô...

Hello mọi người, để tiếp tục chuỗi series khóa học Statistics with python, mình sẽ viết tiếp bài viết tóm tắt tuần thứ 3 của khóa học. Ở bài trước mình viết về kiến thức thống kê cơ bản. ở bài này mình sẽ viết về trực quan hóa các loại dữ liệu và làm sao để lựa chọn biểu đồ cho phù hợp. Nào chúng ta cùng bắt đầu nhé

Như các bạn cũng biết mục đích cuả trực quan hóa dữ liệu là để cho người ng...

Mở đầu Sự phát triển nhanh chóng của trí tuệ nhân tạo (AI) đã mang lại những thay đổi mang tính cách mạng cho nhiều ngành công nghiệp khác nhau, định hình lại cách chúng ta tương tác với công nghệ hàng ngày. Từ chăm sóc sức khỏe, tài chính hay đến giáo dục. Tuy nhiên, với tốc độ phát triển ngày càng nhanh, điển hình như trong thời gian gần đây với sự trỗi dậy của các mô hình Super Large Model đ...

Chỉ trong vòng vài tháng trở lại đây, thế giới công nghệ đã bị khuynh đảo bởi các mô hình AI như ChatGPT, GPT-4, DALLE-2, Midjourney... Các mô hình AI đã và đang thực sự thay đổi cách thế giới này vận hành, rất nhiều những job title sống dựa vào các ứng dụng AI được sinh ra, đồng thời cũng rất nhiều những công việc khác dần bị loại bỏ. Nếu không nhanh nhạy và kịp thích ứng, thậm chí đến những A...