Sun* AI Research Team

Chúng ta đã tìm hiểu về cách huấn luyện mô hình score và cách lấy mẫu với Langevin dynamics. Tuy nhiên cách làm trực tiếp đó chưa đủ để sinh ra dữ liệu tốt. Trong bài này chúng ta sẽ tìm hiểu về cách để xây dựng một mô hình score mạnh. Ước lượng score của biến ngẫu nhiên ẩn Thay vì ước lượng trực tiếp score của dữ liệu ban đầu, ta có thể áp dụng score matching cho biến ẩn của mô hình sinh. Ví ...

I. Giới thiệu

Nghiên cứu và ứng dụng mô hình Transformer trong bài toán xử lý ngôn ngữ (natural language processing) đã trở nên vô cùng phổ biến. Tuy nhiên trong thị giác máy tính thì ứng dụng và nghiên cứu mô hình Transformer còn hạn chế. Khi gặp những bài toán thị giác máy tính như object detection, object segmentation, ... kiến trúc tích chập vẫn là kiến trúc quen thuộc mà chúng ta thường s...

Giới thiệu Khi nhắc tới việc cải thiện hiệu suất của các tác vụ học máy, chắc hẳn các bạn sẽ nghĩ tới 1 cách đơn giản nhất chính là đào tạo nhiều mô hình trên cùng 1 tập dữ liệu, sau đó tính trung bình dự đoán của chúng hoặc chọn ra mô hình có độ chính xác tốt nhất (thông thường là lấy trung bình dự đoán). Tuy nhiên cách này tức là mình sẽ sử dụng toàn bộ các mô hình, chưa nói đến việc các mô h...

Sau khi phát triển được một mô hình (model) đạt được độ chính xác theo yêu cầu. Việc tiếp theo có lẽ chúng ta sẽ phải làm trước khi triển khai mô hình là tối ưu về tốc độ(speed), bộ nhớ(memory footprint) và năng lượng(energy). Những cách phổ biến có thể nghĩ đến là lượng tử hóa(quantization), chưng cất hiểu biết(knowledge distillation) và cắt tỉa trọng số(weight pruning). Trong bài này, chúng t...

Source paper: https://arxiv.org/pdf/2105.03026.pdf

Giới thiệu Trong thời kì địa dịch Covid-19 bùng nổ trên khắp toàn cầu, có thể nói khẩu trang là một vật dụng vô cùng thiết yếu. Với lĩnh vực Computer Vision thì một bài toán mới được sinh ra: làm thể nào để nhận diện khuôn mặt khi khuôn mặt đó đeo khẩu trang (khi mà một nửa khuôn mặt đã bị che khuất). Mình đã tìm kiếm khá nhiều tuy nhiên đây l...

Mình hi vọng bài viết này có thể cung cấp một cái nhìn toàn cảnh về bài toán Face Anti-spoofing.

Các phần mình sẽ giới thiệu lần lượt là:

• Giới thiệu tổng quan
• Các cách tấn công giả mạo - Attack methods
• Các phương pháp chống giả mạo - Anti-spoofing methods
• Cách đánh giá mô hình - Evaluate metrics
• Bốn loại giao thức đánh giá - Evaluation Protocols
• Tổng quan về Deep Learning based me...

Introduction Trong thời gian gần đây, chúng ta thường nghe đến các như khái niệm chuyển đổi số hay một bài toán con cuả nó là số hóa tài liệu được nhắc đến rất nhiều trên các phương tiện truyền thông đại chúng. Số hóa tài liệu là quá trình chuyển đổi từ các dạng văn bản, tài liệu vật lý như chữ viết tay, giấy in.. thành những dữ liệu số mà máy tính có thể lưu trữ, đọc hiểu được. Số hóa tà...

I. Lời mở đầu Nhận dạng cấu trúc bảng là một vấn đề tương đối phức tạp trong bài toán xử lý và phân tích cấu trúc của một văn bản. Dữ liệu bảng được sử dụng rộng rãi trong các loại văn bản và chứa rất nhiều thông tin. Chúng ta có thể nhìn thấy dữ liệu dạng bảng trong nhiều lĩnh vực, trong nhiều cơ quan hành chính chính phủ hay các công ty như ngân hàng,... Họ đều phải xử lý hàng triệu dữ liệu b...

AI (Trí tuệ nhân tạo) đang dần "xâm chiếm" hầu như tất cả các lĩnh vực trong cuộc sống. Với tính chất tự động hóa cao, có thể thực hiện các công việc khó và có độ chính xác ngày càng được cải thiện, AI đang dần trở thành một công cụ khó có thể thay thế được. Tuy nhiên, các mô hình AI hiện tại được đánh giá là "nặng, yêu cầu phần cứng cao" khiến cho việc áp dụng vào trong các dự án thực tế trở n...

I. Lời mở đầu Xin chào mọi người, mình là Mạnh đây. Chắc mọi người đã quen thuộc với những lớp mạng CNN (Convolution neural networks) được sử dụng rất nhiều trong các mô hình học sâu rồi nhỉ. Hôm nay mình xin giới thiệu một người anh em của CNN - Deformable Convolution Networks (DCN). Người anh em này so với ông CNN có khả năng mô hình hóa chuyển đổi (transformation modeling capability) tốt hơn...

Lời mở đầu Xin chào các bạn. Chắc hẳn chúng ta đã không còn xa lạ gì với những thuật toán Reinforcement Learning sử dụng Deep Learning rồi phải không. Có bao giờ bạn đặt ra câu hỏi rằng thay vì chúng ta cố gắng đi tìm những kiến trúc mạng khổng lồ rồi cố gắng tối ưu nó thì chúng ta sẽ thử một trong những phương pháp khác không cần dùng đến mạng nơ ron chưa? Nếu bạn cũng đang có những băn khoăn ...

[IMG]

Con người vẫn đang cố gắng mô phỏng các cơ chế trong tự nhiên để giải những bài toán chưa tìm ra giải pháp. Ví dụ mạng nơ-ron trong học máy được lấy ý tưởng mạng nơ-ron trong sinh học, cơ chế tập trung(attention) của não,... Trong bài này, mình sẽ giới thiệu cho các bạn về giải thuật di truyền, một phương pháp khác lấy ý tưởng từ sinh học. Một số ví dụ về áp dụng giải thuật di truyền trong AI...

Lời nói đầu Xin chào các bạn. Cũng đã lâu rồi mình mới bài viết mới và hôm nay mình xin được quay lại với series paper explain cũng đã ngâm hàng khá lâu rồi. Chắc hẳn các bạn nào đã làm việc nhiều với các kiến trúc mạng CNN thì không còn xa lạ gì với kiến trúc ResNet nữa rồi nhỉ. Nó đã quá thành công và vẫn được sử dụng làm backbone cho rất nhiều bài toán Computer Vision hiện nay như Image Clas...

Chào các bạn đã trở lại với series về Paper Explain - Series giải thích chi tiết về các paper trong lĩnh vực AI. Paper hôm nay chúng ta sẽ tìm hiểu là một paper rất hay, nó mang tên What’s Hidden in a Randomly Weighted Neural Network?. Paper này không bàn về một kiến trúc mạng mới mà nói về một tư tưởng mới trong việc training mạng nơ ron. Từ xưa đến nay thì chúng ta vẫn nghĩ rằng việc training...

Abstract

Chắc hẳn đối với ai làm việc với dữ liệu đều sẽ gặp ít nhất một vài lần với vấn đề mất cân bằng dữ liệu. Đây cũng là một vấn đề rất quan trọng đối với các bài toán học máy. Vậy mất cân bằng dữ liệu là gì?

Mất cân bằng dữ liệu (Imbalanced dataset) là tập dữ liệu có tỷ lệ categories khác nhau, thường là chênh nhau khá xa. Ví dụ dữ liệu y tế, chắc hẳn dữ liệu về một số bệnh sẽ có nhiều ...

[IMG]

Mở đầu

Hẳn là chúng ta đã quen với việc train, evaluate model machine learning rồi. Vậy train xong rồi thì làm gì? Khi đưa mô hình ML từ research lên môi trường production (ví dụ như app điện thoại hoặc phần mềm máy tính) thì phải làm thế nào? Trên thực tế, model serving thường có nghĩa là model sẽ được deploy như một service và các service khác có ...

Tiếp nối chủ đề của bài viết lần trước: "Video Understanding: Tổng quan", hôm nay mình muốn cùng mọi người phân tích 1 paper khá hay trong lớp bài toán video understanding/action recognition: TSM: Temporal Shift Module for Efficient Video Understanding.

TSM không mới (đã được giới thiệu lần đầu từ 2019), cũng không phải SOTA hiện tại (nhưng là SOTA tại thời điểm nó ra mắt), tuy nhiên, tính đơn...

Giới thiệu

Như chúng ta đã biết, CNN gần đây được dùng để giải quyết các vấn đề trong lĩnh vực về thị giác máy tính và phân tích ảnh y tế. Tuy nhiên, hầu hết các cách tiếp cận mới chỉ dừng lại trong việc xử lý ảnh 2D, mà dữ liệu ảnh y tế thường được sử dụng lại là các khối ảnh 3D. Nên trong bài báo này, tác giả đề xuất 1 cách tiếp cận để xử lý ảnh 3D dựa trên các khối thể tích.

Ngoài ra, tác ...

[IMG]

Ngày nay, Image Segmentation đã trở thành 1 lĩnh vực nghiên cứu tích cực, vì nó giúp ích rất nhiều trong ứng dụng thực tiễn, từ tự động phát hiện bệnh cho đến ứng dụng xe tự hành.

Trong 5 năm qua, có rất nhiều bài báo nói về các loss function, mỗi loss function lại phù hợp với 1 trường hợp bài toán riêng, ví dụ như biased data, sparse segmentation, ... Vậy trong bài viết này, chúng ta cùng t...

Chào mọi người, hôm nay mình sẽ giới thiệu với mọi người 1 phương pháp vô cùng cần thiết trong bước tiền xử lý dữ liệu: Scaling và Normalization

I. Tại sao cần scaling và normalization?

Khi xử lý dữ liệu thô, chúng ta sẽ gặp rất nhiều các dạng dữ liệu lạ nên đôi khi rất khó để phân tích và tìm ra insights. Một cách tiếp cận đơn giản là biến đổi dữ liệu, mục tiêu là đưa dữ liệu về một phân p...