Cross-entropy loss là gì?

Mặc dùhinge loss tương đối phổ biến, nhưng bọn họ có nhiều khả năng sử dụng hàm mất mátcross-entropyvà phân loại Softmax trong bối cảnh họcsâu cùng mạng lưới thần gớm tích chập.Trình phân loại Softmax cung cấp cho bọn họ xác suất mang đến mỗi nhãn lớp trong những khi mất bản lề cung cấp cho việc đó ta.

Bạn đang xem: Cross entropy là gì

Chúng ta dễ dàng hơn nhiều khi bé người giải phù hợp xác suất thay bởi vì điểm số lề. Hơn nữa, đối với các bộ dữ liệu như ImageNet, chúng ta thường quan sát vào độ đúng chuẩn rank-5 của mạng lưới thần ghê tích chập (nơi cửa hàng chúng tôi kiểm tra coi liệu nhãn thật gồm nằm trong đứng đầu 5 nhãn được dự đoán ko được trả về bởi một mạng cho một hình ảnh đầu vào nhất định). Coi nếu (1) nhãn lớp thực sự tồn tại trong vị trí cao nhất 5 dự đoán với (2) xác suất tương quan đến mỗi nhãn là một thuộc tính đẹp.


Trình phân loại Softmax là một bao gồm của dạng nhị phân của hồi quy logistic. Giống như trong hinge loss hoặc squared hinge loss, chức năng ánh xạ f của họ được xác định sao cho nó bao gồm một bộ đầu vào là dữ liệu x_i và ánh xạ chúng đến nhãn lớp đầu ra thông qua sản phẩm chấm của ma trận dữ liệu và ma trận trọng số W(bỏ qua thuật ngữ thiên vị mang lại ngắn gọn):f (x_i;W) = W x_i

Tuy nhiên, không giống như hinge loss, họ có thể hiểu những điểm số này là xác suất nhật cam kết không chuẩn hóa cho mỗi nhãn lớp, tất cả nghĩa là hoán đổi chức năng mất bản lề với mất entropy chéo.Hãy lưu ý rằng logarit của bọn họ ở đây thực sự là cơ sở e (logarit tự nhiên) vì chúng ta đang lấy nghịch đảo của lũy thừa so với e trước đó. Số mũ thực tế và chuẩn hóa thông qua tổng số mũ là hàm Softmax của bọn chúng ta. Log âm có lại tổn thất entropy chéo cánh thực tế của bọn chúng ta.Cũng giống như hinge loss và squared hinge loss, giám sát và đo lường mất đuối cross-entropytrên toàn bộ bộ dữ liệu được thực hiện bằng cách lấy trung bình.Một lần nữa, chún ta lại cố tình bỏ qua thuật ngữ regaularizationtừ hàm mất đuối của bọn chúng ta. Bọn họ sẽ tảo trở lại regaularization, giải thích hợp nó là gì, sử dụng nó như thế nào và tại sao nó lại quan lại trọng đối với các mạng lưới thần kinh và sâu sắc học ở các bài kế. Nếu những phương trình trên có vẻ đáng sợ, đừng lo lắng - chúng ta sẽ làm cho việc thông qua các ví dụ bằng số trong phần tiếp theo để đảm bảo họ hiểu phương pháp thức hoạt động của hàm mất mát cross-entropy.

*

Scoring function
Dog-3.44
Cat1.16
Panda3.91

Scoring functionUnnormalized Probabilities
Dog-3.440.03
Cat1.163.19
Panda3.9149.90

Scoring functionUnnormalized ProbabilitiesNormalized Probabilities
Dog-3.440.030.0006
Cat1.163.190.0601
Panda3.9149.900.9393

Scoring functionUnnormalized ProbabilitiesNormalized ProbabilitiesNegative Log Loss
Dog-3.440.030.0006
Cat1.163.190.0601
Panda3.9149.900.93930.0626

Để chứng minh hàm mất non cross-entropy vào hành động, hãy lưu ý những table trên. Mục tiêu của chúng ta là phân loại xem hình ảnh trên có một con chó, mèo hoặc gấu trúc. Rõ ràng, họ có thể thấy rằng hình ảnh là một chú gấu trúc nhỏ - nhưng phân loại Softmax của shop chúng tôi nghĩ gì? Để search hiểu, bọn họ sẽ cần phải làm việc qua bốn tabletrong hình.Bảng đầu tiên bao gồm đầu ra của hàm tính điểm f của bọn chúng tacho mỗi trong ba lớp, tương ứng. Các giá trị này là xác suấtkhông chuẩn hóa của chúng ta cho bố lớp. Hãylũy thừa đầu ra của hàm tính điểm (e_s, vào đó s là giá bán trị hàm điểm của bọn chúng tôi), với lại xác suất ko chuẩn hóa của chúng ta (bảng thứ hai).Bước tiếp theo là lấy mẫu số của phương trình, tính tổng số mũ và phân tách cho tổng, vày đó có lại xác suất thực tế liên quan đến mỗi nhãn lớp (bảng thứ ba). Lưu ý bí quyết xác suất tổng hợp thành một.Cuối cùng, họ có thể lấy logarit tự nhiên âm, −ln (p), vào đó p. Là proba bình thường hóa, sing xác định giá trí mất mát cuối thuộc của chúng ta (bảng thứ tư với cuối cùng).Trong trường hợp này, trình phân loại Softmax của shop chúng tôi sẽ report chính xác hình ảnh là gấu trúc với 93,93% sự tự tin. Sau đó, chúng ta có thể lặp lại quy trình này mang đến tất cả những hình ảnh trong tập huấn luyện của chúng tôi, lấy mức vừa phải và có được tổn thất entropy chéo tổng thể mang lại tập huấn luyện. Quy trình này mang đến phép bọn họ định lượng như thế làm sao tốt tuyệt xấu một tập hợp các tham số đang thực hiện bên trên tập huấn luyện của bọn chúng ta.

Kết luận

Trong bối cảnh phân loại hình ảnh, dữ liệu đầu vào của họ là tập dữ liệu hình ảnh của bọn chúng ta. Việc ghi hàm tạo dự đoán đến một hình ảnh đầu vào nhất định. Hàm mất sau đó định lượng mức độ tốt hoặc xấu một tập hợp những dự đoán là trên tập dữ liệu. Cuối cùng, ma trận trọng số và vectơ không nên lệch mang lại phép bọn họ thực sự học tra cứu hiểu từ dữ liệu đầu vào - những tham số này sẽ được điều chỉnh với điều chỉnh thông qua phương pháp tối ưu hóa vào một nỗ lực để bao gồm được độ chính xác phân loại cao hơn.Sau đó công ty chúng tôi đã cẩn thận hai chức năng mất phổ biến: mất bản lề với mất entropy chéo. Trong những lúc margin lossđược sử dụng vào nhiều ứng dụng học sản phẩm (như SVM), bọn họ gần như bao gồm thể đảm bảo với trọn vẹn chắc chắn rằng chún ta sẽ thấy hàm mất mát cross-entropy chéo cánh với tần suất nhiều hơn chủ yếu là dothực tế là phân loại Softmax xác suất đầu ra thay bởi vì lề. Xác suất dễ dàng hơn nhiều đối với chúng ta là con người để giải thích, vì chưng vậy thực tế này là một chất lượng đặc biệt tốt đẹp của mất mát entropy chéo.Trong những bài tiếp theo, công ty chúng tôi sẽ coi xét các phương pháp tối ưu hóa được sử dụng để điều chỉnh ma trận trọng số của chúng ta và vectơ không nên lệch. Phương pháp tối ưu hóa có thể chấp nhận được các thuật toán của bọn chúng tathực sự học hỏi từ dữ liệu đầu vào của bọn họ bằng phương pháp cập nhật ma trận trọng số với vectơ không đúng lệch dựa bên trên đầu ra của các hàm tính điểm cùng mất của bọn chúng ta.Sử dụng các kỹ thuật này, chúng ta có thể thực hiện những bước tăng dần đối với những giá trị tham số có giá trị thấp hơn mất và độ đúng chuẩn cao hơn. Phương pháp tối ưu hóa là nền tảng của mạng lưới thần gớm hiện đại và học sâu, và không có chúng, chúng ta sẽ không thể học các mẫu từ dữ liệu đầu vào của mình, bởi vậy hãy chắc chắn để ý đến chương sắp tới.

Xem thêm: Sự Khác Biệt Giữa Fimbriae Là Gì, Cấu Tạo Của Tế Bào Vi Khuẩn

Mời bạn gồm thể tham gia cộng đồng robotic để đặt câu hỏi cũng như tìm kiếm hiểu về robot.