فقط به این دلیل که یک الگوریتم یادگیری متناسب با مجموعه آموزشی ما است، به این معنی نیست که آن فرضیه خوبی است!
میتواند overfit شده باشد، که در نتیجه پیش بینی های شما برای مجموعه آزمون ضعیف خواهد بود.
اگر خطای فرضیه خود را با داده هایی که با آن پارامتر ها را آموزش داده اید محاسبه کنید، کمتر از مجموعه داده های دیگر خواهد بود!
برای انتخاب مدل خود، میتوانید هر درجه از چند جمله ای ها را آزمایش کرده و به نتیجه خطای آن توجه کنید.
بدون مجموعه اعتبار سنجی:
(توجه داشته باشید: این روش بدی است - از آن استفاده نکنید!)
در این حالت ما متغیر d یا درجه چند جمله ای را با استفاده از مجموعه آزمون آموزش میدهیم.
CV set:
برای انجام این کار میتوانیم از مجموعه Cross Validation به عناون یک مجموعه میانی برای آموزش دادن d استفاده کنیم، و سپس مجموعه آزمون خطایی دقیق و غیر خوش بینانه به ما میدهد.
یکی از روش های تجزیه مجموعه داده مان به سه مجموعه این است:
اکنون می توانیم سه مقدار خطای جداگانه را برای سه مجموعه مختلف محاسبه کنیم.
با مجموعه اعتبار سنجی:
در این روش فرض میکنیم که از مجموعه cross validation در منظم سازی استفاده نشده است.
از این روش، درجه چندجمله ای (d) با استفاده از مجموعه آزمون آموزش داده نخواهد شد.
توجه کنید که استفاده از مجموعه cross validation برای انتخاب مقدار d به این معناست که نمیتوانیم از آن در روند منحنی اعتبار سنجی برای تعیین مقدار $\lambda$ استفاده کنیم.