Comma in «самый что ни на есть»

Question

Do I need a comma in such phrases as:

Да он самый, что ни на есть преступник.

Математика — самая, что ни на есть точная наука.

Answer 1

No, you don't.

Rosenthal, Справочник по пунктуации, § 41. Цельные по смыслу выражения.

Запятыми не выделяются сочетания кто ни на есть, что ни на есть, какой ни на есть и т. п.:

• Вы охотно допустите, чтоб кто ни на есть… собственноручно в вашей физиономии симметрию исправил. (С.-Щ.)
• Это была самая что ни на есть обыкновенная женщина. (Эр.)
• ...Я лучше погляжу, как вы работаете, — всё какой ни на есть опыт перейму. (Е.М.)

Note that in your first sentence, the first comma may (or may not) be redundant as well, depending on the meaning of да:

• Да, он самый что ни на есть преступник // Yes, he's as criminal as they come.
• Да он самый что ни на есть преступник. // But he's as criminal as they come.