Fault ranking must consider input format (separate each individual test case)

[skhuang]

Pass or failed runs must be based on each test case , instead of the whole input file.
Therefore, the faulty ranking must be input format-aware.

另外我想到，或許不能用現有的 output file 來算 fault ranking。必須也了解 input 格式，只挑錯誤的單筆測資，進行 fault ranking 計算。
或許除了富凱之外，政德也來參與 input-aware fault ranking 的修改。

舉例來說，倘若一個 input file 裡面有 10 筆測資，造成程式錯誤的有1筆，但9筆都正確，但在我們的 ranking 計算，就會被打散。因為現在計算的單元是一個 input file ，而非裡面每筆資料。當初富凱也有提出這樣的問題，我為了趕快有結果呈現，所以簡化了方法。
現在看來，還是要知道 input 格式，分開每筆測資的執行結果。

[skhuang]

In the wrong test, we can display the pass line for each test case.

[ghost]

posssible method : IG 強制只產生一筆, FL 餵多次一點 (bad method...)

倘若未來一個 input file 的筆數有幾百筆。就不太適合一次一筆。應該讓 fault ranking 知道每一筆的格式。