半導體芯片產(chǎn)業(yè)發(fā)展至今已超過五十年,，隨著應用愈來愈廣泛,，人類對電子產(chǎn)品的依賴程度也愈來愈深,，使得半導體芯片產(chǎn)業(yè)的角色日趨重要。英特爾（Intel）共同創(chuàng)辦人高登·摩爾（Gordon Moore）于1965年提出摩爾定律（Moore"s Law）,，認為制程技術的進步,，每12個月就能在相同單位面積的晶圓（wafer）中放入加倍數(shù)量的晶體管（transistors）。發(fā)展至今,，半導體組件不斷地微縮,，線寬已經(jīng)進入16納米，一顆如指甲大小的集成電路（IC）就可以放進超過十億個晶體管,，其中的線路比人類頭發(fā)的十分之一還要細,。
集成電路制造是將設計好的電路,，經(jīng)由反復曝光,、顯影、離子植入,、蝕刻等幾百道復雜的制造程序,，把多達三十層以上的每一層電路，都準確成形于一片片如圓餅般的薄片晶圓上,，最后經(jīng)過后段的封裝測試而成為一顆顆芯片（chips）,，而這個生產(chǎn)周期時間超過一個月。
芯片制造有賴先進的微影技術,、腦力密集的尖端人才以及非常昂貴的精密設備,，而芯片產(chǎn)業(yè)的供應鏈則有賴于其后臺強大的物流保障體系和上下游供應鏈協(xié)作關系。
進入納米制程時代之后,，半導體芯片的制程更復雜冗長,、影響變量更多、技術門檻愈來愈高,，研發(fā)成本與產(chǎn)能資本支出形成雙重負擔,，生產(chǎn)過程中稍有不慎或異常，就可能造成合格率損失甚至產(chǎn)品報廢,。
同時,，隨著IC產(chǎn)品的多樣化、生命周期愈來愈短,，如何借助大數(shù)據(jù)分析快速提升納米制程合格率,，并通過上下游形成有效的物流供應鏈體系，已成為國際半導體大廠的競爭策略,。
1996年新竹清華大學成立了決策分析研究室,，應用數(shù)據(jù)挖掘和決策分析方法來研究如何提升半導體的合格率，并針對低合格率的晶圓進行分類,，再挖掘造成低合格率的制程,、產(chǎn)品類別,、設備、時間等可能原因,，結合算法,、信息科技與圖形用戶接口，發(fā)了“合格率提升系統(tǒng)”,。
研究時我們也發(fā)現(xiàn),，人們在思考如何提升合格率時，一般只著重解決制程和設備異常的問題,，但“合格率”的本質應該是在一片晶圓上產(chǎn)出最多可賣錢的晶粒,。因此，我們建立了“綜合晶圓效益”（Overall Wafer Effectiveness,， OWE）指標架構,，并提出利用數(shù)據(jù)分析，以改變晶粒排列方式提升晶圓合格率的創(chuàng)新想法,。
我們利用數(shù)據(jù)挖掘整理出了優(yōu)化晶圓產(chǎn)出的IC尺寸設計指引（gross die advisor）,，使工程師不論經(jīng)驗多寡都可以迅速決定晶圓曝光的最佳配置方式，并有效證明可以增加晶粒產(chǎn)出,、提升工作效率和設備效益,，及減少客戶抱怨，平均效益估計每年可達新臺幣4.25億元,，這項技術已經(jīng)導入臺積電8吋及12吋廠,，以服務其下游客戶。
2003年起,，筆者在臺積電開始將復雜的實際問題架構成數(shù)學模式,，建立可以隨時空環(huán)境轉換的決策分析模式，并導入數(shù)據(jù)挖掘降低生產(chǎn)周期時間（cycle time）以提升生產(chǎn)力的方法,。
進入消費電子時代之后,，半導體芯片產(chǎn)品的價值隨著時間快速折舊，因此上市時間和生產(chǎn)周期時間的縮短極為重要,。另外,，由于半導體的生產(chǎn)模式相當復雜，所以傳統(tǒng)生產(chǎn)管理理論僅能處理小范圍的工作站,。
我們利用半導體制造的巨量數(shù)據(jù),，分析影響在制品水位和在線等候時間的影響因子，以找出每個工作站在線在制品的理想水位和產(chǎn)出關系,，透過宏觀調控機制以維持生產(chǎn)系統(tǒng)的平衡與加工流程的順暢,，有效地縮短了生產(chǎn)周期。
臺積電曾把晶圓廠自動化的發(fā)展，分為擬人化,、無人化,、超人化三個階段。首先是用計算機和設備學習人的做法,，第二是將機械性的工作自動化以取代人,，最后則是發(fā)展一個集結眾人智能的制造系統(tǒng)。讓系統(tǒng)不僅能自動化,，還能“智能”地知道如何判斷和決策,，超越一般人的能力。這不僅是未來趨勢,，也是一項極大的挑戰(zhàn),。
半導體納米制程的技術難度和變異有增無減，完全自動化的12吋晶圓廠月產(chǎn)能超過十萬片,，在線同時用十幾種制程配方參數(shù)（recipe）生產(chǎn)各種產(chǎn)品,，每片晶圓要經(jīng)過數(shù)百道到上千道反復循環(huán)的制造程序，每個工作站有幾個到幾十個精密的反應室（chamber）可以選擇,、生產(chǎn)過程中可以隨著時間讀取幾萬種實時監(jiān)控數(shù)據(jù),、近萬個在線抽樣檢測的量測值（metrology）,，以及幾百種在一片晶圓上不同位置測量的電性測試參數(shù),，再加上集成電路復雜的生產(chǎn)模式，使得數(shù)據(jù)除了具有大數(shù)據(jù)常見的4V特性,，也就是大量（volume）,、多樣（variety）、快速變動（velocity）以及真實性（veracity）等之外,，還有數(shù)據(jù)主效應不明顯,、數(shù)據(jù)分布不均衡、前后制程的交互作用復雜等挑戰(zhàn),。
另一方面,，隨著半導體制程持續(xù)微縮挑戰(zhàn)物理極限，允許誤差也在不斷緊縮,，使得即便是資深工程師也很難單憑專業(yè)知識和經(jīng)驗,，或傳統(tǒng)的統(tǒng)計分析方法，從大數(shù)據(jù)中迅速找出制程異常的原因,。
盡管商用統(tǒng)計軟件逐漸可以支持大數(shù)據(jù)分析,，但由于缺乏針對半導體產(chǎn)業(yè)需求和特性的應用模塊，影響了一般工程師的使用意愿,。為此,，2011年起，臺積電推動既有的工程數(shù)據(jù)分析（Engineering Data Analysis）系統(tǒng)升級，并開始“制造智能以協(xié)助先進納米制程提升合格率”的產(chǎn)學合作計劃,。
半導體芯片大數(shù)據(jù)的分析難度在于,，半導體制造各階段中所產(chǎn)生的數(shù)據(jù)具有密切關聯(lián)性。因此,，必須考慮數(shù)據(jù)的時間性,、群集性、連動性,，而不是濫用計算機計算能力地作數(shù)據(jù)捕撈（data dredging）,。
目前臺積電與清華大學合作，將數(shù)據(jù)準備技巧和分析技術結合,，透過大數(shù)據(jù)分析技術將自動累積的大數(shù)據(jù)轉成有價值的信息,，再結合決策者的經(jīng)驗與能力，成為企業(yè)專屬的制造智能,，并加入跨領域的生物信息領域人才,，加入臺積電大數(shù)據(jù)分析的相關部門。
研究室通過與臺積電合作開發(fā)單位和領域專家的密切合作,，結合理論與領域知識作全面性數(shù)據(jù)分析,，以建立對復雜半導體制造系統(tǒng)的了解與掌握，整合大數(shù)據(jù)分析,、數(shù)據(jù)挖掘,、圖形化技術、和決策分析等方法及信息系統(tǒng),，發(fā)展適合半導體數(shù)據(jù)特性之數(shù)據(jù)挖掘架構與算法,，終于成功建立了多變量事故分析和診斷等不同分析技術模塊，以縮短用戶的學習曲線,，輔助工程師進行后續(xù)的數(shù)據(jù)分析等專業(yè)判斷,，大幅提升工程師的決策質量，加速合格率提升,。