在清華大學讀研期間,關(guān)超宇師從朱文武教授,研究方向為自動機器學習。碩士期間在自動機器學習領(lǐng)域展開縱深立體化研究,從學術(shù)研究、學術(shù)競賽以及學術(shù)開源三個方面推動自動機器學習的算法性能、可靠性和泛化性的發(fā)展。由于在相關(guān)領(lǐng)域取得突出貢獻,他在國內(nèi)外十余所頂尖高校的激烈競爭中脫穎而出,榮獲2021年“西貝爾學者”稱號,并于同年獲得華為獎學金。
目前,機器學習算法效果嚴重依賴于模型的構(gòu)建方式和超參的調(diào)試。早在本科階段,關(guān)超宇便開始嘗試面向自然語言處理的機器學習算法研究,當時就困擾于繁瑣的建模和調(diào)參工作。大四時,關(guān)超宇進入實驗室實習,聽到朱文武教授關(guān)于自動機器學習相關(guān)研究的介紹,也了解到實驗室在這個方向已經(jīng)有了一定的積累,他耳目一新,“覺得這是未來機器學習的一個重要發(fā)展方向”。
近年來機器學習的發(fā)展趨勢也充分驗證了他的觀點,自從2017年谷歌提出了神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的概念(自動機器學習的一個重要分支),這一領(lǐng)域的研究受到了越來越多的關(guān)注。當前,自動機器學習得到的算法效果在某些領(lǐng)域已超越了人類設(shè)計的算法,自動機器學習也成為了人工智能領(lǐng)域的重要研究方法之一。
剛剛加入實驗室開始自動機器學習研究時,關(guān)超宇也有過一段時間的困頓磨合期。“比較羞澀,‘舉目無親’”,他這樣形容當時的自己。由于不太好意思麻煩身邊的同學和老師,研究遇到問題也就藏著掖著自己啃。這種方式也嚴重影響了學習和工作效率。朱文武老師察覺到了這種內(nèi)向情緒,于是在組會上主動詢問每位同學最近的進展以及困難,也特意鼓勵了關(guān)超宇同學。在導師和學長的幫助下,他逐漸主動起來,“作為學生,我覺得不管是生活上還是研究上,有什么問題都能找導師進行溝通是非常有幫助的,尤其對內(nèi)向的同學來說,恰恰是尋求幫助的過程會進一步拉近學生和老師之間的距離”。
“在入門的時候,導師和學長對我的幫助是非常大的?!?/span>初入科研,他有著許多值得銘記的時刻。本科畢設(shè)時期,張文鵬學長向他分享了許多自動機器學習的資料,手把手帶他入門;隨后張文鵬學長也成為了他自動機器學習領(lǐng)域賽事的引路人,使他得以通過系列實戰(zhàn)迅速摸清了該領(lǐng)域的發(fā)展脈絡(luò)。第一篇文章產(chǎn)出時,朱文武老師不厭其煩地多次為他梳理文章思路,并不斷地從多方面提出可能存在的問題;王鑫老師更是耐心地逐字逐句幫助修改文章……
“我的導師非常的和藹,并且樂觀開明,對實驗室同學的科研生活非常關(guān)心。雖然他有時候會比較忙,但還是將參加每次組會討論為優(yōu)先級最高的工作之一,并努力引導我們從更高的角度思考整個研究領(lǐng)域的問題。”實驗室的良好氛圍和師長同學的鼓勵成為了他最好的后盾,激勵著他不斷挑戰(zhàn)自己的極限,攻克領(lǐng)域難題,逐步深入到自動機器學習的核心研究。
“Significant relevance and importance”,這是人工智能方向最頂級會議ICML 2021審稿人對關(guān)超宇的工作作出的評價。
關(guān)超宇致力于自動機器學習的算法研究,取得的成果大大提高了人工智能機器學習的泛化性和效果,相關(guān)成果以第一作者或共同一作身份發(fā)表在ICML、CVPR、ICLR、AAAI等人工智能領(lǐng)域國際頂級會議及其研討會上,并多次在會議中作學術(shù)報告。他作為Meta_Learners隊長,帶隊勇奪國際先進人工智能協(xié)會(AAAI 2021)元深度學習挑戰(zhàn)賽冠軍、神經(jīng)信息處理系統(tǒng)進展大會(NeurIPS 2021)多域元深度學習挑戰(zhàn)賽第一名、國際計算機視覺與模式識別會議(CVPR 2021)輕量級NAS挑戰(zhàn)賽季軍;擊敗來自斯坦福等頂尖高校的300多位強隊,在國際舞臺展現(xiàn)清華風采。
“說實話,我自己對這些科研工作都很滿意,里面也少不了實驗室各位同學的共同努力,在對應的問題上都起到了至關(guān)重要的貢獻。硬要說一個最滿意的工作,我覺得可能是我負責開發(fā)的自動圖學習開源平臺AutoGL?!?strong style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word !important;">關(guān)超宇提到的AutoGL是世界首個自動圖機器學習框架以及開源工具,填補了長久以來自動機器學習和圖學習之間的鴻溝,極大提升了圖學習算法的自適應能力和泛化能力。
該庫一經(jīng)上線便獲得強烈反響,被包括谷歌AI、英偉達、CMU在內(nèi)的各大高校和企業(yè)關(guān)注和使用;并在開源學術(shù)社區(qū)收獲700多顆星標,來自20多個國家和地區(qū)的用戶都訪問了該項目;引起了國內(nèi)外媒體的廣泛關(guān)注與報道,入選深圳市人工智能協(xié)會評選的2020國內(nèi)十大人工智能事件,關(guān)超宇也被百度、將門創(chuàng)投以及香港機器學習社區(qū)邀請作相關(guān)方向的研究分享。
早在去年年中,他所在的研究團隊就在布局自動機器學習和圖學習方向的融合?!拔覀円恢抡J為一個自動圖學習的開源平臺是不可或缺的,AutoGL的研發(fā)一方面總結(jié)現(xiàn)有的實踐經(jīng)驗、規(guī)范現(xiàn)在的研究方向、定義自動圖學習的相關(guān)問題,另一方面也能提供一個平臺,支撐后續(xù)的實驗室研究、向?qū)W界分享我們的研究進展?!?strong style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box; overflow-wrap: break-word !important;">出于對算法實踐的興趣,關(guān)超宇主動承擔起了AutoGL開發(fā)團隊負責人的職責。除了基礎(chǔ)的分析問題、寫代碼之外,他還要設(shè)計開源庫的頂層架構(gòu)、安排成員的分工合作、合理調(diào)整進度、統(tǒng)一代碼規(guī)范。
科研任務(wù)、競賽壓力與平臺開發(fā)三線并行帶來的是繁忙的學習生活,而興趣與成就感則是支撐他攻堅克難的最大動力。“每天都能夠看到自己的進步或者項目的推進,這可能就是所謂的充實感吧”,雖然披星戴月的研究生活已經(jīng)成為常態(tài),但是每每看到項目又有了新的進展和進步,他就會有一種心滿意足的踏實感。
對關(guān)超宇來說,有一群志同道合的朋友在攻關(guān)的道路上也至關(guān)重要。項目的進展并不總像預期的那么順利,碰到卡殼是常有的事。但是大家都不會氣餒,反而是進行更加深入的調(diào)研和激烈的討論,在這個過程中自己也會被團隊氣氛所帶動,并不覺得面前的瓶頸是個很難的問題。他也是團隊氣氛的帶動者,讓人信服的能力和持之以恒的作風是他作為團隊領(lǐng)頭人的自我要求,“只有這樣才能有個人魅力來吸引其他人和你共同努力,讓大家認同這個事情在你的帶領(lǐng)下能出色完成。而且,團隊骨干也在平時的工作中起到帶頭作用,隊友或多或少都會受到你積極、努力的影響,從而能形成一個正面的團隊合作氛圍;團隊成員之間的互相鼓勵,共同進步,找到或者‘培養(yǎng)’一些‘志同道合’的隊友比單純完成一件事情要有意義得多?!?/p>
日復一日的科研積累和成果凝練是為國家重大需求挺身而出的實力和底氣。習總書記在十九大報告中指出,加強互聯(lián)網(wǎng)內(nèi)容建設(shè),建議網(wǎng)絡(luò)綜合治理體系,營造清朗網(wǎng)絡(luò)空間已成為國家重大戰(zhàn)略需求。結(jié)合國家重大戰(zhàn)略需求,由關(guān)超宇同學帶隊研發(fā)的AutoGL自動圖學習開源平臺及其相關(guān)算法正在落地應用于阿里巴巴違禁商家風控、騰訊微信朋友圈低俗內(nèi)容檢測;為凈化網(wǎng)絡(luò)環(huán)境,過濾虛假信息提供了有力支撐。
“我期望在未來能夠充分發(fā)揮自己在專業(yè)方向所積累的知識,將相關(guān)技術(shù)真正轉(zhuǎn)化為社會價值。希望自己能夠在未來成為一名頂尖的計算機科學家,用人工智能推動社會發(fā)展?!?nbsp;
談及畢業(yè)后的安排和規(guī)劃,他坦言,“目前還沒有完全確定,這對我來說也是比較重要的決定。我比較喜歡把研究的一些經(jīng)驗和技術(shù)在更多的場景中進行驗證和實現(xiàn),應用到現(xiàn)實場景中,所以會更傾向于參加工作。但至于是選擇一份比較“穩(wěn)定”的大廠offer,還是選擇更有挑戰(zhàn)性的自主創(chuàng)業(yè),我正在做更進一步的評估。我覺得職業(yè)選擇中最重要的是尊重自己的想法、想清楚自己真正想要的是什么。即使是沿著原來的想法走不通,也能不留遺憾。在考慮具體職業(yè)時,也可以多分析自身的優(yōu)勢和國家、行業(yè)的需求,我覺得選擇能夠發(fā)揮自己最大社會價值的職業(yè)會更有利于個人、社會和國家的發(fā)展。”
關(guān)超宇鼓勵大家,作為一名研究生要敢于去挑戰(zhàn)自己的極限,多破局、跳出自己的舒適區(qū),去主動嘗試一些有難度的事情。除了學習課程、搞好研究之外,可以多嘗試利用自己的研究成果在不同的場景進行實踐,理解自己的研究方向和國家、社會價值之間的聯(lián)系。也可以主動請纓,去主導實驗室的一些研究項目,鍛煉自己的組織、領(lǐng)導能力。還可以多去找來自不同領(lǐng)域、不同社會角色、不同年齡階段的人去溝通、交流,開闊自己的眼界、了解他人對于生活的看法。研究生階段作為校園和社會之間的銜接,同時具有兩者的優(yōu)勢和機遇,這個時間階段最適合去探索自己的興趣和方向所在,也有機會能夠認識很多的老師和同學,這些都是非常寶貴的經(jīng)歷和財富。