ช่วงปี 2019 เริ่มได้ยินเรื่อง double descent แต่ยังดูไม่น่าสนใจ เอาแบบย่อคือใน classic machine learning เราเชื่อว่าเมื่อเราเพิ่ม complexity ของ model ไปเรื่อย ๆ จะถึงจุดที่มันท่องจำ training set แล้วมันจะให้ generalization error ที่แย่ แต่ในทางปฏิบัติ มีคนพบว่าในหลายกรณีเมื่อ complexity มันเพิ่มไปเยอะมากๆๆๆๆ มันกับให้ผลดีใหม่อีกรอบ ซึ่งก็มีคนตั้งชื่อปรากฏการณ์นี้ว่า double descent แต่ก็ไม่มีคำอธิบายดี ๆ ว่าทำไม หลาย ๆ คนที่พูดถึง double descent ก็มักเล่าถึง observation มากกว่าจะอธิบายว่าทำไม

update งาน NLP กันหน่อย :D — ในบรรดา paper ด้าน NLP ทั้งหลาย ช่วงนี้คงหนีคำว่า “Transformer” ไม่พ้น จริง ๆ ยังมีคำอื่นอีก อย่าง BERT, GPT-3 แต่เหมือน Transformer จะเป็นพื้นฐานของ model อื่น ๆ เลยต้องอ่านก่อน paper หลักคือ “Attention is all you need” โดย Vaswani et al. ปี 2017 ปรากฏว่าอ่านไปก็บ่นไปว่าเขียนไรไม่รู้เรื่องเลย ถ้าผมเป็น reviewer คงจะไล่ไปเขียนมาใหม่ 555 ตอนนี้อ่านข้าม ๆ บางส่วนก็มานั่งคิดเองต่อ ได้ข้อสรุปส่วนตัวบางอย่างเลยมาจดไว้ก่อนดีกว่า เดี๋ยวว่างๆ ค่อยไปอ่านต่อให้จบ

self-study เรื่อง Grover’s algo ต่อ หลาย ๆ paper ที่อธิบาย Grover’s algorithm มักผูกกับการหมุน วันนี้เลยลองนั่ง derive อะไรหน่อยจะได้เข้าใจมากขึ้น การสะท้อน (reflection) ใน space ทั่วไป ก่อนอื่นสมมติว่าเรามีเวคเตอร์ u เป็น unit vector (||u||=1) และมีอีกเวคเตอร์ v ใน dimension ใด ๆ ก็ได้ เราสามารถคำนวณ projection ของ v บนแกน u ได้ง่าย ๆ จาก dot product u’v (ขี้เกียจเขียน latex แล้วก็อปรูป สมมติให้ u’ แทน u transpose ละกัน)

วันก่อนนินชวนมาฟังงาน quantum computing แล้วไปสะดุดกับการทดลองเรื่อง Grover’s algorithm ที่น้อง ๆ ทำมา หลัก ๆ Grover เป็น iterative algorithm ในการหาของ ตอนแรกผมเข้าใจว่าทำวนแต่ละรอบความน่าจะเป็นของตัวที่ต้องการหาจะสูงขึ้นไปเรื่อย ๆ แต่จากที่น้องทำมากลายเป็นว่าพอวนมากรอบความน่าจะเป็นกลับต่ำลงแทน ทำให้งง ๆ เลยหามาอ่านหน่อย โจทย์: การค้นหาของ โจทย์หลัก ๆ ของ Grover คือการค้นหาของ สมมติว่า เรามีของอยู่ N อย่าง เราสามารถเขียน “index” ของของเหล่านี้ในรูปของ n-bit โดยที่ N = 2^n

เมื่อกี้อ่านบทความ “ความรับผิดทางอาญาของปัญญาประดิษฐ์” [1] แล้วรู้สึกว่าผู้เขียนยังอาจจะขาดข้อมูลเกี่ยวกับเทคนิคด้านปัญญาประดิษฐ์อยู่บ้างจึงคิดว่าน่าจะลองเสนอแบบฝึกหัดทางความคิดที่อาจจะทำให้เข้าใจปัญหาของ AI มากขึ้น สมมติว่านาย ก. ทำความผิดโดยประมาททำให้มีผู้เสียชีวิต -> นาย ก รับผิดชอบ อันนี้ตรงไปตรงมา ถ้านาย ก เขียนโปรแกรม แล้วเกิดข้อผิดพลาดในโปรแกรม ทำให้มีผู้เสียชีวิต -> ก็คงเป็นนาย ก ที่ต้องรับผิดชอบ -> ถ้าข้อผิดพลาดนี้เป็น bug ไม่ได้เกิดจากความตั้งใจ ความรับผิดชอบก็คงน้อยลง (มั๊ง)

เมื่อวันก่อนอ่าน+แชร์โพส เรื่องคุณอองรี ปวงกาเร่ (Henri Poincaré) เลยนึกถึง youtube อันนี้ที่ได้ดูนานแระ ของคุณ เอเทียน กีส์ (Etienne Ghys) เลยกลับมาดูใหม่และจด ๆ ไว้เผื่อมีคนสนใจ อองรี ปวงกาเร่ เกิดปี 1854 ในครอบครัวหรูที่ นองซี่ (Nancy) จบ École Polytechnique (ที่เป็นสุดยอดสถานศึกษาที่ฝรั่งเศสแข่งกับ École Normale Supérieure) และได้ตำแหน่งวิศวกรเหมืองแร่ที่เมือง Vesoul โดยระหว่างนั้นเขาก็ทำ ป.เอก คณิตศาสตร์ไปด้วย ปวงกาเร่ defense วิทยานิพนธ์ 1 ส.ค. 1879 หลังจากนั้นเขาก็ได้ตำแหน่งอาจารย์ที่เมือง Caen…

วันก่อนเปิดมาเจอ vdo อันนี้บน youtube https://www.youtube.com/watch?v=FRteNtwuaWg โดยคุณ Julien Bobroff ซึ่งนำเสนอการทดลองฟิสิกส์ที่บ้านพร้อมเกร็ดสนุกดี แต่เป็นภาษาฝรั่งเศสเลยมาแปลให้ฟังคร่าว ๆ เผื่อใครจะไปลองเล่นที่บ้าน การทดลองใน vdo นี้มี 3 เรื่องคือ 1. การวัดแรงโน้มถ่วง 2. การสร้างและวัดสนามแม่เหล็ก 3. การวัดมวลของวัตถุ โดยการทดลองเหล่านี้ใช้เซ็นเซอร์ในมือถือร่วมกับ app สำหรับอ่านค่าจาก https://phyphox.org/

การรู้จำลายมือเขียน — โจทย์ปีนี้คือการรู้จำลายมือเขียน ซึ่งทางเนคเทคได้ปล่อยข้อมูลให้ไปเล่นส่วนหนึ่ง ซึ่งไม่ใหญ่มาก หลาย ๆ ทีมพยายามหาข้อมูลเพิ่ม ไม่ว่าจะจากการทำ random augmentation จากภาพเดิม หรือการสร้างภาพใหม่จากฟ้อนท์ลายมือเขียน หรือกระทั่งการใช้ภาพอักษรภาษาอื่น รอบชิง 5 ทีม ทีมแรกใช้ CNN+Bidirectional GRU+CTC มาตรฐาน มีการทำ data augmentation เพื่อเพิ่มจำนวนภาพประมาณ 10 เท่าของข้อมูลสอน

Step-by-step DIY — ไม่ได้เขียนบล็อกมานาน รับปีใหม่ส่งท้ายวันเด็กซักหน่อยด้วยเรื่อง object detection สิ่งที่เราจะมาดูวันนี้คือสมมติว่าเราอยากจะทำพวก object detection ขึ้นเองเลย จะทำไงดี ถ้าเราพอจะเข้าใจแล้ว จะไปแกะโค้ดต่าง ๆ ใน github ก็น่าจะง่ายขึ้น (มั๊ง 555) โพสนี้เป็นกึ่ง ๆ โน๊ตส่วนตัวของผมด้วยจะได้ไม่ลืม หลัก ๆ ที่ผมใช้คือ Tensorflow+Keras (อีกแล้ว) Warm up: MNIST และ CNN (ใครทำเป็นแล้วผ่านได้)