中文機器閱讀理解

要求模型理解文本並回答問題的技術。早期的閱讀理解系統多基於模板匹配或關鍵字檢索，這種方法在處理簡單的事實性問題上有一定效果，但無法應對更加複雜的語義分析及推理。

至於，統計機器學習的方法如 SVM、邏輯回歸等統計模型被應用於機器閱讀理解，可以學習文本特徵和答案模式；但我自己是沒這樣用過就是

隨著深度學習技術的進展，特別是自注意力機制和Transformer架構的出現，MRC領域得到了顯著提升；更好地捕捉文本中的關鍵信息，並進行更準確的推理。這些模型可以將文本轉化為密集的語義向量表示，並使用注意力機制在上下文中尋找相關信息來回答問題。例如，BERT模型已經成為MRC的主流模型之一，它通過雙向Transformer結構理解文本上下文，並在多個中文MRC數據集上取得了優異的表現。

結果，大型預訓練模型大幅提升了中文閱讀理解的效果，它們能夠理解複雜的上下文並進行推理，在閱讀理解任務中，這些模型已經接近甚至超越了人類水平。更別說更為火紅的 RAG 甚至是 GraphRAG等了。(2024/10)

BiDAF: https://arxiv.org/pdf/1611.01603.pdf

BiDAF在embedding部分也同時引入word-embedding與char-embedding兩種embedding方法，讓模型的輸入包含更多資訊。而其最大的特點，為在Interaction層中引入了雙向attention機制，計算Query2Context和Context2Query兩種query-aware表示，再利用雙向LSTM對兩種query-aware進行整合，可更加有效的得出文章與問題之間的關係。最後預測答案的方式，則與Match-LSTM同樣使用boundary model的方法。

Ruminating Reader: https://arxiv.org/pdf/1704.07415.pdf

RuminatingReader算是加強版的BiDAF模型。他將BiDAF的架構中Interaction的輸出經過Highway Network的處理，將資訊加入至原文與原問題中。之後把帶有資訊的文章與問題再次輸入Interaction層計算，得出新的query-aware表示，其餘部分則與BiDAF基本上相同。藉由二次的重複計算attention，將原本已計算出的文章與問題相互關係做再一次地確認與強化，能在文章中更加準確地預測答案位置。

Match-LSTM: https://arxiv.org/pdf/1608.07905.pdf

Match-LSTM架構較為簡單，用單層的LSTM對embedding過的文字做雙向編碼，再引入attention機制，計算出每個詞的query-aware表示，最後導入Answer層計算答案。計算答案的方式分為sequence model或boundary model兩種方式，但在最後實驗證明了簡化的boundary model比sequence model有著更好的效果，所以之後也預設以boundary model作為預測答案的方式。

QANet: https://arxiv.org/pdf/1804.09541.pdf

在QANet的架構中，便捨棄了傳統RNN的編碼方式，而使用self-attention的機制。為此建立了一名為encoder block的子區塊，內含多個卷積層、self-attention與FeedForward layer。在文章與問題經過embedding後便利用encoder block對其進行編碼，之後引用與BiDAF相同的Context-Query attention計算文章與問題之間的相互關係。最後在接上多個encoder block，便進入output layer計算答案位置。QANet的結果證實，以self-attention取代RNN，並增加層數的方式能得出更好的結果。

Transformer-XL: https://openreview.net/pdf?id=HJePno0cYm

在Transformer之中存在一個問題，就是在計算attention時，能擷取的上下文長度為固定的，導致超過長度之外的資訊可能就無法獲得。所以提出Transformer-XL架構，特色為將計算的hidden state緩存起來，在之後計算新片段時，能夠將hidden state重複使用，擴展獲取的前文資訊。但與此同時又產生新的問題，在hidden state的位置資訊原本是採用絕對位置，但引入上述機制後會導致性能損失。對此，Transformer-XL的解決方法為使用相對位置編碼，相對於絕對位置更加直觀，且能解決上述性能耗損的問題。

Transformer: https://arxiv.org/pdf/1706.03762.pdf

同樣建立在seq2seq的基礎上，但在過程中捨棄RNN，使用多層的attention替代。整個架構可分成encoder與decoder，兩者皆由多個block組成。encoder的block包含一個Multi-Head Attention和一個Feed Forward Network，而decoder的block則是由兩個Multi-Head Attention和一個Feed Forward Network組成。其中每個Multi-Head Attention和Feed Forward Network都採取類似 ResNet 的方法，後面加上一層 Add & Norm。由於Transformer捨棄了舊有的RNN與attention組合，改為全attention的構成，因此缺少了位置資訊。也就是說(a, b, c, d)與(d, c, b, a)這兩種組合在Transformer中視沒有區別的。所以在input時，Transformer會多出一個名為positional embedding的輸入，保留各個文字的位置資訊。