深度解析自然語言處理之篇章分析
在本文中，我們深入探討了篇章分析的概念及其在自然語言處理（NLP）領域中的研究主題，以及兩種先進的話語分割方法：基于詞匯句法樹的統計模型和基于BiLSTM-CRF的神經網絡模型。 關注TechLead，分享AI全維度知識。作者擁有10+年互聯網服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩， ... ?
詞！自然語言處理之詞全解和Python實戰！
本文全面探討了詞在自然語言處理（NLP）中的多維角色。從詞的基礎概念、形態和詞性，到詞語處理技術如規范化、切分和詞性還原，文章深入解析了每一個環節的技術細節和應用背景。特別關注了詞在多語言環境和具體NLP任務，如文本分類和機器翻譯中的應用。文章通過Python和PyTorch代碼示例，展示了如何在實 ... ?
自然語言處理歷史史詩：NLP的范式演變與Python全實現
本文全面回顧了自然語言處理（NLP）從20世紀50年代至今的歷史發展。從初創期的符號學派和隨機學派，到理性主義時代的邏輯和規則范式，再到經驗主義和深度學習時代的數據驅動方法，以及最近的大模型時代，NLP經歷了多次技術革新和范式轉換。文章不僅詳細介紹了每個階段的核心概念和技術，還提供了豐富的Pytho ... ?
[自然語言處理] 基于pycorrector實現文本糾錯
文本糾錯（Text Error Correction）技術旨在自動修正輸入文本中的拼寫、語法、標點符號等錯誤，以提高文本的準確性、通順性和規范性。該技術可以通過自然語言處理技術實現，基于上下文和語言規則對文本進行分析和推斷，發現其中的錯誤，并給出正確的替換或修改建議。 pycorrector是一個開 ... ?
使用自動模型
本文通過文本分類任務演示了HuggingFace自動模型使用方法，既不需要手動計算loss，也不需要手動定義下游任務模型，通過閱讀自動模型實現源碼，提高NLP建模能力。 一.任務和數據集介紹 1.任務介紹 前面章節通過手動方式定義下游任務模型，HuggingFace也提供了一些常見的預定義下游任務模 ... ?
中文命名實體識別
本文通過people_daily_ner數據集，介紹兩段式訓練過程，第一階段是訓練下游任務模型，第二階段是聯合訓練下游任務模型和預訓練模型，來實現中文命名實體識別任務。 一.任務和數據集介紹 1.命名實體識別任務 NER（Named Entity Recognition）和Pos（Part-of-S ... ?
中文情感分類
本文通過ChnSentiCorp數據集介紹了文本分類任務過程，主要使用預訓練語言模型bert-base-chinese直接在測試集上進行測試，也簡要介紹了模型訓練流程，不過最后沒有保存訓練好的模型。 一.任務和數據集介紹 1.任務 中文情感分類本質還是一個文本分類問題。 2.數據集 本文使用ChnS ... ?
使用訓練工具
HuggingFace上提供了很多已經訓練好的模型庫，如果想針對特定數據集優化，那么就需要二次訓練模型，并且HuggingFace也提供了訓練工具。 一.準備數據集 1.加載編碼工具 加載hfl/rbt3編碼工具如下所示： def?load_encode(): #?1.加載編碼工具 #?第6章/加載 ... ?
?? GitHub Copilot 讀心術揭秘，Copilot 逆向工程筆記
# 總覽 你是否好奇 GitHub Copilot 如何知道你想寫的內容？有時候它聰明得甚至好像讀過你項目里其他文件一樣，不要懷疑，它確實讀過。這篇文章記錄了我閱讀一個對 Copilot 的[逆向工程](https://thakkarparth007.github.io/copilot-explor ... ?
一文詳解自然語言處理兩大任務與代碼實戰：NLU與NLG
> 自然語言處理（NLP）涵蓋了從基礎理論到實際應用的廣泛領域，本文深入探討了NLP的關鍵概念，包括詞向量、文本預處理、自然語言理解與生成、統計與規則驅動方法等，為讀者提供了全面而深入的視角。 > 作者 TechLead，擁有10+年互聯網服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩，復旦 ... ?
聊聊自然語言處理NLP
## 概述 自然語言處理(NLP)的正式定義：是一個使用計算機科學、人工智能(AI)和形式語言學概念來分析自然語言的研究領域。不太正式的定義表明：它是一組工具，用于從自然語言源(如web頁面和文本文檔)獲取有意義和有用的信息。NLP工具的實現一般是基于機器學習與深度學習、其它算法(Lucene Co ... ?
[自然語言處理] 自然語言處理庫spaCy使用指北
spaCy是一個基于Python編寫的開源自然語言處理庫?；谧匀惶幚眍I域的最新研究，spaCy提供了一系列高效且易用的工具，用于文本預處理、文本解析、命名實體識別、詞性標注、句法分析和文本分類等任務。 spaCy的官方倉庫地址為：[spaCy-github](https://github.com/ ... ?
自然語言處理 Paddle NLP - 預訓練模型產業實踐課-理論
 模型壓縮：理論基礎 模型壓縮基本方法分為三類: - 量化 - 裁剪 - 蒸餾  是信息檢索系統的一種高級形式，它能用準確、簡潔的自然語言回答用戶用自然語言提出的問題。其研究興起的主要原因是人們對快速、準確地獲取信息的需求。問答系統是人工智能. 抽取式閱讀理解：它的答案一定是段落里的一個片段，所以在訓練前，先要 ... ?
怎么讓英文大預言模型支持中文？（一）構建自己的tokenization
代碼地址：https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前，大語言模型呈爆發式的增長，其中，基于llama家族的模型占據了半壁江山。而原始的llama模型對中文的支持不太友好，接下來本文將講解如何去擴充vocab里 ... ?
自然語言處理 Paddle NLP - 基于預訓練模型完成實體關系抽取
[自然語言處理 Paddle NLP - 信息抽取技術及應用](https://www.cnblogs.com/vipsoft/p/17460173.html) 重點：SOP 圖、BCEWithLogitsLoss # 基于預訓練模型完成實體關系抽取 信息抽取旨在從非結構化自然語言文本中提取結構化知 ... ?