51dev.com IT技术开发者社区

51dev.com 技术开发者社区

自然语言处理

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——LSTM网络原理以及使用LSTM实现人机问答系统

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——LSTM网络原理以及使用LSTM实现人机问答系统

!mkdir'/content/gdrive/MyDrive/conversation''''将文本句子分解成单词,并构建词库'''path='/content/gdrive/MyDrive/conversation/'withopen(path+'question.txt','r')asfopen:text_ques...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——RNN网络原理与实现

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——RNN网络原理与实现

!pipinstallutils!pipinstallsklearn!mkdir'/content/gdrive/MyDrive/moviereview'!mkdir'/content/gdrive/MyDrive/moviereview/good/'!mkdir'/content/gdrive/MyDrive/mov...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——Skip-Gram算法实现

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:使用TensorFlow和Keras开发高级自然语言处理系统——Skip-Gram算法实现

fromgoogle.colabimportdrivedrive.mount('/content/gdrive')!mkdir'/content/gdrive/MyDrive/dataset'path='/content/gdrive/MyDrive/dataset/text8'withopen(path)asft_:...

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:自然语言处理Word Embedding 单词向量化

吴裕雄--天生自然神经网络与深度学习实战Python+Keras+TensorFlow:自然语言处理Word Embedding 单词向量化

importnumpyasnpsamples=['Thecatjumpoverthedog','Thedogatemyhomework']#我们先将每个单词放置到一个哈希表中token_index={}forsampleinsamples:#将一个句子分解成多个单词forwordinsample.split():ifw...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Attention模型--测试

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Attention模型--测试

importsysimportcodecsimporttensorflowastf#1.参数设置。#读取checkpoint的路径。9000表示是训练程序在第9000步保存的checkpoint。CHECKPOINT_PATH="F:\temp\attention_ckpt-9000"#模型参数。必须与训练时的模型参数...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Attention模型--训练

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Attention模型--训练

importtensorflowastf#1.参数设置。#假设输入数据已经转换成了单词编号的格式。SRC_TRAIN_DATA="F:\TensorFlowGoogle\201806-github\TensorFlowGoogleCode\Chapter09\train.en"#源语言输入文件。TRG_TRAIN_DA...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Seq2Seq模型--测试

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Seq2Seq模型--测试

importsysimportcodecsimporttensorflowastf#1.参数设置。#读取checkpoint的路径。9000表示是训练程序在第9000步保存的checkpoint。CHECKPOINT_PATH="F:\temp\seq2seq_ckpt-9000"#模型参数。必须与训练时的模型参数保持...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Seq2Seq模型--训练

吴裕雄--天生自然 pythonTensorFlow自然语言处理:Seq2Seq模型--训练

importtensorflowastf#1.参数设置。#假设输入数据已经用9.2.1小节中的方法转换成了单词编号的格式。SRC_TRAIN_DATA="F:\TensorFlowGoogle\201806-github\TensorFlowGoogleCode\Chapter09\train.en"#源语言输入文件。...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:PTB 语言模型

吴裕雄--天生自然 pythonTensorFlow自然语言处理:PTB 语言模型

importnumpyasnpimporttensorflowastf#1.设置参数。TRAIN_DATA="F:TensorFlowGoogle\201806-github\TensorFlowGoogleCode\Chapter09\ptb.train"#训练数据路径。EVAL_DATA="F:TensorFlow...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:文本数据预处理--生成训练文件

吴裕雄--天生自然 pythonTensorFlow自然语言处理:文本数据预处理--生成训练文件

importsysimportcodecs#1.参数设置MODE="PTB_TRAIN"#将MODE设置为"PTB_TRAIN","PTB_VALID","PTB_TEST","TRANSLATE_EN","TRANSLATE_ZH"之一。ifMODE=="PTB_TRAIN":#PTB训练数据RAW_DATA="F:...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:文本数据预处理--生成词汇表

吴裕雄--天生自然 pythonTensorFlow自然语言处理:文本数据预处理--生成词汇表

importcodecsimportcollectionsfromoperatorimportitemgetter#1.设置参数。MODE="PTB"#将MODE设置为"PTB","TRANSLATE_EN","TRANSLATE_ZH"之一。ifMODE=="PTB":#PTB数据处理RAW_DATA="F:\Ten...

吴裕雄--天生自然 pythonTensorFlow自然语言处理:交叉熵损失函数

吴裕雄--天生自然 pythonTensorFlow自然语言处理:交叉熵损失函数

importtensorflowastf#1.sparse_softmax_cross_entropy_with_logits样例。#假设词汇表的大小为3,语料包含两个单词"20"word_labels=tf.constant([2,0])#假设模型对两个单词预测时,产生的logit分别是[2.0,-1.0,3.0]和...

自动作文评分与自然语言处理

自动作文评分与自然语言处理

   前些天一个学弟发邮件咨询有关自动作文评分的问题,在了解了这是他们导师布置的一个任务后,出于做统计机器翻译的惯性思维,我马上想到的是利用语言模型对作文进行流利度方面的打分,但也意识到这是一个粗糙的甚至是错误的评分系统,因为它连最基本的作文长度都没有考虑。  于是找了一些这方面的中英文材料看了一下,才发现自...

如何成为一名自然语言处理工程师

如何成为一名自然语言处理工程师

如何成为一名自然语言处理工程师...

机器学习:2.NPL自然语言处理

机器学习:2.NPL自然语言处理

1.词带的简单解释:  每一个词出现了多少次,缺点是不知道顺序2.seq2seq自然语言处理的核心  RNN:    一对一:输入一个,输出一个    一对多:输入一个,输出多个    多对一:输入多个,输出一个    多对多:输入多个,输出多个     原始数组:  改变一次的数组:  改变两次的数组:  ...