1 Star 0 Fork 25

她人在风景中/word

forked from 杨尚川/word 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
demo-word-vector-file.sh 1.22 KB
一键复制 编辑 原始数据 按行查看 历史
ysc 提交于 2015-05-22 07:51 . 更改数据保存目录
#!/bin/bash
# 在这里指定文本文件的路径或在命令行参数中指定
export TEXT_FILE=text.txt
if [ "$1" != "" ]; then
TEXT_FILE=$1;
fi
if [ ! -f $TEXT_FILE ]; then
echo 文本文件$TEXT_FILE不存在
exit 1
fi
mvn -Dmaven.test.skip clean install dependency:copy-dependencies
export JAVA_OPTS="-Xms12000m -Xmx12000m"
export CLASS_PATH="target/classes:target/dependency/slf4j-api-1.6.4.jar:target/dependency/logback-classic-0.9.28.jar:target/dependency/logback-core-0.9.28.jar"
export EXECUTOR="java $JAVA_OPTS -cp $CLASS_PATH"
# 1、对文件$TEXT_FILE进行分词,词之间以空格分隔,内容保存到文件 data/word.txt
$EXECUTOR org.apdplat.word.WordSegmenter file $TEXT_FILE data/word.txt
# 2、对分好词的文件 data/word.txt建立词向量,将词向量保存到文件 data/vector.txt,将词汇表保存到文件 data/vocabulary.txt
# 上下文长度为
export CONTEXT_WINDOW_LENGTH=2
# 词向量长度
export VECTOR_LENGTH=30
$EXECUTOR org.apdplat.word.vector.Word2Vector data/word.txt data/vector.txt data/vocabulary.txt $CONTEXT_WINDOW_LENGTH $VECTOR_LENGTH
# 3、计算不同词向量之间的相似度,控制台编码为UTF-8
$EXECUTOR org.apdplat.word.vector.Distance data/vector.txt utf-8
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Java
1
https://gitee.com/ossite/word.git
[email protected]:ossite/word.git
ossite
word
word
master

搜索帮助