Die Wortliste und ihre Lizenzen

Was in der Liste steht

Wortformen

688.486

Wortlänge

2 bis 24 Buchstaben

Quellzeilen

787.104

Zusammengelegte Schreibvarianten

7.841

Aus Inhaltsgründen entfernt

51

Wortformen mit Lautschrift

688.485

Reimklassen

84.839

Gebaute Listen auf dieser Seite

337

Die Liste ist keine offizielle Wortliste und keine Turnierliste. Sie enthält gebeugte Formen, Fachwörter und Zusammensetzungen; sie enthält nicht jedes deutsche Wort, und was nicht darin steht, erscheint auf keiner Seite dieser Website. Umlaute und ß sind eigene Buchstaben: Wörter mit Ä ist deshalb eine eigene Liste und keine Teilmenge von Wörter mit A.

Was daran verändert wurde

• Einträge, die nicht vollständig aus deutschen Buchstaben bestehen — Wortgruppen mit Leerzeichen, Bindestrichschreibungen, Ziffern — sind entfernt.
• Groß- und Kleinschreibvarianten desselben Wortes mit identischer Lautschrift sind zu einem Eintrag zusammengelegt; die großgeschriebene Form bleibt stehen. Formen mit unterschiedlicher Aussprache — Weg und weg — sind zwei Wörter und bleiben beide.
• 51 Formen sind aus Inhaltsgründen entfernt. Die Regel dafür steht offen in tools/wordlist/blocklist-de.json und trifft nur Beleidigungen gegen geschützte Merkmale; derbe Sprache bleibt in der Liste, weil sie in jedem gedruckten Wörterbuch steht.
• Die Reihenfolge kommt aus einer Häufigkeitsliste. Sie entscheidet, was zuerst steht, und nie, was in der Liste ist.

Lizenzen

Die Quellen dieser Wortliste stehen unter offenen Lizenzen, und diese Lizenzen verlangen, dass ihre Texte mitgeliefert werden. Sie stehen deshalb hier vollständig und unverändert. Der Build dieser Website schlägt fehl, wenn einer davon fehlt.

This project extracts data from Wiktionary, therefore the [Wikipedia license CC-BY-SA](https://en.wikipedia.org/wiki/Wikipedia:Reusing_Wikipedia_content) applies.

The MIT License (MIT)

Copyright (c) 2016 dohliam

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

# FrequencyWords
Repository for Frequency Word List Generator and processed files

In early days I hosted the generated files on OneDrive with my blog https://invokeit.wordpress.com/frequency-word-lists/ linking to it.
Moving forward, the code and the generated outputs are on GitHub.

### OpenSubtitle tokenized source
The data used to generate 2016 lists can be found at http://opus.lingfil.uu.se/OpenSubtitles2016.php 
The data used to generate 2018 lists can be found at http://opus.nlpl.eu/OpenSubtitles2018.php

### Format
Frequency lists are on the `{word}{space}{numer_of_occurences_in_corpus}`. By example, in file `en_50k.txt` :
```
you 22484400
i 19975318
the 17594291
to 13200962
...
```

### Usages
These data are reused by various widely used opensource projects, among which Wikipedia, input methods and autocomplete keyoards, etc.

### License 
MIT License for code.<br>
CC-by-sa-4.0 for content.