Стандартная библиотека Python

Богатая стандартная библиотека является одной из привлекательных сторон языка программирования Python. Здесь имеются средства для работы со многими сетевыми протоколами и форматами интернета, например, модули для написания HTTP-серверов и клиентов, для разбора и создания почтовых сообщений, для работы с XML и т. п. Набор модулей для работы с операционной системой позволяет писать кросс-платформенные приложения. Существуют модули для работы с регулярными выражениями, текстовыми кодировками, мультимедийными форматами, криптографическими протоколами, архивами, сериализации данных, поддержка юнит-тестирования и др.

Содержание

Сервисы периода исполнения

Модуль sys

В этом модуле содержатся функции и константы для взаимодействия с интерпретатором Python. В этом модуле в том числе содержатся следующие переменные:

• argv  — аргументы командной строки,
• byteorder  — порядок байтов платформы, ‘little’ или ‘big’ ,
• flags  — объект, предоставляющий в виде атрибутов информацию о флагах, данных интерпретатору. Например, sys.flags.debug говорит о режиме отладки,
• maxint  — максимальное целое,
• platform  — идентификатор платформы, например, ‘linux-i386’,
• stdin , stdout , stderr  — стандартные потоки ввода, вывода и вывода ошибок,
• version  — строка с версией,

Модуль также содержит несколько функций [1] .

Модуль contextlib

Модуль содержит вспомогательные функции для поддержки оператора with [2] [3] .

Пример использования менеджера контекста, при котором открытый файл автоматически закрывается:

В примере выше был использован встроенный в Python менеджер контекста. API менеджера контекста состоит из двух методов:

• Метод __enter__ , вызывается при входе в блок with . Возвращает объект, который получает параметр, заданный as ,
• Метод __exit__ , вызывается при выходе управления за пределы блока with .

Модуль contextlib предлагает декоратор для создания контекстного менеджера на базе генератора:

Модуль abc

Модуль определяет метакласс ABCMeta и декораторы abstractmethod и abstractproperty для определения новых абстрактных базовых классов (англ.  abstract base class ) [4] . Следует отметить, что абстрактный базовый класс понимается здесь в ином смысле, нежели в C++ [5] .

Типы данных

Стандартная библиотека расширяет набор доступных Python типов данных [6] . Имеются отдельные типы данных для даты и времени, массива, кучи, очереди, слабые ссылки, а также так называемые абстрактные базовые типы из модуля collections.

Модуль collections

Данный модуль включает в себя набор специальных типов данных — контейнеров, которые дополняют стандартные встроенные типы dict , list , set , и tuple . Например для Python 2.7: OrderedDict  — упорядоченный (в порядке добавления элементов) словарь, defaultdict  — словарь, вызывающий заданную функцию для отсутствующего в нём элемента, Counter  — словарь, который удобно использовать для подсчёта слов, Deque  — двусвязанный список, namedtuple  — кортеж с возможностью доступа к элементам по именам атрибутов. Так же имеются абстрактные базовые классы Container, Sequence, Set, Mapping и другие [7] [8] .

Пример, демонстрирующий работу с дэком:

Пример именованного кортежа для точки в трёхмерном пространстве:

В Python 3.3 появился класс ChainMap , который позволяет создавать вложенные словари [9] .

Пример, в котором поиск значения по ключу ведётся в заданном порядке в нескольких словарях:

Взаимодействие с ОС

Модуль os

Модуль предоставляет функции переносимого интерфейса к основным сервисам операционной системы, определяет некоторые переменные (например, environ для доступа к переменным окружения) [10] .

Модуль os.path

Модуль служит для манипуляций с путями к файлам в независимом от платформы виде. Пример иллюстрирует использование некоторых функций модуля:

Обработка текстов

Стандартная библиотека содержит несколько модулей для работы со строками и обработки текстов включают в себя следующие возможности [11] .

Полезные константы и функции из модуля string

Модуль содержит различные константы, которые можно использовать при обработке текстов, например: ascii_letters (строка, содержащая все буквы из набора ASCII), ascii_lowercase, digits (строка с цифрами от 0 до 9), letters (буквы, зависят от установки локали) и т. п.

Для упрощения подстановки в строки по ключевым словам могут использоваться экземпляры класса Template . Пример иллюстрирует методы substitute и safe_substitute :

Поддержка регулярных выражений: модуль re

Регулярные выражения являются мощным средством обработки текста. Модуль re содержит функции для замены ( sub ), разбиения строки ( split ), сравнения строки с шаблоном ( match , search ), поиска ( finditer , findall ) и определяет классы для скомпилированного регулярного выражения и результата сравнения. Пример:

Работа с байтовыми структурами в модуле struct

Модуль struct служит для конвертирования данных из строк байтов и типами данных языка Python и может применяться при работе с форматами бинарных файлов и коммуникационными протоколами. Функции pack и unpack позволяют «упаковывать» и «распаковывать» данные на основе строки формата, состоящей их кодов форматирования, например:

Порядок байтов многобайтных данных можно задать в строке форматирования, например:

В модуле также определяется класс Struct , методы которого соответствуют функциям модуля.

Форматы данных

Для чтения и записи файла в формате CSV предназначен модуль csv . Этот модуль предназначен для работы с различными диалектами: разделитель запятая, разделитель точка с запятой, разделитель табуляция (Excel). Простейший пример:

Модуль позволяет настроить формат читаемых и записываемых файлов. Например можно выставить разделитель полей : , разделитель строк — | , символ цитирования — ` (вместо » по умолчанию).

Работа с файловыми архивами

В стандартной библиотеке имеется поддержка для нескольких форматов архивов в виде следующих модулей: bz2 (bzip2), gzip (gzip), tarfile (tar), zipfile (zip), а также привязки к библиотеке zlib в виде модуля zlib [12] .

Примеры для Python 2.7 и 3.2

В следующем примере в файле archive.zip будет заархивирован файл file.txt, содержащий текст «text in the file». Это ещё один пример использования менеджера контекста.

Чтение архива происходит аналогично. В следующем примере будут напечатаны имена файлов, содержащиеся в архиве:

Конфигурационные файлы

Для чтения и записи конфигурационных файлов предназначен модуль ConfigParser . Этот модуль написан на чистом Python и, следовательно, платформонезависим. Синтаксис конфигурационных файлов похож на тот, что используется в INI-файлах Windows. Например:

В качестве разделителя ключа и значения может использоваться » :» . При использовании классов ConfigParser и SafeConfigParser происходит замена строки %(<ключ>)s на значение параметра <ключ> . В указанном примере значение foodir будет равно frob/whatever .

Криптографические модули

В силу различных причин (в том числе политических — во многих странах запрещена разработка и распространение криптографического программного обеспечения без разрешения соответствующих государственных структур) поддержка криптографии в стандартной библиотеке Python весьма ограниченна и сводится к хеш-функциям .
В версии 2.5 структура крипто библиотеки была унифицирована — все хеш функции собраны в модуль hashlib и удалены бесполезные модули некриптостойкого шифрования. Ранние модули md5,hmac,sha объявлены устаревшими и будут удалены в одном из последующих релизов.

Как и в некоторых других случаях ( DB-API, Python Web Server Gateway Interface) при невозможности (или нецелесообразности) включить полноценную поддержку технологии в стандартную библиотеку были приняты стандарты на интерфейсы, предоставляемые внешними библиотеками — API для хеш-функций, API для блочных шифров. Однако далеко не все библиотеки соответствуют этим требованиям (либо в силу старости — созданы до написания CryptoAPI, либо из-за того что являются автоматически сгенерированными обертками поверх соответствующих C библиотек).

Использовать Crypto API — совместимые библиотеки достаточно просто:

hashlib обеспечивает поддержку следующих хеш-функций: MD5, SHA-1,SHA224, SHA256, SHA384, SHA512 (в сборках Python со включенной OpenSSL библиотекой этот список шире). Следует отметить, что одно только присутствие алгоритма в стандартной библиотеке не гарантирует его криптографическую надежность. Так алгоритмы MD5, SHA-1 по состоянию на начало 2007 года не являются криптостойкими (см. соответствующие wiki страницы).
Для шифрования приходится использовать сторонние библиотеки, например pycrypto(соответствует Crypto API) или M2Crypto (не соответствует Crypto API). Достаточно полный список представлен в PyPI [13] .

Сетевые протоколы

В стандартной библиотеке присутствуют модули для работы с сетевыми протоколами HTTP (и клиент, и простейший сервер), FTP, XML-RPC, SMTP, IMAP, NNTP и другие.

Простые базы данных

Python поддерживает доступ к файлам в DBM-формате: Unix (n)dbm (модуль dbm в Python 2.x или dbm.ndbm в Python 3), GNU DBM (модуль gdbm ), модуль, написанный на чистом Python, dumbdbm [14] .

Работа с объектом базы данных происходит аналогично работе со словарём Python (на примере dumbdbm ) [15] :

Для долговременного хранения объектов Python можно использовать модуль shelve (рус. полка ).

Поддержка разработки программного обеспечения

Многопоточные вычисления

Модуль threading предоставляет класс Thread , соответствующий потоку, а также классы для объектов синхронизации, такие как: замки́ Lock и RLock , Timer , семафоры Semaphore и BoundedSemaphore , условная переменная Condition , событие Event . Кроме этого, для организации очередей — FIFO, LIFO, очередь с приоритетом — применяется модуль queue ( Queue в Python 2).

В Python нет средств для завершения или приостановки потоков, а также для освобождения всех замко́в [16] .

Наличие в основной реализации Python глобального блокировщика интерпретатора (англ.  Global Interpreter Lock , GIL) сильно ограничивает полезность многопоточных вычислений в счётных задачах [17] .

Графический интерфейс

Интроспекция

Платформно-зависимые модули

Примечания

1. ↑Beazley, 2009, pp. 229-235
2. ↑Ziadé, 2008, pp. 56-60
3. ↑Doug Hellmancontextlib – Context manager utilities   (англ.) . Архивировано из первоисточника 18 октября 2012.Проверено 30 августа 2012.
4. ↑Beazley, 2009, pp. 257-259
5. ↑Python v2.7 documentation, The Python Standard Library, Python Runtime Services, Abstract Base Classes
6. ↑Data Types — Python 3 documentation
7. ↑Ziadé, 2008, pp. 303-306
8. ↑Beazley, 2009, pp. 262-265
9. ↑Python 3.3 Documentation, The Python Standard Library, Data Types
10. ↑Beazley, 2009, pp. 378-396
11. ↑Beazley, 2009, ch. 16
12. ↑Beazley, 2009, pp. 313-329
13. ↑Криптографические модули в каталоге PyPI
14. ↑Python v2.7 documentation, The Python Standard Library, anydbm — Generic access to DBM-style databases
15. ↑Beazley, 2009, pp. 310-311
16. ↑Beazley, 2009, pp. 436-444
17. ↑Beazley, 2009, pp. 444

Ссылки

Литература

• David M. Beazley Python Essential Reference. — 4th Edition. — Addison-Wesley Professional, 2009. — 717 с. — ISBN 978-0672329784
• Doug Hellmann. The Python Standard Library by Example. — Addison-Wesley Professional, 2011. — 1344 с. — ISBN 978-0321767349
• Fredrik Lundh. Python Standard Library. — O’Reilly Media, 2001. — 281 с. — ISBN 978-0596000967
• Tarek Ziadé. Expert Python Programming. — Packt Publishing Ltd., 2008. — 372 с. — ISBN 978-1-847194-94-7

• Проставив сноски, внести более точные указания на источники. статью.
• Обновить статью, актуализировать данные.

• Стандартные библиотеки
• Свободные библиотеки программ
• Библиотеки Python

Wikimedia Foundation . 2010 .

Полезное

Смотреть что такое «Стандартная библиотека Python» в других словарях:

Стандартная библиотека — языка программирования  набор модулей, классов, объектов, констант, глобальных переменных, шаблонов, макросов, функций и процедур, доступных для вызова из любой программы, написанной на этом языке и присутствующих во всех реализациях языка.… … Википедия

Стандартная библиотека языка Си — Стандартная библиотека языка программирования С assert.h complex.h ctype.h errno.h fenv.h float.h inttypes.h iso646.h limits.h locale.h math.h setjmp.h signal.h stdarg.h stdbool.h stddef.h … Википедия

Python — У этого термина существуют и другие значения, см. Python (значения). Python Класс языка: му … Википедия

Пайтон — Python Класс языка: функциональный, объектно ориентированный, императивный, аспектно ориентированный Тип исполнения: интерпретация байт кода, компиляция в MSIL, компиляция в байт код Java Появился в: 1990 г … Википедия

Ruby — Класс языка: мультипарадигмальный: динамический, объектно ориентиров … Википедия

C++ — У этого термина существуют и другие значения, см. C. См. также: Си (язык программирования) C++ Семантика: мультипарадигмальный: объектно ориентированное, обобщённое, процедурное, метапрограммирование Тип исполнения: компилируемый Появился в … Википедия

Руби IDE — Ruby Семантика: мультипарадигмальный Тип исполнения: интерпретатор Появился в: 1995 г. Автор(ы): Юкихиро Мацумото Последняя версия: 1.9.1 … Википедия

Рубин (язык программирования) — Ruby Семантика: мультипарадигмальный Тип исполнения: интерпретатор Появился в: 1995 г. Автор(ы): Юкихиро Мацумото Последняя версия: 1.9.1 … Википедия

Язык программирования Рубин — Ruby Семантика: мультипарадигмальный Тип исполнения: интерпретатор Появился в: 1995 г. Автор(ы): Юкихиро Мацумото Последняя версия: 1.9.1 … Википедия

Haskell — Класс языка: функциональный, ленивый, модульный Тип исполнения: компилируемый, интерпретируемый Появился в: 1990 … Википедия

Переменные среды в Python

Мы можем установить переменные среды в Python с помощью модуля os. Модуль os в Python работает как словарь, в котором хранятся переменные среды, доступные программе в данный момент.

Как распечатать текущие переменные среды?

Мы можем напечатать переменную os.environ, чтобы узнать о существующих переменных средах, доступных программе.

Проверить, существуют ли переменные среды или нет?

Мы можем проверить, существуют ли переменные среды или нет, используя оператор in.

Изменение значений может иметь серьезные последствия для выполнения программы. Следовательно, рекомендуется сначала проверить, существуют ли переменные среды или нет. Тогда вам решать, хотите ли вы изменить значение или нет.

Мы можем установить переменные среды, как мы устанавливаем значения в словаре.

Обратите внимание, что пара ключ-значение должна быть строкой, в противном случае возникнет ошибка.

Чтение

Давайте посмотрим, как читать переменные среды, которые мы установили в приведенном выше фрагменте кода.

Вывод: Версия MySQL = 5.7.18

Но правильный ли способ? Посмотрим, что произойдет, если переменные среды отсутствуют.

Лучший способ – использовать функцию get. Если переменные отсутствуют, она вернет None.

Мы также можем указать значение по умолчанию, которое будет возвращаться, если переменная отсутствует.

Python Howto – Использование модуля TempFile в Python

Привет всем! В современной статье мы смотрим, как мы можем использовать модуль TempFile в Python.

• Автор записи

Python Howto – Использование модуля TempFile в Python

Привет всем! В современной статье мы смотрим, как мы можем использовать модуль TempFile в Python.

Этот модуль очень полезен, когда вы хотите хранить временные файлы. Там может быть необходимо хранить временные данные с точки зрения приложения, поэтому эти файлы могут оказаться очень полезными!

Python предоставляет нам tempfile Модуль, который дает нам простой в использовании интерфейс. Давайте начнем.

Модуль Tempfile в Python

Этот модуль является частью стандартной библиотеки (Python 3.x), поэтому вам не нужно устанавливать ничего, используя PIP. Вы можете просто импортировать его!

Мы рассмотрим, как мы можем создавать временные файлы и каталоги сейчас.

Создание временных файлов и каталогов

tempfile Модуль дает нам Временный () Способ, который создаст временный файл.

Поскольку файл временных, другие программы не может Доступ к этому файлу напрямую.

В качестве общей меры безопасности Python автоматически удаляет любые временные файлы, созданные после закрытия. Даже если он остается открытым, после завершения нашей программы это временные данные будут удалены.

Давайте посмотрим на простой пример сейчас.

Давайте теперь попробуем найти этот файл, используя tempfile.gettemppdir () Чтобы получить каталог, когда все файлы Temp хранятся.

После запуска программы, если вы перейдете к temp_dir (который является /TMP в моем случае – Linux), вы можете увидеть, что вновь созданный файл 3 нет там.

Это доказывает, что Python автоматически удаляет эти временные файлы после закрытия.

Теперь, подобно созданию временных файлов, мы также можем создавать временные каталоги с использованием tempfile.temporarydirectory () функция.

Имена каталогов случайные, поэтому вы можете указать необязательный суффикс и/или префикс определить их как часть вашей программы.

Опять же, чтобы обеспечить безопасное удаление каталога после завершения соответствующего кода, мы можем использовать менеджер контекста для безопасного завершения этого!

Опять же, чтобы проверить это, вы можете попробовать перейти на соответствующий путь каталога, который не будет существовать!

1. Чтение и запись из временного файла

Подобно чтению или записи из файла, мы можем использовать такие же вызовы функций, чтобы сделать это из временного файла!

Давайте теперь посмотрим на вывод.

Действительно, мы смогли легко читать и писать из/к временным файлам.

2. Создание именованных временных файлов

В некоторых ситуациях именованные временные файлы могут быть полезны для создания файлов, видимых для других сценариев/процессов, чтобы они могли получить доступ к ней, пока он еще не закрыт.

tempfile.nomedtemporaryFile () полезно для этого. Это имеет тот же синтаксис, что и создает нормальный временный файл.

Здесь именованный временный файл с префиксом AskPython_ и суффикс _temp создано. Опять же, он будет удален автоматически после закрытия.

Заключение

В этой статье мы узнали, как мы можем использовать модуль TempFile в Python, чтобы иметь дело с временными файлами и каталогами.

Циклическая проверка избыточности в Python

Что такое CRC?
CRC или циклическая проверка избыточности — это метод обнаружения случайных изменений / ошибок в канале связи.
CRC использует полином генератора, который доступен как на стороне отправителя, так и на стороне получателя. Пример полинома генератора имеет вид, подобный x ^ 3 + 1. Этот полином генератора представляет ключ 1001. Другой пример — x ^ 2 + x. это представляет ключ 110.
Пример:
Пусть данные отправляются «EVN»
Мы конвертируем строку в двоичные строковые данные.

# ПРЕОБРАЗОВАТЬ строковые данные в двоичные строковые данные

data = (‘ ‘.join(format(ord(x), ‘ b’) for x in input_string))

Ключ CRC: 1001
Код: длина ключа CRC -1 -> 000, добавляемая в конце данных.

Теперь мы применяем CRC в программировании сокетов на стороне отправителя и получателя.

Сторона отправителя

1. Задача состоит в том, чтобы отправить строковые данные на сторону сервера / получателя.
2. Отправитель отправляет строку, скажем, «EVN».
3. Сначала эта строка преобразуется в двоичную строку. Ключ «100010110101101001110» известен как отправителю, так и получателю, здесь используется ключ 1001.
4. Эти данные кодируются с использованием кода CRC с использованием ключа на стороне клиента / отправителя.
5. Эти закодированные данные отправляются получателю.
6. Получатель позже декодирует строку закодированных данных, чтобы проверить, была ли какая-либо ошибка или нет.

# Импортировать модуль сокета

# Обходить все биты, если биты

# то же самое, тогда XOR равен 0, иначе 1

for i in range ( 1 , len (b)):

# Выполняет деление по модулю-2

def mod2div(divident, divisor):

# Количество битов, которые будут XORed за один раз.

pick = len (divisor)

# Нарезка делителя на соответствующую

# длина для определенного шага

tmp = divident[ 0 : pick]

while pick < len (divident):

# заменить делитель на результат

№ XOR и потяните 1 бит вниз

tmp = xor(divisor, tmp) + divident[pick]

else : # Если крайний левый бит равен 0

# Если самый левый бит дивиденда (или

(часть, используемая на каждом шаге) равна 0, шаг не может

# использовать обычный делитель; нам нужно использовать

# делитель всех нулей.

tmp = xor( ‘0’ * pick, tmp) + divident[pick]

# инкремент выбора, чтобы двигаться дальше

# Для последних n бит, мы должны выполнить это

# обычно, так как увеличенное значение пика вызовет

# Индекс за пределами.

tmp = xor(divisor, tmp)

tmp = xor( ‘0’ * pick, tmp)

# Функция, используемая на стороне отправителя для кодирования
# данные путем добавления остатка от модульного деления
# в конце данных.

def encodeData(data, key):

# Добавляет ноль-1 нулей в конце данных

appended_data = data + ‘0’ * (l_key — 1 )

remainder = mod2div(appended_data, key)

# Добавить остаток в исходных данных

codeword = data + remainder

# Создать объект сокета

# Определите порт, к которому вы хотите подключиться

# подключиться к серверу на локальном компьютере

s.connect(( ‘127.0.0.1’ , port))

# Отправить данные на сервер 'Hello world'

## s.sendall («Hello World»)

input_string = raw_input ( «Enter data you want to send->» )

data = (‘ ‘.join(format(ord(x), ‘ b’) for x in input_string))

# получать данные с сервера

print s.recv( 1024 )

# закрыть соединение
s.close()

Сторона приемника

1. Получатель получает закодированную строку данных от отправителя.
2. Приемник с помощью ключа декодирует данные и выясняет остаток.
3. Если остаток равен нулю, это означает, что нет ошибок в данных, отправленных отправителем получателю.
4. Если остаток оказывается ненулевым, это означает, что произошла ошибка, отправителю отправляется отрицательное подтверждение. Затем отправитель отправляет данные повторно, пока получатель не получит правильные данные.

# Прежде всего импортируйте библиотеку сокетов

# Обходить все биты, если биты

# то же самое, тогда XOR равен 0, иначе 1

for i in range ( 1 , len (b)):

# Выполняет деление по модулю-2

def mod2div(divident, divisor):

# Количество битов, которые будут XORed за один раз.

pick = len (divisor)

# Нарезка делителя на соответствующую

# длина для определенного шага

tmp = divident[ 0 : pick]

while pick < len (divident):

# заменить делитель на результат

№ XOR и потяните 1 бит вниз

tmp = xor(divisor, tmp) + divident[pick]

else : # Если крайний левый бит равен 0

# Если самый левый бит дивиденда (или

(часть, используемая на каждом шаге) равна 0, шаг не может

# использовать обычный делитель; нам нужно использовать

# делитель всех нулей.

tmp = xor( ‘0’ * pick, tmp) + divident[pick]

# инкремент выбора, чтобы двигаться дальше

# Для последних n бит, мы должны выполнить это

# обычно, так как увеличенное значение пика вызовет

# Индекс за пределами.

tmp = xor(divisor, tmp)

tmp = xor( ‘0’ * pick, tmp)

# Функция, используемая на стороне приемника для декодирования
# данные, полученные отправителем

def decodeData(data, key):

# Добавляет ноль-1 нулей в конце данных

appended_data = data + ‘0’ * (l_key — 1 )

remainder = mod2div(appended_data, key)

print ( «Socket successfully created» )

# зарезервировать порт на вашем компьютере в нашем
# бывает 12345 но может быть что угодно

print ( «socket binded to %s» % (port))

# перевести сокет в режим прослушивания

print ( «socket is listening» )

# Установить связь с клиентом.

c, addr = s.accept()

print ( ‘Got connection from’ , addr)

# Получить данные от клиента

data = c.recv( 1024 )

ans = decodeData(data, key)

print ( «Remainder after decoding is->» + ans)

# Если остаток — все нули, то ошибки не произошло

temp = «0» * ( len (key) — 1 )

c.sendall( «THANK you Data ->» + data + » Received No error FOUND» )

c.sendall( «Error in data» )

НОТА:
Как запустить программу:
1. У вас должна быть библиотека программирования сокетов.
2. Сначала запустите серверную программу, затем запустите клиентскую программу.
3. Ошибка вставки может возникнуть при копировании и вставке кода, поэтому будьте осторожны при копировании.